Beorg Smart Vision — российская модульная платформа и технология для оцифровки документов, распознавания изображений, идентификации личности и фримиум разметки данных^[1] в целях развития алгоритмов машинного обучения. Разработана российской компанией "Биорг", резидентом фонда "Сколково" (ВЭБ.РФ) с применением технологий компьютерного зрения, машинного обучения и краудсорсингового сервиса для верификации. Платформа предназначена для обработки сложных, в том числе рукописных, архивных документов и формирования наборов данных для обучения моделей искусственного интеллекта (ИИ). Входит в реестр отечественного ПО Минцифры РФ^[2].

Согласно российскому изданию об информационных технологиях Cnews^[3] и информации на сайте разработчика^[4], платформа работает на базе двух основных модулей: для автоматического распознавания данных с помощью каскада нейросетей и для верификации значений, распознанных с низким порогом уверенности.

Сочетание технологий ИИ и краудсорсинга позволяет переводить в электронный вид архивы и обрабатывать сложные рукописные формы, паспорта, чертежи и иные документы, где полностью автоматическое распознавание может давать недостаточно высокую точность.

Подход соответствует распространённой модели human-in-the-loop, когда участие человека сохраняется как механизм контроля качества и дообучения алгоритмов. Разработчик системы указывает, что система предоставляется по SaaS-модели, и ориентирована на обработку документов, изображений, наборов данных (дата-сетов) с контролем качества результата на уровне свыше 99%.

Основной принцип работы платформы заключается в использовании единого гибридного цифрового пространства для управления циклом обработки данных, где нейросетевые алгоритмы для автоматического распознавания связаны с краудсорсинговым модулем^[3].

В таком сценарии значения, распознанные с низким порогом уверенности, переходят на верификацию нескольким операторам, людям. Операторы обрабатывают символы, с которыми не справилась система, таким образом, создают небольшие датасеты и и проводят дополнительно обучение системы.

Процесс начинается со сканирования/фотографирования документа, после чего внутренние алгоритмы применяются для очистки изображения, выравнивания текста и точного определения границ полей формы. Далее происходит этап оптического распознавания символов, который преобразует изображение текста в машиночитаемый формат.

В отдельных сценариях после распознавания и проверки данных система переходит к этапу идентификации личности физического лица. Он может включать сравнение данных из документа, удостоверяющего личность, документа с информацией, полученной из баз данных, а также анализ фотографии для подтверждения ее подлинности.

Таким образом, платформа способна не просто считывать данные с документа, но и верифицировать их соответствие реальным данным человека, что является критически важным для применения в финансовой сфере, юридических процедурах и при оказании государственных услуг.

Платформа реализована как нейросетевой конвейер с модулем верификации необходимых данных.

Свёрточная нейронная сеть для обнаружения ключевых точек в документе, чтобы преобразовать перспективы с помощью классических алгоритмов компьютерного зрения.

Предназначена для обнаружения объектов, состоит из двух модулей. Первый представляет собой глубокую полностью свёрточную сеть, которая предлагает регионы (сеть предложений регионов), а второй модуль — это детектор Fast R-CNN, который использует предложенные регионы. Все вместе это можно определить, как определение и обработка гипотез. Сеть одна из самых точных по сей день. Её применяют для обнаружения слов для распознавания на уточненном изображении документа.

Принимает изображение в качестве входных данных, а затем передает извлеченные визуальные функции высокого уровня в стек рекуррентных слоев для распознавания обнаруженных слов на уточненном изображении документа.

Cверточную нейронную сеть-трансформер используют для сквозного распознавания уточненного изображения.

Весь конвейер выглядит следующим образом:

1. Исходное изображение документа передается через HRNet, чтобы обнаружить ключевые точки на изображении и выполнить преобразование перспективы для уточнения документа.

2. Уточненное изображение поступает в Faster R-CNN, чтобы обнаружить слова и отсортировать их по полям.

3. Изображения слов извлекаются из уточненного изображения документа, используются обнаруженные координаты каждого слова.

4. Извлеченное слово-изображение проходит через R-CNN с вниманием Луонга (мультипликативное внимание) к распознаванию каждого слова. Выбранный тип внимания на практике намного быстрее и экономичнее с точки зрения памяти, поскольку его можно реализовать в виде высокооптимизированного кода умножения матриц.

5. Изображение из 1 проходит через Transformer-CNN для сквозного распознавания.

6. Объединение данных из нескольких обработки.

Beorg Smart Vision разработали в качестве инструмента преобразования в электронный машиночитаемый формат структурированных и неструктурированных наборов аналоговых данных: формализованных документов вроде паспорта и водительского удостоверения и свободные формы вроде рукописных справок и архивных документов.

Проекты по оцифровке выполнялись в рамках общего тренда на цифровизацию, связанного с развитием Национального проекта “Цифровая экономика”, цифрового госуправления и цифровой трансформацией бизнеса.

Цель, которую поставил перед собой разработчик платформы: распознавать любые типы данных с высоким качеством, несмотря на существующие технологические ограничения современных систем, а также готовить качественные массивы данных (датасеты) для обучения моделей искусственного интеллекта.

Сочетание автоматического распознавания и верификации данных с помощью операторов позволило сначала решать задачи, где машинное извлечение данных было недостаточно надёжным, а затем использовать накопленные результаты для дальнейшего обучения и повышения качества моделей.

Одним из ранних и заметных направлений применения платформы на первых этапах в открытых источниках названа оцифровка архивов органов ЗАГС.

Компания «Биорг» занималась оцифровкой архивов региональных органов ЗАГС с 2018 года. За это время были переведены в электронный вид основные сведения о населении Саратовской, Ивановской, Тамбовской областей, а также Севастополя, Сахалина и Владивостока. Завершающими стали самые крупные проекты – для Московской области и Красноярского края. Многие из этих работ были завершены досрочно благодаря интеллектуальной платформе Beorg Smart Vision.

В процессе реализации проектов оцифровки искусственный интеллект обучили на датасете объемом примерно 1 млрд сведений, было оцифровано 43 млн акта гражданского состояния^[5]. Только в Тамбовской области было оцифровано 1 млн записей с 1926 по 1999 год. ^[6]

Целью оцифровки актов гражданского состояния было формирование единого реестра данных о населении, благодаря которому Правительство РФ смогло в том числе назначать гражданам льготы и выплаты в период пандемии COVID-19.

На этом этапе в краудсорсинговом модуле платформы решали задачи верификации данных, которые были распознаны на китайском, японском и старотатарском языках. Для специфической доменной верификации и разметки были приглашены узкопрофильные специалисты, лингвисты.

Обычные наборы данных помогали размечать обученные операторы, находящиеся в разных регионах России. Значительной частью операторов стали молодые и будущие мамы, которые ушли в декретный отпуск и искали способ дополнительного онлайн-заработка. За социальный аспект бизнеса разработчик платформы компания “Биорг” была отмечена наградой “Лучшие социальные проекты”.

По данным “Биорг”, на платформе в период с 2018 по 2022 год частично и удаленно из разных регионов было задействовано более пятидесяти тысяч человек^[7].

В публикациях о платформе также упоминаются проекты по автоматизации документооборота и распознаванию сложных комплектов документов для трудоустройства^[8], оформления кредитов^[9], оцифровка входящей корреспонденции и обращений граждан для государственных структур^[10] и бизнеса.

В этих случаях Beorg Smart Vision описывают как инструмент ускорения обработки больших массивов документов и снижения доли ручного труда на рутинных этапах. Ежемесячно на платформе обрабатывают до 4 млн. полей с персональными данными^[11].

В 2022 году стало известно, что Росреестр запустил пилотное тестирование цифрового помощника регистратора “Ева”^[12] - системы на базе искусственного интеллекта, которая помогает государственному регистратору имущественных прав автоматически проверить комплект документов “договор + доверенность” на предмет соответствия формальным требованиям.

Регистратор "Ева" проводит предварительную проверку пакета документов за 15 секунд, предзаполняет электронные формы заявлений, дает моментальную обратную связь и позволяет предотвратить ошибки, обусловленные человеческим фактором. Помощник подсказывает регистратору, можно ли отправить документ на следующий этап регистрации или в них допущены ошибки и документы надо вернуть заявителю на доработку. Важно, что финальное решение в этом процессе принимал именно человек, а система лишь ускоряла рутинные процесса сверки данных^[13].

По заявлениям компании “Биорг”, в основу первой версии технологии “Ева” легли наработки Beorg Smart Vision^[14][15]. В частности, с помощью платформы “Биорг” провели необходимую NER-разметку для обучения системы распознавания естественного языка, которая должна была считывать данные из комплекта документов так же, как это делает человек.

Упоминание “Биорг” как разработчика системы отсутствует в официальных пресс-релизах Росреестра.

В том же году на базе платформы Beorg Smart Vision провели пилотный проект в Архангельской области по автоматическому распознаванию и обработке конкурсных документов для госзакупок. Решение на основе компьютерного зрения, нейросетевого распознавания и верификации данных помогло снизить срок обработки документов с 14 до трех дней^[16].

По мере развития платформы акцент смещался от ручной верификации к более высокой доле автоматического распознавания, а роль операторов всё чаще сводится к контролю спорных полей и сложных сценариев.

В 2025 году компания-разработчик объявила о том, что модуль разметки данных, разработанный на базе краудсорсингового сервиса “Биорг”, стал доступен для всех разработчиков моделей ИИ, а также для исследователей и бизнеса, в том числе по модели фримиум^[1]. Это означает, что любой, кому требуется инструмент разметки данных для самостоятельной работы, может воспользоваться инструментов “Биорг” совершенно бесплатно.

Идея использовать платформу как единый инструмент для оцифровки региональных архивов с привлечением местного населения сохранилась в виде концепции “Национальная платформа разметки данных” для подготовки и верификации текстовых, графических, аудио- и видеоданных в интересах государства.

В 2024 году инициатива вошла в шорт-лист форума «Сильные идеи для нового времени». Платформу презентовали в финале проектно-образовательного интенсива «Архипелаг 2024»^[17] руководству Сахалинской области, гендиректору АСИ РФ и главе Госкорпорации ВЭБ.РФ и признали соответствующей национальным целям развития страны в части повышения цифровой зрелости экономики, госуправления и социальной сферы.

С 2024-2025 на базе Beorg Smart Vision также развернули сервис для удаленной идентификации физических лиц (Знай своего клиента (KYC)) и обработки комплектов персональных документов, включая паспорта, СНИЛС, ИНН, водительские удостоверения, иностранные ID^[18].

Решение позволяет подтвердить, что человек, который проходит регистрацию в приложении или на сайте - именно то, за кого себя выдаёт.

Функционал позволяет автоматизировать комплаенс-процедуры для финансовых организаций и компаний, работающих с деньгами частных лиц, бороться с мошенническими регистрациями в финансовых, шеринговых и других сервисах, включая deepfake-атаки в процессе предъявления паспорта и селфи.

По логике сочетания машинной обработки и распределённого человеческого труда платформа Beorg Smart Vision стала российским эквивалентом наиболее известного международного проекта для разметки и решения микрозадач Amazon Mechanical Turk.

Mechanical Turk получил широкое распространение в международном ИТ-секторе как инфраструктура для сбора и проверки данных, проведения аннотации и исследовательских задач, а также как один из заметных инструментов раннего масштабирования решений, основанных на данных, и ИИ-проектов.

Значение подобных систем для отрасли состоит в том, что они позволили в короткие сроки подготовить огромное количество данных для ИИ-моделей, изменивы подход к обработке информационных массивов, которую стало возможно делегировать. Именно благодаря такому подходу во многом стал возможен быстрый прогресс LLM-моделей наподобие ChatGPT.

Для платформ, основанных на краудсорсинге, международная дискуссия обычно связана с качеством данных, возможностью появления недобросовестных исполнителей или автоматизированных ответов, а также с условиями труда исполнителей цифровых задач.

Эти проблемы подробно обсуждались применительно к Amazon Mechanical Turk в публикациях Wired^[19], где отмечались жалобы на низкую оплату, слабую поддержку работников и риски ухудшения качества собираемых данных.

Для решений, работающих с документами и персональными данными, к этим вопросам добавляются требования информационной безопасности, деперсонализации и соответствия регуляторным требованиям.

В публикациях о платформе «Биорг» как существенные элементы модели упоминаются защищенный контур обработки, шифрование и механизмы деперсонализации. Однако оценка достаточности таких мер в каждом конкретном случае требует независимой экспертизы и не может основываться только на заявлениях разработчика.

Тем не менее, другие краудсорсинговые платформы вроде Scale AI (Remo Task), американского миллиардера китайского происхождения Александра Вана сыграли важнейшую роль в подготовке машиночитаемых данных для обучения искусственного интеллекта. В числе заказчиков краудсорсинговых услуг компании Вана оказались и Tesla и копания OpenAI, разработчик LLM-модели ChatGPT.

Для истории российских ИТ-решений Beorg Smart Vision представляет интерес как пример платформенного подхода к обработке разных типов данных на пересечении распознавания документов с помощью технологий машинного обучения, краудсорсинга, который применяют для верификации и разметки данных, а также KYC-процессов для идентификации физических лиц.

Технология играет ту же роль в российских проектах цифровой трансформации, которую отводят платформам human-in-the-loop международного класса.

• «Биорг Processing: smart vision», реестровая запись №9998 от 02.04.2021
• ИИ и краудсорсинг: обзор сервиса по распознаванию и оцифровке документов для государства и бизнеса. Cnews
• Сайт компании "Биорг"
• В Великом Новгороде начались испытания «Цифрового помощника регистратора»
• Сайт компании "Биорг"
• Цифрового помощника для регистрации прав собственности на жилье запустят во всех регионах
• Информированность и доверие россиян к технологиям ИИ повысились за последний год
• Технологии искусственного интеллекта в экономике РФ — проекты БИОРГ в 2022 году
• Резидент «Сколково» оцифровал более 43 миллионов архивных записей по всей России
• Рукотворный интеллект: как Scale AI использует живых операторов в цифровую эпоху
• Разработка резидента "Сколково" поможет ускорить проведение госзакупок в три-четыре раза
• Лучшие социальные проекты России получили заслуженные награды
• Компания «Биорг» открывает ИИ-разработчикам доступ к платформе разметки данных
• Подведены первые итоги работы трека АСИ на "Архипелаге 2024"
• Резидент «Сколково» «Биорг» представил «Национальную платформу разметки данных» в финале проектно-образовательного интенсива «Архипелаг» 2024
• "Биорг" совместно с жителями Тамбовской области оцифровали записи актов гражданского состояния региона
• ИИ от резидента «Сколково» будет оцифровывать документы в SBI Банке
• «Биорг» совместно с тамбовчанами оцифровывает миллион записей актов гражданского состояния области
• ИИ помогает Росаккредитации быстрее обрабатывать корреспонденцию
• «Открытие Инвестиции» регистрирует новых клиентов в режиме реального времени благодаря технологии искусственного интеллекта
• It's Not Always AI That Sifts Through Your Sensitive Info
• "Агропромкомплектация" повысила скорость работы отдела кадров с помощью ИИ
• Решение «Биорг» для онлайн-идентификации физлиц признали лучшим на питч-сессии резидентов «Сколково»
• Искусственный интеллект, разработанный в РФ, будет проверять потенциальных заемщиков финансовых организаций
• Российский ИИ сократил время оформления на работу до 10 минут