Используйте Genie Code для интеллектуальной обработки документов

Genie Code создаёт конвейеры обработки документов от конца до конца, организуя парсинг, классификацию, извлечение и валидацию. Если направить его на неструктурированные PDF-файлы, контракты или счета, он оценит качество по размеченным данным и будет итеративно его улучшать, чтобы вы могли определить, когда конвейер готов к промышленной эксплуатации.

Требования

Чтобы использовать Genie Code для обработки документов:

  • Соответствуйте требованиям к агентным функциям Genie Code.
  • Соответствуйте требованиям для функций ИИ. Функции обработки документов (ai_parse_document, ai_extract и ai_classify) выполняются в бессерверной вычислительной среде или в хранилище SQL в поддерживаемом регионе.
  • Иметь доступ в Unity Catalog к тому для исходных документов и к схеме для результатов.

Постройте конвейер обработки документов с помощью Genie Code

  1. Откройте код Genie на странице заданий и пайплайнов или в SQL-редакторе.
  2. Скажите свою цель и укажите на источники. Ссылайтесь на свои тома, таблицы и файлы.
  3. Пусть всё накапливается. Когда у Genie Code есть всё необходимое для работы, он создаёт задачу Lakeflow, используя лучшие практики.
  4. Проверьте и запустите. Просматривайте сгенерированный SQL и задачи, редактируйте всё, что хотите, и запускайте задание, когда будете готовы.
  5. Начинайте с малого, затем масштабируйтесь. Запускайте на образце, просматривайте результаты, оценивайте качество и итерайте перед обработкой полного набора данных.

С чем может помочь Genie Code?

Создайте сквозное задание на обработку документов

Опишите результат, и Genie Code создает полноценную работу Lakeflow, используя только те этапы, которые нужны вашей цели:

  • Найдите исходные файлы в томе и отслеживайте их идентичность и изменения.
  • Преобразуйте документы в структурированный контент с помощью ai_parse_document (текста, таблиц, рисунков и макета страницы).
  • Классифицируйте каждый документ по своим отдельным ярлыкам ( ai_classify например, партнерские, маркетинговые или консалтинговые контракты).
  • Извлечение структурированных полей в соответствии со схемой с ai_extract, включая ссылки на источники и оценки достоверности.
  • Публикуйте чистый, структурированный вывод в таблицу Unity Catalog.

Каждая функция искусственного интеллекта — это отдельная задача, поэтому задание остаётся модульным, и вы можете запустить её заново, пополнить или отредактировать позже.

Улучшить качество извлечения с помощью оценки и подъёма на гору

Genie Code относится к качеству как к тому, что вы измеряете, а не гадаете. Имея размеченную таблицу ожидаемых результатов, выполняется оценка на уровне полей, после чего цикл замыкается:

  • Мера. Оценивайте текущее поле извлечения по полям, чтобы точно видеть, какие поля слабые.
  • Улучшайся. Genie Code предлагает исправление, чаще всего — более точное описание поля, в виде списка изменений, который вы просматриваете и подтверждаете перед применением.
  • Переоцените. Каждое принятое изменение повторяет набор оценки и показывает результаты до и после, поэтому улучшения и регрессии видны.

Цикл повторяется, пока качество не достигнет заданной вами планки, поэтому вы оцениваете готовность по оценкам и уровню уверенности, а не по выводу, который лишь выглядит правдоподобно.

Проверяйте результаты и направляйте исключения

Genie Code встраивает контрольные точки качества в конвейер. Он сочетает детерминированные проверки (схемы, обязательные поля, итоговые суммы), степень уверенности модели и бизнес-правила, чтобы определить, что проходит проверку, и оставляет строки, не прошедшие проверку, видимыми.

Визуально отладьте документы

Genie Code открывает интерфейс разбора документов , чтобы показывать отрисованные страницы рядом с парсированным содержимым и извлеченными полями. Используйте его для поиска плохого результата: если текст отсутствует или искажен в разборанном выводе, проблема в разборе или в исходном файле. Если текст был обработан, но поле ошибочно, проблема в извлечении. В любом случае, проверьте это на реальных документах перед масштабированием.

Проверка и устранение неполадок существующих конвейеров

Genie Code работает с уже существующими у вас конвейерами, а не только с новыми. Он может объяснить работу, пересмотреть её дизайн и стоимость без изменений, найти корень неудачного или медленного этапа и внести малейшее исправление, оставив рабочие детали в покое.

Примеры подсказок

Постройте сквозной конвейер

  • Договоры поступают в @my_catalog.raw.contracts. Создайте ежедневную работу, которая классифицирует каждое из них на аффилиат, маркетинг, консалтинг, хостинг и эскроу; извлекать поля, важные для каждого типа контракта; и составлять золотые таблицы.»
  • У меня есть большой объём отсканированных счетов в @my_catalog.raw.invoices. Создайте задание, которое их анализирует, извлекает поставщика, номер счета, строки и итоговую сумму, а результаты записывает в таблицу.»

Улучшайте качество с помощью оценки и подъёма на гору

  • «Как мне понять, что это достаточно хорошо работает на миллионах строк?» Оцените извлечение по моей отмеченной таблице @my_catalog.default.eval_table и скажите, какие поля самые слабые.»
  • «Точность на invoice_total поле могла бы быть выше. Итеративно улучшайте схему и инструкции, повторяйте оценку и показывайте мне до и после.»
  • «Установите порог доверия для каждого поля на основе результатов оценки и направляйте рядки с низкой уверенностью на рассмотрение.»

Проверяйте результаты и направляйте исключения

  • Добавьте проверку, которая проверяет обязательные поля и что сумма позиций совпадает с общей суммой счета, и сохраняйте строки, не прошедшие проверку.
  • Помещайте документы, не прошедшие бизнес-правило (например, если уплаченный налог превышает зарплату), в отдельную таблицу для проверки человеком.

Визуально отладьте документы

  • «Покажи мне проанализированные результаты для этих PDF-файлов рядом с оригинальными страницами, чтобы я мог проверить пропарсированные результаты.»
  • «Дата вступления в силу в некоторых консалтинговых контрактах неверна. Открой разборный вид, чтобы я мог понять, проблема ли это в разборе или с извлечением.»

Проверка и устранение неполадок существующих конвейеров

  • «Объясните, что делает каждая задача в этой работе по обработке документов и где записаны результаты.»
  • Эта задача синтаксического анализа начала завершаться с ошибкой. Найдите причину по недавнему результату и порекомендуйте минимальное исправление.»
  • «Проверьте этот дизайн конвейера обработки документов с точки зрения лучших практик и скажите, готов ли он к работе на полном наборе данных.»

Дополнительные ресурсы

  • Last updated on