Изменить

Поделиться через

Автоматизация обработки документов с помощью аналитики документов ИИ

Поиск по искусственному интеллекту Azure
Службы ИИ Azure
Azure Cosmos DB
Аналитика документов ВИ Azure
Машинное обучение Azure

В этой статье описывается масштабируемое и безопасное решение для создания автоматизированного конвейера обработки документов. В решении используется аналитика документов ИИ для структурированного извлечения данных. Модели обработки естественного языка (NLP) и пользовательские модели обогащены данными.

Архитектура

Схема архитектуры, показывающая, как данные передаются через этапы извлечения, обогащения и аналитики обработки документов.

Скачайте файл Visio для этой архитектуры.

Поток данных

В следующих разделах описаны различные этапы процесса извлечения данных.

Прием и извлечение данных

  1. Документы передаются через браузер в интерфейсе веб-приложения. Документы содержат изображения или формат PDF. приложение Azure служба размещает серверное приложение. Решение направляет документы в это приложение через Шлюз приложений Azure. Эта подсистема балансировки нагрузки выполняется с помощью Azure Брандмауэр веб-приложений, которая помогает защитить приложение от распространенных атак и уязвимостей.

  2. Серверное приложение отправляет запрос в конечную точку REST API аналитики документов Azure, которая использует одну из следующих моделей:

    Ответ azure AI Document Intelligence содержит необработанные данные оптического распознавания символов (OCR) и структурированные извлечения.

  3. Служба приложений серверное приложение использует значения достоверности для проверки качества извлечения. Если качество ниже указанного порогового значения, приложение помечает данные для проверки вручную. Когда качество извлечения соответствует требованиям, данные вступают в Azure Cosmos DB для потребления нижестоящего приложения. Приложение также может вернуть результаты в интерфейсный браузер.

  4. Другие источники предоставляют изображения, PDF-файлы и другие документы. Источники включают вложения электронной почты и серверы FTP. Такие инструменты, как Фабрика данных Azure и AzCopy, передают эти файлы в Хранилище BLOB-объектов Azure. Azure Logic Apps предлагает конвейеры для автоматического извлечения вложений из сообщений электронной почты.

  5. Когда документ входит в хранилище BLOB-объектов, активируется функция Azure. Функция :

    • Отправляет запрос в соответствующую предварительно созданную конечную точку Аналитики документов Azure.
    • Получает ответ.
    • Оценивает качество извлечения.

  6. Извлеченные данные входят в Azure Cosmos DB.

Обогащение данных

Конвейер, используемый для обогащения данных, зависит от варианта использования.

  1. Обогащение данных может включать следующие возможности NLP:

    • Распознавание именованных сущностей (NER)
    • Извлечение персональных данных, ключевых фраз, сведений о работоспособности и других сущностей, зависящих от домена

    Чтобы обогатить данные, веб-приложение:

  2. Пользовательские модели выполняют обнаружение мошенничества, анализ рисков и другие типы анализа данных:

    • Машинное обучение Azure службы обучают и развертывают пользовательские модели.
    • Извлеченные данные извлекаются из Azure Cosmos DB.
    • Модели получают аналитические сведения от данных.

    Эти возможности существуют для вывода:

  3. Обогащенные данные входят в Azure Cosmos DB.

Аналитика и визуализации

  1. Приложения используют необработанные OCR, структурированные данные из конечных точек аналитики документов ИИ Azure и обогащенные данные из NLP:

    • В Power BI отображаются данные и отображаются отчеты.
    • Данные функционируют как источник для Когнитивный поиск Azure.
    • Другие приложения используют данные.

Компоненты

  • Служба приложений — это платформа как услуга (PaaS) в Azure. Вы можете использовать Служба приложений для размещения веб-приложений, которые можно масштабировать вручную или автоматически. Служба поддерживает различные языки и платформы, такие как ASP.NET, ASP.NET Core, Java, Ruby, Node.js, PHP и Python.

  • Шлюз приложений — это подсистема балансировки нагрузки уровня 7 (уровня приложения), которая управляет трафиком в веб-приложения. Вы можете запустить Шлюз приложений с помощью Azure Брандмауэр веб-приложений, чтобы защитить веб-приложения от распространенных эксплойтов и уязвимостей.

  • Функции Azure — это бессерверная платформа вычислений, которую можно использовать для создания приложений. С помощью функций можно использовать триггеры и привязки для реагирования на изменения в службах Azure, таких как хранилище BLOB-объектов и Azure Cosmos DB. Функции могут выполнять запланированные задачи, обрабатывать данные в режиме реального времени и обрабатывать очереди обмена сообщениями.

  • Аналитика документов Azure является частью служб ИИ Azure. Azure AI Document Intelligence предлагает коллекцию готовых конечных точек для извлечения данных из счетов, документов, квитанций, идентификаторов и визитных карточек. Эта служба сопоставляет каждый фрагмент извлеченных данных с полем как пару "ключ-значение". Аналитика документов ИИ Azure также извлекает содержимое и структуру таблиц. Выходной формат — JSON.

  • служба хранилища Azure — это облачное хранилище, включающее объект, большой двоичный объект, файл, диск, очередь и хранилище таблиц.

  • Хранилище BLOB-объектов — это служба, которая является частью служба хранилища Azure. Хранилище BLOB-объектов предлагает оптимизированное облачное хранилище для больших объемов неструктурированных данных.

  • Azure Data Lake Storage — это масштабируемое безопасное озеро данных для высокопроизводительных рабочих нагрузок аналитики. Данные обычно берутся из нескольких разнородных источников и могут быть структурированы, полуструктурированными или неструктурированными. Azure Data Lake Storage 2-го поколения объединяет возможности Azure Data Lake Storage 1-го поколения с хранилищем BLOB-объектов. В качестве решения следующего поколения Data Lake Storage 2-го поколения обеспечивает семантику файловой системы, безопасность на уровне файлов и масштабирование. Но она также предлагает многоуровневые хранилища, высокий уровень доступности и аварийное восстановление хранилища BLOB-объектов.

  • Azure Cosmos DB — это полностью управляемая, масштабируемая база данных NoSQL. Azure Cosmos DB обеспечивает безопасность корпоративного уровня и поддерживает API для многих баз данных, языков и платформ. Примерами являются SQL, MongoDB, Gremlin, Table и Apache Cassandra. Бессерверные и автоматические параметры масштабирования в Azure Cosmos DB эффективно управляют требованиями емкости приложений.

  • Язык ИИ предлагает множество служб NLP, которые можно использовать для понимания и анализа текста. Некоторые из этих служб настраиваются, такие как NER, настраиваемая классификация текста, понимание общения и ответы на вопросы.

  • Машинное обучение — это открытая платформа для управления разработкой и развертыванием моделей машинного обучения в масштабе. Машинное обучение обслуживает уровни навыков различных пользователей, таких как специалисты по обработке и анализу данных или бизнес-аналитики. Платформа поддерживает часто используемые открытые платформы и предлагает автоматическое выделение признаков и алгоритмов. Модели можно развертывать в различных целевых объектах. К примерам относятся AKS, Экземпляры контейнеров Azure как веб-служба для вывода в режиме реального времени в масштабе и виртуальная машина Azure для пакетной оценки. Управляемые конечные точки в Машинное обучение абстрагируют необходимую инфраструктуру для вывода в режиме реального времени или пакетной модели.

  • AKS — это полностью управляемая служба Kubernetes, которая упрощает развертывание контейнерных приложений и управление ими. AKS предлагает бессерверную технологию Kubernetes, интегрированную интеграцию и непрерывную доставку (CI/CD), а также безопасность и управление корпоративным классом.

  • Power BI — это набор программных служб и приложений, где можно посмотреть данные аналитики.

  • Когнитивный поиск Azure — это облачная служба поиска, которая предоставляет инфраструктуру, API и средства поиска. Вы можете использовать Когнитивный поиск Azure для создания интерфейса поиска через частное, разнородное содержимое в веб-, мобильных и корпоративных приложениях.

Альтернативные варианты

Подробности сценария

Автоматизация обработки документов и извлечения данных является неотъемлемой задачей в организациях во всех отраслях по вертикали. ИИ является одним из проверенных решений в этом процессе, хотя достижение 100 процентов точности является далекой реальностью. Но использование искусственного интеллекта для цифровизации вместо чисто ручных процессов может сократить усилия вручную до 90 процентов.

Оптическое распознавание символов (OCR) может извлекать содержимое из изображений и PDF-файлов, которые составляют большую часть документов, используемых организациями. В этом процессе используется поиск ключевых слов и сопоставление регулярных выражений. Эти механизмы извлекают соответствующие данные из полнотекстового текста и создают структурированные выходные данные. Этот подход имеет недостатки. Изменение процесса после извлечения в соответствии с изменяющимися форматами документов требует значительных усилий по обслуживанию.

Потенциальные варианты использования

Это решение идеально подходит для финансовой отрасли. Он также может применяться к автомобильной, туристической и гостиничной промышленности. Следующие задачи могут воспользоваться этим решением:

  • Утверждение отчетов о расходах
  • Обработка счетов, квитанций и счетов за страховые претензии и финансовые аудиты
  • Обработка утверждений, включающих счета, сводки выгрузки и другие документы
  • Автоматизация утверждений о работе (SoW)
  • Автоматизация извлечения идентификаторов для целей проверки, как с паспортами или лицензиями водителя
  • Автоматизация процесса ввода данных визитной карточки в системы управления посетителями
  • Определение шаблонов покупок и дублирование финансовых документов для обнаружения мошенничества

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Имейте в виду эти моменты при использовании этого решения.

Availability

Доступность архитектуры зависит от служб Azure, составляющих решение:

Масштабируемость

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".

  • Azure Брандмауэр веб-приложений помогает защитить приложение от распространенных уязвимостей. Этот параметр Шлюз приложений использует правила Open Worldwide Application Security Project (OWASP) для предотвращения атак, таких как межсайтовые сценарии, перехваты сеансов и другие эксплойты.

  • Чтобы улучшить безопасность Служба приложений, рассмотрите следующие варианты:

    • Служба приложений доступ к ресурсам в Azure виртуальная сеть через интеграцию виртуальной сети.
    • Вы можете использовать Служба приложений в Среда службы приложений, который развертывается в выделенной виртуальной сети. Этот подход помогает изолировать подключение между Служба приложений и другими ресурсами в виртуальной сети.

    Дополнительные сведения см. в разделе "Безопасность" в службе приложение Azure.

  • Хранилище BLOB-объектов и Azure Cosmos DB шифруют неактивных данных. Эти службы можно защитить с помощью конечных точек службы или частных конечных точек.

  • Функции Azure поддерживает интеграцию виртуальной сети. С помощью этой функции приложения-функции могут получать доступ к ресурсам в виртуальной сети. Дополнительные сведения см. в статье Возможности работы с сетью в Функциях Azure.

  • Вы можете настроить azure AI Document Intelligence и AI Language для доступа из определенных виртуальных сетей или из частных конечных точек. Эти службы шифруют неактивных данных. Ключи подписки, маркеры или идентификатор Microsoft Entra можно использовать для проверки подлинности запросов к этим службам. Дополнительные сведения см. в статье "Проверка подлинности запросов к службам ИИ Azure".

  • Машинное обучение предлагает множество уровней безопасности:

Устойчивость

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Стоимость реализации этого решения зависит от того, какие компоненты вы используете и какие параметры вы выбираете для каждого компонента.

Многие факторы могут повлиять на цену каждого компонента:

  • Количество обрабатываемых документов
  • Число одновременных запросов, получаемых приложением
  • Размер хранимых данных после обработки
  • Регион развертывания

Эти ресурсы предоставляют сведения о ценах на компоненты:

После принятия решения о ценовой категории для каждого компонента используйте калькулятор цен Azure для оценки стоимости решения.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Автор субъекта:

  • Jyotsna Ravi | Старший инженер клиента

Следующие шаги