Идеи решения
Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.
В этой статье представлено решение, которое дополняет текстовые и изображения документов с помощью обработки изображений, обработки естественного языка и пользовательских навыков для записи данных, относящихся к домену. Когнитивный поиск Azure с обогащением ИИ может помочь определить и изучить соответствующее содержимое в масштабе. Это решение использует обогащение ИИ для извлечения смысла из исходного неструктурированного набора данных JFK Assassination Records (JFK Files).
Архитектура
Скачайте файл Visio для этой архитектуры.
Поток данных
На приведенной выше схеме показан процесс передачи неструктурированного набора данных JFK Files через конвейер навыков Когнитивный поиск Azure для создания структурированных индексируемых данных:
- Неструктурированные данные в Хранилище BLOB-объектов Azure, такие как документы и изображения, прием в Когнитивный поиск Azure.
- Шаг взлома документа инициирует процесс индексирования путем извлечения изображений и текста из данных, а затем обогащения содержимого. Шаги обогащения, выполняемые в этом процессе, зависят от выбранных данных и типа навыков.
- Встроенные навыки на основе API Компьютерное зрение и языковой службы позволяют обогащения ИИ, включая оптическое распознавание изображений (OCR), анализ изображений, перевод текста, распознавание сущностей и полнотекстовый поиск.
- Сценарии поддержки пользовательских навыков , требующие более сложных моделей или служб ИИ. Примеры включают Распознаватель форм, модели Машинное обучение Azure и Функции Azure.
- После процесса обогащения индексатор сохраняет выходные данные в индекс поиска, содержащий обогащенные и индексированные документы. Полнотекстовый поиск и другие формы запросов могут использовать этот индекс.
- Обогащенные документы также могут проектируются в хранилище знаний, которое может использовать подчиненные приложения, такие как интеллектуальный анализ знаний или обработка данных.
- Запросы получают доступ к обогащенном содержимому в индексе поиска. Индекс поддерживает пользовательские анализаторы, нечеткие поисковые запросы, фильтры и профиль оценки для настройки релевантности поиска.
- Любое приложение, которое подключается к служба хранилища BLOB-объектов или к таблице Azure служба хранилища может получить доступ к хранилищу знаний.
Компоненты
Когнитивный поиск Azure работает с другими компонентами Azure для предоставления этого решения.
Когнитивный поиск Azure
Когнитивный поиск Azure индексирует содержимое и обеспечивает взаимодействие с пользователем в этом решении. Когнитивный поиск Azure может применять предварительно созданные когнитивные навыки к содержимому, а механизм расширяемости может добавлять пользовательские навыки для конкретных преобразований обогащения.
Компьютерное зрение Azure
Azure Компьютерное зрение использует распознавание текста для извлечения и распознавания текстовых данных из изображений. API чтения использует последние модели распознавания OCR и оптимизирован для больших, текстовых и шумных изображений.
Устаревший API OCR не оптимизирован для больших документов, но поддерживает больше языков. Результаты OCR могут отличаться в зависимости от качества сканирования и изображения. Текущая идея решения использует OCR для создания данных в формате hOCR.
Azure Cognitive Service for Language
Azure Cognitive Service для языка извлекает текстовые данные из неструктурированных документов с помощью возможностей анализа текста, таких как распознавание именованных сущностей (NER), извлечение ключевых фраз и полнотекстовый поиск.
Хранилище Azure
Хранилище BLOB-объектов Azure — это хранилище объектов на основе REST для данных, доступ к которым можно получить из любой точки мира через HTTPS. Вы можете использовать служба хранилища BLOB-объектов для публичного предоставления данных миру или хранения данных приложения в частном порядке. Большой двоичный объект служба хранилища идеально подходит для больших объемов неструктурированных данных, таких как текст или графика.
Таблица Azure служба хранилища хранит высокодоступные, масштабируемые, структурированные или частично структурированные данные NoSQL в облаке.
Функции Azure
Функции Azure — это бессерверная служба вычислений, которая позволяет запускать небольшие части кода, активированного событиями, не выполняя явной подготовки или управления инфраструктурой. Это решение использует метод Функции Azure для применения списка cryptonyms ЦРУ к JFK Убийств Records в качестве пользовательского навыка.
Служба приложений Azure
Эта идея решения также создает автономное веб-приложение в службе приложение Azure для тестирования, демонстрации, поиска индекса и изучения подключений в обогащенных и индексированных документах.
Подробности сценария
Большие, неструктурированные наборы данных могут включать в себя рукописные заметки, фотографии и схемы, а также другие неструктурированные данные, которые стандартные решения поиска не могут анализировать. Записи убийства JFK содержат более 34 000 страниц документов о расследовании ЦРУ убийства 1963 JFK.
Пример проекта jFK Files и демонстрация в Интернете демонстрируют конкретный вариант использования Когнитивный поиск Azure. Эта идея решения не предназначена для платформы или масштабируемой архитектуры для всех сценариев, а для предоставления общего руководства и примера. Проект кода и демонстрация создают общедоступный веб-сайт и общедоступный контейнер хранилища для извлеченных образов, поэтому не следует использовать это решение с не открытыми данными.
Обогащение ИИ в Когнитивный поиск Azure может извлекать и улучшать поиск, индексируемый текст из изображений, больших двоичных объектов и других неструктурированных источников данных, таких как файлы JFK. Обогащение ИИ использует предварительно обученные наборы навыков машинного обучения из Компьютерное зрение Cognitive Services и Cognitive Service для API языка. Вы также можете создавать и присоединять пользовательские навыки , чтобы добавить специальную обработку для данных, относящихся к домену, таких как ЦРУ Cryptonyms. Когнитивный поиск Azure затем может индексировать и искать этот контекст.
Навыки Когнитивный поиск Azure в этом решении делятся на следующие категории:
Обработка изображений. Встроенные навыки извлечения текста и анализа изображений включают обнаружение объектов и лиц, тег и подпись поколения, а также идентификацию знаменитостей и ориентиров. Эти навыки создают текстовые представления содержимого изображения, которые доступны для поиска с помощью возможностей запроса Когнитивный поиск Azure. Трещина документов — это процесс извлечения или создания текстового содержимого из нетекстовых источников.
Обработка естественного языка. Встроенные навыки, такие как распознавание сущностей, обнаружение языка и извлечение ключевых фраз, сопоставляют неструктурированный текст с возможностью поиска и фильтруемыми полями в индексе.
Пользовательские навыки расширяют Когнитивный поиск Azure для применения определенных преобразований обогащения к содержимому. Вы указываете интерфейс для пользовательского навыка с помощью навыка пользовательского веб-API.
Потенциальные варианты использования
- Увеличьте значение и служебную программу неструктурированного текста и содержимого изображения в приложениях для поиска и обработки и анализа данных.
- Используйте пользовательские навыки для интеграции кода с открытым исходным кодом, стороннего или стороннего кода в конвейеры индексирования.
- Сделайте отсканированные документы JPG, PNG или растровые документы полнотекстовым поиском.
- Лучшие результаты, чем стандартное извлечение текста PDF для PDF-файлов с объединенным изображением и текстом. Некоторые сканированные и собственные форматы PDF могут неправильно анализироваться в Когнитивный поиск Azure.
- Создайте новые сведения из изначально понятного необработанного содержимого или контекста, скрытого в более крупных неструктурированных или полуструктурированных документах.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими участник.
Автор субъекта:
- Карлос Александр Сантос | Старший специалист по разработке облачных решений ИИ
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
Дополнительные сведения об этом решении:
- Изучите проект JFK Files на сайте GitHub.
- Просмотрите процесс в действии в онлайн-видео.
- Ознакомьтесь с демонстрацией JFK Files online.
Ознакомьтесь с документацией по продукту:
- Обогащение с помощью ИИ в службе "Когнитивный поиск Azure"
- Что собой представляет Компьютерное зрение
- Что такое Azure Cognitive Service for Language?
- Что такое оптическое распознавание символов?
- Что такое распознавание именованных сущностей (NER) в Azure Cognitive Service для языка?
- Общие сведения о хранилище BLOB-объектов Azure
- Общие сведения о Функциях Azure
Попробуйте использовать схему обучения:
Связанные ресурсы
Ознакомьтесь со связанными архитектурами и рекомендациями.