Поделиться через


Что такое поиск в Azure AI?

Поиск ИИ Azure (ранее известный как "Когнитивный поиск Azure") — это система получения информации, готовой для предприятия, для разнородного содержимого, которое вы используете в индекс поиска, а также для пользователей с помощью запросов и приложений. Он поставляется с комплексным набором передовых технологий поиска, созданных для высокопроизводительных приложений в любом масштабе.

Поиск Azure AI является рекомендуемой системой извлечения для создания межагентских приложений (A2A) и приложений на основе RAG в Azure с собственными интеграциями LLM между Azure OpenAI в рамках моделей Azure AI Foundry и Azure Machine Learning, а также с механизмами для интеграции сторонних моделей и моделей с открытым кодом и процессов.

Поиск ИИ Azure можно использовать как в традиционных, так и в сценариях создания поиска. Распространенные варианты использования: каталог или поиск документов, обнаружение сведений (исследование данных) и расширенное поколение (RAG) для поиска бесед.

При создании службы поиска вы работаете со следующими возможностями:

С точки зрения архитектуры служба поиска находится между внешними хранилищами данных, которые содержат неиндексированные данные, и вашим клиентским приложением, которое отправляет запросы к индексу поиска и обрабатывает ответ.

Архитектура поиска ИИ Azure

В клиентском приложении интерфейс поиска определяется с помощью API из поиска ИИ Azure и может включать настройку релевантности, семантический ранжирование, автозавершение, сопоставление синонимов, сопоставление нечетких шаблонов, фильтрацию и сортировку.

На платформе Azure поиск ИИ Azure может интегрироваться с другими службами Azure в виде индексаторов, которые автоматизируют прием и извлечение данных из источников данных Azure, а также наборы навыков, которые включают потребляемый ИИ из служб ИИ Azure, таких как обработка изображений и естественного языка, или настраиваемый ИИ, создаваемый в Машинное обучение Azure или оболочку внутри Функции Azure.

Внутри службы поиска

В самой службе поиска находятся две основные рабочие нагрузки: индексирование и запросы.

  • Индексирование — это процесс приема, который загружает содержимое в службу поиска и делает его доступным для поиска. Внутри системы входящий текст обрабатывается в маркеры и хранится в инвертированных индексах, а входящий векторы хранятся в векторных индексах. Формат документа, который может индексировать поиск ИИ Azure, — JSON. Вы можете отправить собранные документы JSON или использовать индексатор для извлечения и сериализации данных в JSON.

    Примененный искусственный интеллект с помощью набора навыков расширяет индексирование с помощью моделей изображений и языков. Если у вас есть изображения или большой неструктурированный текст в исходном документе, вы можете присоединить навыки, которые выполняют OCR, анализ и описание изображений, структуру вывода, перевод текста и многое другое. Выходные данные — это текст, который можно сериализовать в JSON и получить в индекс поиска.

    Наборы навыков также могут выполнять блоки данных и векторизацию во время индексирования. Навыки, которые присоединяются к Azure OpenAI, каталогу моделей на портале Azure AI Foundry, или пользовательские навыки, которые присоединяются к любой внешней модели сегментации и встраивания, можно использовать во время индексирования для создания векторных данных. Выходные данные — это фрагментированные векторные содержимое, которое может быть приемлено в индекс поиска.

  • Запросы могут произойти после заполнения индекса с помощью поиска содержимого, когда клиентское приложение отправляет запросы в службу поиска и обрабатывает ответы. Все выполнение запроса выполняется по индексу поиска, который вы управляете.

    Семантический ранжирование — это расширение выполнения запроса. Он добавляет вторичный рейтинг, используя распознавание речи для повторного вычисления результирующей группы, повышая наиболее семантически релевантные результаты в верхней части.

    Встроенная векторизация также является расширением выполнения запросов. Если в индексе поиска есть векторные поля, можно отправить необработанные векторные запросы или текст, векторизированный во время запроса.

Поиск по искусственному интеллекту Azure хорошо подходит для следующих сценариев приложения:

  • Используйте его для традиционного полнотекстового поиска и векторного поиска следующего поколения. Верните созданные приложения ИИ с помощью получения информации, которая использует сильные стороны поиска ключевых слов и сходства. Используйте оба модальности, чтобы получить наиболее релевантные результаты.

  • Консолидируйте разнородное содержимое в определяемый пользователем и заполненный индекс поиска, состоящий из векторов и текста. Вы поддерживаете владение и контроль над тем, что можно найти.

  • Интегрируйте блоки данных и векторизацию для создания приложений ИИ и RAG.

  • Применение детализированного управления доступом на уровне документа.

  • Разгрузка рабочих нагрузок индексирования и запросов на выделенную службу поиска.

  • Удобная реализация функций поиска, таких как настройка релевантности, фасетная навигация, фильтры (включая геопространственный поиск), сопоставление синонимов и автозавершение.

  • Преобразуйте большие неифференцированные текстовые файлы или файлы изображений или файлы приложений, хранящиеся в Хранилище BLOB-объектов Azure или Azure Cosmos DB, в блоки, доступные для поиска. Это достигается во время индексирования с помощью навыков искусственного интеллекта, которые добавляют внешнюю обработку из ИИ Azure.

  • Добавление лингвистического или пользовательского анализа текста. Если у вас есть содержимое, отличное от английского языка, служба "Поиск ИИ Azure" поддерживает анализаторы Lucene и процессоры естественного языка Майкрософт. Можно также настроить анализаторы для выполнения специализированной обработки необработанного содержимого, например для фильтрации диакритических знаков или распознавания и сохранения шаблонов в строках.

Дополнительные сведения о конкретных функциях см. в разделе "Функции поиска ИИ Azure"

Как приступить к работе

Функциональные возможности предоставляются с помощью портал Azure, простых REST API или пакетов SDK Azure, таких как пакет SDK Azure для .NET. Портал Azure поддерживает администрирование служб и управление содержимым с инструментами для создания прототипов и запроса индексов и наборов навыков.

Использование портала Azure

Комплексное изучение основных функций поиска можно выполнить в четырех шагах:

  1. Определите уровень и регион. Одна бесплатная служба поиска разрешена для каждой подписки. Все краткие руководства можно выполнить на бесплатном уровне. Для получения дополнительных возможностей и возможностей вам потребуется оплачиваемый уровень.

  2. Создайте службу поиска в портал Azure.

  3. Начните с мастера импорта данных. Выберите встроенный пример или поддерживаемый источник данных для создания, загрузки и запроса индекса в минутах.

  4. Завершите работу с обозревателем поиска, используя клиент портала для запроса только что созданного индекса поиска.

Использование API

Кроме того, можно создать, загрузить и запросить индекс поиска в атомарных шагах:

  1. Создайте индекс поиска с помощью портал Azure, REST API, пакета SDK для .NET или другого пакета SDK. Схема индекса определяет структуру содержимого, доступного для поиска.

  2. Отправьте содержимоес помощью модели push-отправки документов JSON из любого источника или используйте модель извлечения (индексаторы), если исходные данные являются поддерживаемыми типами.

  3. Запросите индекс с помощью обозревателя поиска в портал Azure, REST API, пакета SDK для .NET или другого пакета SDK.

Использование акселераторов

Кроме того, попробуйте использовать акселераторы решений:

  • Чат с акселератором решения для обработки данных помогает создать пользовательское решение RAG по содержимому.

  • Акселератор решений интеллектуального анализа знаний бесед помогает создать интерактивное решение для извлечения полезных аналитических сведений из расшифровок после контакта.

  • Акселератор интеллектуального анализа знаний документов помогает обрабатывать и извлекать сводки, сущности и метаданные из неструктурированных многомодальных документов.

  • Создайте собственный акселератор решений copilot, использует Azure OpenAI, поиск ИИ Azure и Microsoft Fabric для создания пользовательских решений copilot.

    • Универсальный copilot помогает создавать собственный copilot для идентификации соответствующих документов, суммирования неструктурированных сведений и создания шаблонов документов Word с помощью собственных данных.

    • Помощник по клиентам с одним пользовательским copilot позволяет помощнику по клиентам использовать возможности генерированного ИИ как в структурированных, так и неструктурированных данных. Помогите нашим клиентам оптимизировать ежедневные задачи и повысить эффективность взаимодействия с большим числом клиентов

    • Помощник по исследованиям помогает создать собственный помощник по искусственному интеллекту, чтобы определить соответствующие документы, суммировать и классифицировать огромные объемы неструктурированной информации, а также ускорить общее создание документов и создания содержимого.

Совет

Чтобы помочь с сложными или настраиваемыми решениями, обратитесь к партнеру с глубоким опытом в технологии поиска ИИ Azure.