Что такое поиск в Azure AI?

Поиск ИИ Azure (ранее известный как "Когнитивный поиск Azure") — это система получения информации, готовой для предприятия, для разнородного содержимого, которое вы используете в индекс поиска, а также для пользователей с помощью запросов и приложений. Он поставляется с комплексным набором передовых технологий поиска, созданных для высокопроизводительных приложений в любом масштабе.

Поиск Azure AI является рекомендуемой системой извлечения для создания межагентских приложений (A2A) и приложений на основе RAG в Azure с собственными интеграциями LLM между Azure OpenAI в рамках моделей Azure AI Foundry и Azure Machine Learning, а также с механизмами для интеграции сторонних моделей и моделей с открытым кодом и процессов.

Поиск ИИ Azure можно использовать как в традиционных, так и в сценариях создания поиска. Распространенные варианты использования: каталог или поиск документов, обнаружение сведений (исследование данных) и расширенное поколение (RAG) для поиска бесед.

При создании службы поиска вы работаете со следующими возможностями:

• Поисковая система для векторного поиска и полнотекстового и гибридного поиска по индексу поиска.
• Расширенное индексирование с возможностью преобразования содержимого. К ним относятся интегрированные блоки данных и векторизация для RAG, лексический анализ текста и необязательный применение ИИ для извлечения и обогащения содержимого.
• Форматированный синтаксис запросов для векторных запросов, текстовый поиск, гибридные запросы, нечеткий поиск, автозавершение, геоизбыточное и другое.
• Настройка релевантности и производительности запросов с помощью семантического ранжирования, профилей оценки, квантизации для векторных запросов и параметров для управления поведением запросов во время выполнения.
• Масштабирование, безопасность и охват Azure.
• Интеграция Azure на уровне данных, уровне машинного обучения, службах ИИ Azure и Azure OpenAI.

Создание службы поиска

С точки зрения архитектуры служба поиска находится между внешними хранилищами данных, которые содержат неиндексированные данные, и вашим клиентским приложением, которое отправляет запросы к индексу поиска и обрабатывает ответ.

В клиентском приложении интерфейс поиска определяется с помощью API из поиска ИИ Azure и может включать настройку релевантности, семантический ранжирование, автозавершение, сопоставление синонимов, сопоставление нечетких шаблонов, фильтрацию и сортировку.

На платформе Azure поиск ИИ Azure может интегрироваться с другими службами Azure в виде индексаторов, которые автоматизируют прием и извлечение данных из источников данных Azure, а также наборы навыков, которые включают потребляемый ИИ из служб ИИ Azure, таких как обработка изображений и естественного языка, или настраиваемый ИИ, создаваемый в Машинное обучение Azure или оболочку внутри Функции Azure.

Внутри службы поиска

В самой службе поиска находятся две основные рабочие нагрузки: индексирование и запросы.

• Индексирование — это процесс приема, который загружает содержимое в службу поиска и делает его доступным для поиска. Внутри системы входящий текст обрабатывается в маркеры и хранится в инвертированных индексах, а входящий векторы хранятся в векторных индексах. Формат документа, который может индексировать поиск ИИ Azure, — JSON. Вы можете отправить собранные документы JSON или использовать индексатор для извлечения и сериализации данных в JSON.

  Примененный искусственный интеллект с помощью набора навыков расширяет индексирование с помощью моделей изображений и языков. Если у вас есть изображения или большой неструктурированный текст в исходном документе, вы можете присоединить навыки, которые выполняют OCR, анализ и описание изображений, структуру вывода, перевод текста и многое другое. Выходные данные — это текст, который можно сериализовать в JSON и получить в индекс поиска.

  Наборы навыков также могут выполнять блоки данных и векторизацию во время индексирования. Навыки, которые присоединяются к Azure OpenAI, каталогу моделей на портале Azure AI Foundry, или пользовательские навыки, которые присоединяются к любой внешней модели сегментации и встраивания, можно использовать во время индексирования для создания векторных данных. Выходные данные — это фрагментированные векторные содержимое, которое может быть приемлено в индекс поиска.

• Запросы могут произойти после заполнения индекса с помощью поиска содержимого, когда клиентское приложение отправляет запросы в службу поиска и обрабатывает ответы. Все выполнение запроса выполняется по индексу поиска, который вы управляете.

  Семантический ранжирование — это расширение выполнения запроса. Он добавляет вторичный рейтинг, используя распознавание речи для повторного вычисления результирующей группы, повышая наиболее семантически релевантные результаты в верхней части.

  Встроенная векторизация также является расширением выполнения запросов. Если в индексе поиска есть векторные поля, можно отправить необработанные векторные запросы или текст, векторизированный во время запроса.

Почему используйте поиск по искусственному интеллекту Azure?

Поиск по искусственному интеллекту Azure хорошо подходит для следующих сценариев приложения:

• Используйте его для традиционного полнотекстового поиска и векторного поиска следующего поколения. Верните созданные приложения ИИ с помощью получения информации, которая использует сильные стороны поиска ключевых слов и сходства. Используйте оба модальности, чтобы получить наиболее релевантные результаты.

• Консолидируйте разнородное содержимое в определяемый пользователем и заполненный индекс поиска, состоящий из векторов и текста. Вы поддерживаете владение и контроль над тем, что можно найти.

• Интегрируйте блоки данных и векторизацию для создания приложений ИИ и RAG.

• Применение детализированного управления доступом на уровне документа.

• Разгрузка рабочих нагрузок индексирования и запросов на выделенную службу поиска.

• Удобная реализация функций поиска, таких как настройка релевантности, фасетная навигация, фильтры (включая геопространственный поиск), сопоставление синонимов и автозавершение.

• Преобразуйте большие неифференцированные текстовые файлы или файлы изображений или файлы приложений, хранящиеся в Хранилище BLOB-объектов Azure или Azure Cosmos DB, в блоки, доступные для поиска. Это достигается во время индексирования с помощью навыков искусственного интеллекта, которые добавляют внешнюю обработку из ИИ Azure.

• Добавление лингвистического или пользовательского анализа текста. Если у вас есть содержимое, отличное от английского языка, служба "Поиск ИИ Azure" поддерживает анализаторы Lucene и процессоры естественного языка Майкрософт. Можно также настроить анализаторы для выполнения специализированной обработки необработанного содержимого, например для фильтрации диакритических знаков или распознавания и сохранения шаблонов в строках.

Дополнительные сведения о конкретных функциях см. в разделе "Функции поиска ИИ Azure"

Как приступить к работе

Функциональные возможности предоставляются с помощью портал Azure, простых REST API или пакетов SDK Azure, таких как пакет SDK Azure для .NET. Портал Azure поддерживает администрирование служб и управление содержимым с инструментами для создания прототипов и запроса индексов и наборов навыков.

Использование портала Azure

Комплексное изучение основных функций поиска можно выполнить в четырех шагах:

1. Определите уровень и регион. Одна бесплатная служба поиска разрешена для каждой подписки. Все краткие руководства можно выполнить на бесплатном уровне. Для получения дополнительных возможностей и возможностей вам потребуется оплачиваемый уровень.

2. Создайте службу поиска в портал Azure.

3. Начните с мастера импорта данных. Выберите встроенный пример или поддерживаемый источник данных для создания, загрузки и запроса индекса в минутах.

4. Завершите работу с обозревателем поиска, используя клиент портала для запроса только что созданного индекса поиска.

Использование API

Кроме того, можно создать, загрузить и запросить индекс поиска в атомарных шагах:

1. Создайте индекс поиска с помощью портал Azure, REST API, пакета SDK для .NET или другого пакета SDK. Схема индекса определяет структуру содержимого, доступного для поиска.

2. Отправьте содержимоес помощью модели push-отправки документов JSON из любого источника или используйте модель извлечения (индексаторы), если исходные данные являются поддерживаемыми типами.

3. Запросите индекс с помощью обозревателя поиска в портал Azure, REST API, пакета SDK для .NET или другого пакета SDK.

Использование акселераторов

Кроме того, попробуйте использовать акселераторы решений:

• Чат с акселератором решения для обработки данных помогает создать пользовательское решение RAG по содержимому.

• Акселератор решений интеллектуального анализа знаний бесед помогает создать интерактивное решение для извлечения полезных аналитических сведений из расшифровок после контакта.

• Акселератор интеллектуального анализа знаний документов помогает обрабатывать и извлекать сводки, сущности и метаданные из неструктурированных многомодальных документов.

• Создайте собственный акселератор решений copilot, использует Azure OpenAI, поиск ИИ Azure и Microsoft Fabric для создания пользовательских решений copilot.

  • Универсальный copilot помогает создавать собственный copilot для идентификации соответствующих документов, суммирования неструктурированных сведений и создания шаблонов документов Word с помощью собственных данных.

  • Помощник по клиентам с одним пользовательским copilot позволяет помощнику по клиентам использовать возможности генерированного ИИ как в структурированных, так и неструктурированных данных. Помогите нашим клиентам оптимизировать ежедневные задачи и повысить эффективность взаимодействия с большим числом клиентов

  • Помощник по исследованиям помогает создать собственный помощник по искусственному интеллекту, чтобы определить соответствующие документы, суммировать и классифицировать огромные объемы неструктурированной информации, а также ускорить общее создание документов и создания содержимого.

Совет

Чтобы помочь с сложными или настраиваемыми решениями, обратитесь к партнеру с глубоким опытом в технологии поиска ИИ Azure.