Что такое поиск в Azure AI?
Поиск ИИ Azure (ранее известный как "Когнитивный поиск Azure") обеспечивает безопасное получение информации в масштабе по сравнению с пользовательским содержимым в традиционных и созданных приложениях поиска ИИ.
Получение информации является основой для любого приложения, которое отображает текст и векторы. Распространенные сценарии включают в себя каталог или поиск документов, исследование данных и все чаще приложения в стиле чата по поводу собственных данных приземления. При создании службы поиска вы работаете со следующими возможностями:
- Поисковая система для векторного поиска и полнотекстовогои гибридного поиска по индексу поиска
- Расширенное индексирование с помощью встроенного фрагментирования и векторизации данных (предварительная версия), лексический анализ текста и необязательное обогащение ИИ для извлечения и преобразования контента
- Расширенный синтаксис запросов для векторных запросов, текстовый поиск, гибридные запросы, нечеткий поиск, автозавершение, геоизбыточное и другое
- Масштабирование, безопасность и охват Azure
- Интеграция Azure с уровнем данных, уровнем машинного обучения, службами ИИ Azure и Azure OpenAI
С точки зрения архитектуры служба поиска находится между внешними хранилищами данных, которые содержат неиндексированные данные, и вашим клиентским приложением, которое отправляет запросы к индексу поиска и обрабатывает ответ.
В клиентском приложении интерфейс поиска определяется с помощью API из поиска ИИ Azure и может включать настройку релевантности, семантический ранжирование, автозавершение, сопоставление синонимов, сопоставление нечетких шаблонов, фильтрацию и сортировку.
На платформе Azure поиск ИИ Azure может интегрироваться с другими службами Azure в виде индексаторов, которые автоматизируют прием и извлечение данных из источников данных Azure, а также наборы навыков, которые включают потребляемый ИИ из служб ИИ Azure, таких как обработка изображений и естественного языка, или настраиваемый ИИ, создаваемый в Машинное обучение Azure или оболочку внутри Функции Azure.
Внутри службы поиска
В самой службе поиска находятся две основные рабочие нагрузки: индексирование и запросы.
Индексирование — это процесс приема, который загружает содержимое в службу поиска и делает его доступным для поиска. Внутри системы входящий текст обрабатывается в маркеры и хранится в инвертированных индексах, а входящий векторы хранятся в векторных индексах. Формат документа, который может индексировать поиск ИИ Azure, — JSON. Вы можете отправить собранные документы JSON или использовать индексатор для извлечения и сериализации данных в JSON.
Примененный искусственный интеллект с помощью набора навыков расширяет индексирование с помощью моделей изображений и языков. Если у вас есть изображения или большой неструктурированный текст в исходном документе, вы можете присоединить навыки, выполняющие OCR, описывать изображения, выводить структуру, переводить текст и многое другое. Вы также можете присоединить навыки, выполняющие блоки данных и векторизацию.
Запросы могут произойти после заполнения индекса с помощью поиска содержимого, когда клиентское приложение отправляет запросы в службу поиска и обрабатывает ответы. Все выполнение запроса выполняется по индексу поиска, который вы управляете.
Семантический ранжирование — это расширение выполнения запроса. Он добавляет понимание языка в обработку результатов поиска, повышая наиболее семантические результаты в верхней части.
Почему используйте поиск по искусственному интеллекту Azure?
Поиск по искусственному интеллекту Azure хорошо подходит для следующих сценариев приложения:
Используйте его для традиционного полнотекстового поиска и векторного поиска следующего поколения. Верните созданные приложения ИИ с помощью получения информации, которая использует силу ключевое слово и поиска сходства. Используйте оба модальности, чтобы получить наиболее релевантные результаты.
Консолидируйте разнородное содержимое в определяемый пользователем и заполненный индекс поиска, состоящий из векторов и текста. Вы владеете и управляете тем, что можно найти.
Интегрируйте блоки данных и векторизацию для создания приложений ИИ и RAG.
Применение детализированного управления доступом на уровне документа.
Разгрузка рабочих нагрузок индексирования и запросов на выделенную службу поиска.
Удобная реализация функций поиска, таких как настройка релевантности, фасетная навигация, фильтры (включая геопространственный поиск), сопоставление синонимов и автозавершение.
Преобразуйте большие неифференцированные текстовые файлы или файлы изображений или файлы приложений, хранящиеся в Хранилище BLOB-объектов Azure или Azure Cosmos DB, в блоки, доступные для поиска. Это достигается во время индексирования с помощью когнитивных навыков , которые добавляют внешнюю обработку из ИИ Azure.
Добавление лингвистического или пользовательского анализа текста. Если у вас есть содержимое, отличное от английского языка, служба "Поиск ИИ Azure" поддерживает анализаторы Lucene и процессоры естественного языка Майкрософт. Можно также настроить анализаторы для выполнения специализированной обработки необработанного содержимого, например для фильтрации диакритических знаков или распознавания и сохранения шаблонов в строках.
Дополнительные сведения о конкретных функциях см. в разделе "Функции поиска ИИ Azure"
Как приступить к работе
Функциональные возможности предоставляются с помощью портал Azure, простых REST API или пакетов SDK Azure, таких как пакет SDK Azure для .NET. Портал Azure поддерживает администрирование служб и управление содержимым с инструментами для создания прототипов и запроса индексов и наборов навыков.
Комплексное изучение основных функций поиска можно выполнить в четырех шагах:
Определите уровень и регион. Одна бесплатная служба поиска разрешена для каждой подписки. Все краткие руководства можно выполнить на бесплатном уровне. Для получения дополнительных возможностей и возможностей вам потребуется оплачиваемый уровень.
Создайте службу поиска в портал Azure.
Начните с мастера импорта данных. Выберите встроенный пример или поддерживаемый источник данных для создания, загрузки и запроса индекса в минутах.
Завершите поиск Обозреватель с помощью клиента портала для запроса только что созданного индекса поиска.
Кроме того, можно создать, загрузить и запросить индекс поиска в атомарных шагах:
Создание индекса поиска с помощью портала, REST API, пакета SDK для.NET или другого пакета SDK. Схема индекса определяет структуру содержимого, доступного для поиска.
Отправьте содержимоес помощью модели push-отправки документов JSON из любого источника или используйте модель извлечения (индексаторы), если исходные данные являются поддерживаемыми типами.
Запрос индекса с помощью обозревателя поиска на портале, REST API, пакета SDK для .NET или другого пакета SDK.
Совет
Чтобы помочь с сложными или настраиваемыми решениями, обратитесь к партнеру с глубоким опытом в технологии поиска ИИ Azure.
Сравнение параметров поиска
Клиенты часто спрашивают, как поиск ИИ Azure сравнивается с другими решениями, связанными с поиском. В следующей таблице представлены основные отличия.
| По сравнению с | Основные отличия |
|---|---|
| Microsoft Search | Поиск (Майкрософт) предназначен для прошедших проверку подлинности пользователей Microsoft 365, которым необходимо выполнять запросы к содержимому в SharePoint. Поиск ИИ Azure извлекает содержимое в Azure и любом наборе данных JSON. |
| Bing; | API Bing запрашивают индексы в Bing.com для сопоставления терминов. Поиск в Azure AI по индексам, заполненным содержимым. Вы управляете приемом данных и схемой. |
| Поиск по базе данных | В SQL Azure есть полнотекстовый поиск и векторный поиск. В Azure Cosmos DB также есть поиск текста и векторный поиск. Поиск ИИ Azure становится привлекательной альтернативой, если вам нужны такие функции, как настройка релевантности или содержимое из разнородных источников. Другим важным отличием является использование ресурсов. Индексирование и запросы интенсивно используются для вычислений. Выгрузка поиска из СУБД сохраняет системные ресурсы для обработки транзакций. |
| Специализированное решение для поиска | Предположим, что вы решили использовать выделенный поиск с полной функциональностью спектра, окончательное категориальное сравнение между технологиями поиска. Среди поставщиков облачных служб поиск ИИ Azure является самым сильным для векторных, ключевое слово и гибридных рабочих нагрузок по содержимому в Azure, для приложений, которые в основном используют поиск как для получения информации, так и для навигации по содержимому. |
Ниже перечислены ключевые преимущества.
- Хранение, индексирование и внедрение вектора поиска для предложений, изображений, графов и т. д.
- Найдите сведения, которые семантические похожи на поисковые запросы, даже если условия поиска не совпадают.
- Используйте гибридный поиск для лучшего ключевое слово и векторного поиска.
- Настройка релевантности с помощью профилей семантического ранжирования и оценки.
- Интеграция данных (обходчики) на уровне индексирования.
- Интеграция СИ Azure для преобразований, которые делают текст содержимого и векторным поиском.
- Безопасность Microsoft Entra для доверенных подключений и Приватный канал Azure для частных подключений в сценариях без Интернета.
- Полный интерфейс поиска: лингвистическое и пользовательское анализ текста на 56 языках. Аспекты, запросы автозаполнения и предлагаемые результаты и синонимы.
- Масштаб, надежность и глобальный охват Azure.