Семантическое ранжирование в поиске ИИ Azure
В службе "Поиск ИИ Azure" семантическая ранжирование измеримо улучшает релевантность поиска с помощью распознавания речи для повторного определения результатов поиска. В этой статье представлено высокоуровневое введение. В конце раздела рассматриваются доступность и цены.
Семантический рангер — это функция уровня "Премиум", оплачиваемая по использованию. Мы рекомендуем использовать эту статью для общего ознакомления, но если вы собираетесь начать работу с данной функцией, выполните следующие действия.
- Проверка региональной доступности
- Войдите в портал Azure, чтобы убедиться, что служба поиска имеет базовый или более высокий уровень
- Включение семантического ранжирования и выбор плана ценообразования
- Настройка семантической конфигурации в индексе поиска
- Настройка запросов для возврата семантических подпись и выделения
- При необходимости возвращать семантические ответы
Примечание.
Семантический ранжирование не использует генерированный ИИ или векторы. Если вы ищете поддержку векторов и поиск сходства? Дополнительные сведения см. в разделе "Поиск вектора" в Azure AI .
Что такое семантический рейтинг?
Семантический рангировщик — это коллекция возможностей, связанных с запросами, которые повышают качество исходного результата поиска на основе текста или RRF . Если включить его в службе поиска, семантический ранжирование расширяет конвейер выполнения запроса двумя способами:
Во-первых, он добавляет вторичный рейтинг по начальному результирующем набору, который был оценен с помощью BM25 или RRF. Этот вторичный рейтинг использует многоязычные модели глубокого обучения, адаптированные от Microsoft Bing для повышения наиболее семантически релевантных результатов.
Во-вторых, она извлекает и возвращает подписи и ответы в отклике, которые можно визуализировать на странице поиска для повышения удобства и качества поиска для пользователя.
Ниже приведены возможности семантического реанктера.
| Функция | Description |
|---|---|
| Семантическое ранжирование | Использует контекст или семантический смысл запроса для вычисления новой оценки релевантности по сравнению с предварительно настроенными результатами. |
| Семантические заголовки и выделения | Извлекает подробные предложения и фразы из документа, который лучше всего суммирует содержимое, с выделением ключевых фрагментов для простого сканирования. Заголовки, которые суммируют результат, полезны, если отдельные поля контента слишком плотны для страницы результатов поиска. Выделенный текст повышает уровень наиболее значимых терминов и фраз, чтобы пользователи могли быстро определить, почему совпадение было признано релевантным. |
| Семантические ответы | Необязательная и дополнительная подструктура, возвращаемая из семантического запроса. Обеспечивает прямой ответ на запрос, который выглядит, как вопрос. Для этого требуется, чтобы документ содержит текст с характеристиками ответа. |
Как работает семантический рангер
Семантический рейтинг передает запрос и результаты для моделей распознавания речи, размещенных корпорацией Майкрософт, и проверяет наличие лучших совпадений.
На следующем рисунке объясняется понятие. Рассмотрим термин "капитал". Он имеет разные значения в зависимости от того, является ли контекст финансы, закон, география или грамматика. С помощью распознавания речи семантический рангировщик может обнаруживать контекст и повышать результаты, которые соответствуют намерению запроса.
Семантические ранжирование требует ресурсов и времени. Чтобы завершить обработку в ожидаемой задержке операции запроса, входные данные в семантике рангера объединяются и сокращаются, чтобы шаг повторного выполнения можно было выполнить как можно быстрее.
Существует два шага для семантического ранжирования: суммирование и оценка. Выходные данные состоят из измененных результатов, подпись и ответов.
Сбор и обобщение входных данных
В семантическом ранжировании подсистема запросов передает результаты поиска в качестве входных данных для суммирования и ранжирования моделей. Так как модели ранжирования имеют ограничения размера входных данных и интенсивно обрабатываются, результаты поиска должны быть размерами и структурированными (обобщенными) для эффективной обработки.
Семантическая ранжирование начинается с результата BM25, ранжированного из текстового запроса или ранжированного результата RRF из гибридного запроса. Только текстовые поля используются в упражнении повторного использования, и только первые 50 результатов прогрессируют в семантической ранжировании, даже если результаты включают более 50. Как правило, поля, используемые в семантическом ранжировании, являются информационными и описательными.
Для каждого документа в результатах поиска модель суммирования принимает до 2000 маркеров, где маркер составляет около 10 символов. Входные данные собираются из полей title, ключевое слово и content, перечисленных в семантической конфигурации.
Слишком длинные строки обрезаются, чтобы общая длина соответствовала входным требованиям шага суммирования. Это упражнение по обрезке заключается в том, почему важно добавить поля в семантику конфигурации в порядке приоритета. В очень больших документах с полями, содержащими большие объемы текста, все данные, превышающие лимит, игнорируются.
Семантическое поле Ограничение маркера "title" 128 токенов "ключевое слово 128 токенов "content" оставшиеся маркеры Выходные данные суммирования — это сводная строка для каждого документа, состоящая из наиболее релевантных сведений из каждого поля. Сводные строки отправляются в рангер для оценки, а также в модели понимания машинного чтения для подпись и ответов.
Максимальная длина каждой созданной сводной строки, передаваемой семантике, составляет 256 токенов.
Выходные данные семантического рангера
Из каждой сводной строки модели чтения машинного чтения находят фрагменты, которые являются наиболее репрезентативными.
Выходные данные:
Семантическая подпись для документа. Каждый заголовок доступен в виде простой текстовой версии и версии с выделением, и часто составляет менее 200 слов на документ.
Необязательный семантический ответ, при условии, что вы указали
answersпараметр, запрос был задан как вопрос, и в длинной строке найден фрагмент, предоставляющий вероятный ответ на вопрос.
Заголовки и ответы всегда являются подробным текстом из индекса. В этом рабочем процессе нет созданной модели искусственного интеллекта, которая создает или создает новое содержимое.
Как забили сводки
Оценка выполняется по подпись и любому другому содержимому из сводной строки, которая заполняет длину токена 256.
Заголовки оцениваются с точки зрения концептуальной и семантической релевантности относительно предоставленного запроса.
@search.rerankerScore назначается каждому документу на основе семантической релевантности документа для данного запроса. Оценки варьируются от 4 до 0 (высокий и низкий), где более высокая оценка указывает на более высокую релевантность.
Совпадения перечислены в порядке убывания по оценке и включаются в полезные данные ответа запроса. Полезные данные включают в себя ответы, обычный текст и выделенные заголовки, а также все поля, помеченные как извлекаемые или указанные в предложении выбора.
Примечание.
Начиная с 14 июля 2023 г . распределение @search.rerankerScore изменяется. Влияние на оценки нельзя определить, кроме тестирования. Если у вас есть жесткое пороговое значение, зависят от этого свойства ответа, выполните тесты, чтобы понять, какие новые значения должны быть для порогового значения.
Семантические возможности и ограничения
Семантический рангер — это более новая технология, поэтому важно задать ожидания о том, что он может и не может сделать. Что это может сделать:
Повышение уровня совпадений, семантических ближе к намерению исходного запроса.
Поиск строк для использования в качестве подпись и ответов. Заголовки и ответы возвращаются в ответе и могут отображаться на странице результатов поиска.
Какой семантический рейтинг не удается выполнить повторно, выполните запрос по всему корпусу, чтобы найти семантические результаты. Семантическое ранжирование повторно выполняет существующий результирующий набор, состоящий из 50 лучших результатов, которые оцениваются алгоритмом ранжирования по умолчанию. Кроме того, семантический ранжирование не может создавать новые сведения или строки. Подписи и ответы извлекаются из содержимого подробно, поэтому если результаты не включают в себя текст, похожий на ответ, языковые модели не будут создавать их.
Хотя семантический рейтинг не является полезным в каждом сценарии, определенное содержимое может значительно воспользоваться его возможностями. Языковые модели в семантическом ранжировании лучше всего работают над доступным для поиска контентом, который является богатым и структурированным как проза. База знаний, онлайн-документация или документы, содержащие описательное содержимое, видят большую выгоду от возможностей семантического ранжирования.
Базовая технология состоит из Bing и Microsoft Research, а также интегрирована в инфраструктуру поиска ИИ Azure в качестве функции надстройки. Дополнительные сведения об исследованиях и инвестициях ИИ, поддерживаемых семантической ранжированием, см. в статье о том, как ИИ из Bing работает с помощью поиска ИИ Azure (блог по исследованиям Майкрософт).
В следующем видео представлен обзор возможностей.
Доступность и цены
Семантический рангировщик доступен в службах поиска на уровнях "Базовый" и "Выше", при условии региональной доступности.
При включении семантического ранжирования выберите план ценообразования для функции:
- При более низких томах запросов (менее 1000 ежемесячно), семантический рейтинг свободен.
- В более высоких объемах запросов выберите стандартный тарифный план.
На странице цен на поиск по искусственному интеллекту Azure отображается ставка выставления счетов для разных валют и интервалов.
Плата за семантический ранжирование взимается, если запросы включают в себя queryType=semantic , и строка поиска не пуста (например, search=pet friendly hotels in New York). Если строка поиска пуста (search=*), плата не взимается, даже если для типа запроса задана семантика.