Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В Поиск с использованием ИИ Azure semantic ranker — это функция, которая измеримо улучшает релевантность поиска с помощью моделей распознавания языка Microsoft для повторного определения результатов поиска. Семантический рангер также встроен в агентическое извлечение. В этой статье приведены общие сведения о поведении и преимуществах семантического ранжирования.
Семантический рангер — это функция уровня "Премиум", которая взимается по использованию, но ее можно использовать бесплатно в соответствии с ограничениями службы для уровня "Бесплатный". Мы рекомендуем использовать эту статью для фона, но если вы предпочитаете начать работу, выполните следующие действия.
Что такое семантический рейтинг?
Семантический рангировщик — это коллекция возможностей на стороне запроса, которые повышают качество исходного BM25-ранжированного или ранжированного RRF результата поиска для текстовых запросов, текстовой части векторных запросов и гибридных запросов. Семантическое ранжирование расширяет конвейер выполнения запросов тремя способами:
Во-первых, он всегда добавляет вторичную ранжировку поверх начального результирующего набора, который был оценен с помощью BM25 или Обратного ранжирования по рангу (RRF). Этот вторичный рейтинг использует многоязычные модели глубокого обучения, адаптированные из Microsoft Bing для повышения наиболее семантических результатов.
Во-вторых, он возвращает подписи и при необходимости извлекает ответы, которые можно отобразить на странице поиска, чтобы улучшить опыт поиска пользователя.
В-третьих, если включить перезапись запросов, она расширяет начальную строку запроса на несколько семантически похожих строк запроса.
Вторичное ранжирование и "ответы" применяются к ответу запроса. Перезапись запросов является частью запроса.
Ниже приведены возможности семантического реранкера.
| Возможность | Описание |
|---|---|
| Рейтинг L2 | Использует контекст или семантический смысл запроса для вычисления новой оценки релевантности по сравнению с предварительно настроенными результатами. |
| Семантические субтитры и выделения | Извлекает подробные предложения и фразы из полей, которые лучше всего суммируют содержимое, с выделением ключевых фрагментов для простого сканирования. Заголовки, которые суммируют результат, полезны, если отдельные поля контента слишком плотны для страницы результатов поиска. Выделенный текст повышает наиболее релевантные термины и фразы, чтобы пользователи могли быстро определить, почему совпадение считается соответствующим. |
| Семантические ответы | Необязательная и дополнительная подструктура, возвращаемая из семантического запроса. Он предоставляет прямой ответ на запрос, который выглядит как вопрос. Для этого требуется, чтобы документ содержит текст с характеристиками ответа. |
| Перезапись запросов | При использовании текстовых запросов или текстовой части векторного запроса семантика создает до 10 вариантов запроса, возможно исправление опечаток или ошибок орфографии или повторение запроса с помощью созданных синонимов. Перезаписанный запрос выполняется в поисковой системе. Результаты оцениваются с использованием оценки BM25 или RRF, а затем повторно оцениваются семантическим ранжировщиком. |
Как работает семантический рангер
Семантический рангировщик принимает запрос и результаты, а затем отправляет их в модели распознавания речи, размещенные Microsoft. Он сканирует на наличие лучших совпадений.
На следующем рисунке объясняется понятие. Рассмотрим термин "капитал". Он имеет разные значения в зависимости от того, является ли контекст финансы, закон, география или грамматика. С помощью распознавания речи семантический рангировщик обнаруживает контекст и повышает результаты, которые соответствуют намерению запроса.
Семантический ранжирование использует много ресурсов и времени. Чтобы завершить обработку в пределах ожидаемой задержки выполнения операции запроса, система консолидирует и уменьшает входные данные для семантического ранжировщика. Этот подход помогает максимально быстро выполнить повторную ранжировку.
Семантический рейтинг состоит из трех шагов:
- Сбор и сводка входных данных
- Оценка результатов с помощью семантического рангера
- Вывод пересчитанных результатов, заголовков и ответов.
Как система собирает и суммирует входные данные
В семантическом ранжировании подсистема запросов передает результаты поиска в качестве входных данных для суммирования и ранжирования моделей. Поскольку модели ранжирования имеют ограничения на размер входных данных и требуют интенсивной обработки, результаты поиска должны быть адаптированы по размеру, структурированы и обобщены для эффективной обработки.
Семантический рангировщик начинает работу с результата, ранжированного по BM25, полученного из текстового запроса, или с результата, ранжированного по RRF, полученного из векторного или гибридного запроса. Упражнение по повторной сортировке использует только текст. Несмотря на то, что результаты включают более 50, только первые 50 из них переходят к семантическому ранжированию. Как правило, семантический ранжирование использует информационные и описательные поля.
Для каждого документа в результатах поиска модель суммирования принимает до 2000 маркеров, где маркер составляет около 10 символов. Модель собирает входные данные из полей title, keyword и content, перечисленных в семантической конфигурации.
Система обрезает слишком длинные строки, чтобы общая длина соответствовала входным требованиям шага суммирования. Это упражнение по настройке показывает, почему важно добавлять поля в семантическую конфигурацию в порядке приоритета. Если у вас есть очень большие документы с текстовыми полями, система игнорирует что-либо после максимального ограничения.
Семантическое поле Ограничение токенов заголовок 128 токенов "Ключевые слова 128 токенов контент оставшиеся токены Выходные данные суммирования — это сводная строка для каждого документа, состоящая из наиболее релевантных сведений из каждого поля. Система отправляет резюме в модуль ранжирования для оценки, а также в модели понимания машинного чтения для генерации подписей и ответов.
На ноябрь 2024 года максимальная длина каждой генерируемой строки резюме, передаваемой семантическому ранжировщику, составляет 2048 токенов. Ранее это было 256 токенов.
Как оцениваются результаты
Система оценивает результаты на основе заголовка и любого другого содержимого из сводной строки, которая заполняет длину маркера 2048.
Система оценивает подписи для концептуальной и семантической релевантности относительно предоставленного запроса.
Система назначает @search.rerankerScore каждому документу на основе семантической релевантности документа для данного запроса. Оценки варьируются от 4 до 0 (высокий и низкий), где более высокая оценка указывает на более высокую релевантность.
Оценка Смысл 4.0 Документ весьма релевантн и полностью отвечает на этот вопрос, хотя отрывок может содержать дополнительный текст, не связанный с вопросом. 3.0 Документ имеет смысл, но не хватает подробностей, которые бы сделали его завершенным. 2.0 Документ имеет несколько релевантных сведений; он отвечает на вопрос частично или только решает некоторые аспекты вопроса. 1.0 Документ связан с вопросом, и он отвечает на небольшую часть этого вопроса. 0.0 Документ не имеет значения. Система сортирует совпадения по убыванию оценки и включает их в полезные данные ответа на запрос. Полезная нагрузка включает ответы, текст и выделенные заголовки, а также любые поля, помеченные как доступные для извлечения или указанные в выражении SELECT.
Примечание
Для любого конкретного запроса дистрибутивы @search.rerankerScore могут проявлять незначительные вариации из-за условий на уровне инфраструктуры. Обновление модели ранжирования также может повлиять на распределение. По этим причинам, если вы пишете пользовательский код для минимальных пороговых значений или задаете пороговое свойство для векторных и гибридных запросов, не используйте слишком детализированные ограничения.
Выходные данные семантического рангера
Из каждого резюме модели машинного чтения находят фрагменты, которые являются наиболее репрезентативными.
Выходные данные:
Семантическая подпись для документа. Каждая подпись доступна в обычной текстовой версии и версии выделения и часто меньше 200 слов на документ.
Необязательный семантический ответ, при условии, что вы указали
answersпараметр, запрос был задан как вопрос, и в длинной строке найден фрагмент, предоставляющий вероятный ответ на вопрос.
Подписи и ответы всегда являются дословным текстом из вашего индекса. В этом рабочем процессе нет генеративной модели искусственного интеллекта, которая создает новое содержимое.
Семантические возможности и ограничения
Что может сделать семантический рангировщик:
Повышение приоритета совпадений, семантически более близких к намерению исходного запроса.
Найдите строки, которые можно использовать в качестве подписей и ответов. Ответ возвращает заголовки и ответы, которые можно отобразить на странице результатов поиска.
Что не может сделать семантический рангировщик, так это повторно выполнять запрос по всему корпусу, чтобы найти семантически релевантные результаты. Семантическое ранжирование выполняет повторное ранжирование существующего результатного набора, состоящего из 50 лучших результатов, которые оцениваются алгоритмом ранжирования по умолчанию. Кроме того, семантический рангировщик не может создавать новые сведения или строки. Языковые модели извлекают подписи и ответы из содержимого, поэтому если результаты не включают в себя текст, похожий на ответ, они не будут создавать их.
Хотя семантический рейтинг не является полезным в каждом сценарии, определенное содержимое может значительно воспользоваться его возможностями. Языковые модели в семантическом ранжировании лучше всего работают с доступным для поиска контентом, который богато информацией и структурирован как прозаично. База знаний, онлайн-документация или документы, содержащие описательное содержимое, получают наибольшую выгоду от возможностей семантического классификатора.
Базовая технология используется из Bing и Microsoft Research и интегрирована в инфраструктуру Поиск с использованием ИИ Azure в качестве дополнительной функции. Дополнительные сведения об исследованиях и инвестициях в ИИ, поддерживающих семантический ранжировщик, см. в статье How AI from Bing is powering Поиск с использованием ИИ Azure (блог по исследованиям Microsoft).
В следующем видео представлен обзор возможностей.
Как семантический рангер использует карты синонимов
Если включить поддержку карт синонимов, связанных с полем в индексе поиска, и включить это поле в конфигурацию семантического ранкера, семантический ранкер автоматически применяет настроенные синонимы в процессе перерангировки.
Доступность и цены
Семантический рангер доступен в регионах выбора. Его можно использовать как автономную функцию или как встроенный компонент агентического извлечения. Плата за каждую функцию взимается независимо.
Семантический рангер предлагает бесплатный план (по умолчанию) с ежемесячным количеством бесплатных запросов и стандартным планом с оплатой по мере потребления после исчерпания бесплатного запаса. Дополнительные сведения см. в разделе Включение или отключение выставления счетов для семантического ранжирования.
Плата за семантический рангировщик возникает, если запросы включают в себя queryType=semantic , а строка поиска не пуста (например, search=pet friendly hotels in New York). Если строка поиска пуста (search=*), плата не взимается, даже если для типа запроса задана семантика.
Начало работы
(Необязательно) Переключитесь на стандартный план выставления счетов для использования за пределами бесплатной ежемесячной квоты.
Настройте запросы для возврата семантических субтитров и выделений.
(Необязательно) Возвращает семантические ответы.