Классификация текста с помощью API решений

Decisions API — это экспериментальный веб-API, который позволяет классифицировать текст, задавая вопросы о тексте и получая структурированные ответы из кода JavaScript вашего веб-сайта или расширения браузера. API использует встроенную в Microsoft Edge модель, которая работает на устройстве.

Подробное содержание:

Введение

Используйте API решений для быстрого принятия решений на основе неструктурированного текста, например:

  • Знакомство с намерениями пользователя:

    • Означает ли этот поиск, что пользователь хочет что-то купить?
    • Какую функцию пытается найти пользователь?
  • Сортировка и маршрутизация содержимого:

    • Какая команда должна обрабатывать этот запрос?
    • О какой теме эта статья?
    • Является ли это сообщение вопросом, жалобой или отзывом?
  • Подсчет очков и рейтинг:

    • Насколько этот результат релевантн для поиска пользователя?
    • Насколько срочно это сообщение?
    • Насколько положительна эта рецензия?
  • Проверка качества контента:

    • Включает ли этот отчет об ошибке действия по воспроизведению ошибки?
    • Это отзыв о продукте или о доставке продукта?
    • В этой записи формы отсутствуют ключевые данные?

В отличие от языковых моделей, которые генерируют текст, API решений оценивает предоставленные вами ответы и возвращает наиболее вероятный ответ вместе с вероятностью каждого ответа и значением достоверности. Результат всегда соответствует структуре определенных вами вопросов.

Вводные сведения об API решений см. в разделе Объяснение API решений.

Доступность API решений

API решений доступен в качестве предварительной версии для разработчиков в Microsoft Edge Canary, установив флажок.

API решений оптимизирован для принятия структурированных решений на основе текста с предопределенным набором возможных ответов. Дополнительные сведения об альтернативах для более пользовательских сценариев разработки запросов, которые могут не обслуживаться этим API, см. в статье Запрос встроенной языковой модели с помощью API запросов.

Дизайн API решений все еще находится в разработке, и API может измениться до выхода на рынок.

Альтернативы и преимущества API решений

Чтобы использовать возможности ИИ на веб-сайтах и в расширениях браузера, вы также можете использовать следующие методы:

API решений использует модель, которая выполняется локально, на том же устройстве, где используются входы и выходы модели. Это дает следующие преимущества по сравнению с облачными решениями:

  • Сниженная стоимость: Использование облачной службы ИИ не требует затрат.

  • Независимость сети: Помимо начальной загрузки модели задержка в сети при принятии решений отсутствует, и API также можно использовать, когда устройство находится в автономном режиме.

  • Улучшенная конфиденциальность: Данные, вводимые в модель, никогда не покидают устройство и не собираются (например, для обучения моделей ИИ).

API решений использует модель, предоставляемую Microsoft Edge и встроенную в браузер, которая обеспечивает дополнительные преимущества по сравнению с пользовательскими локальными решениями, например на основе WebGPU, WebNN или WebAssembly:

  • Общие единовременные затраты: Предоставляемая браузером модель загружается при первом использовании API, а затем модель распространяется на все веб-сайты, работающие в браузере, что снижает сетевые издержки для разработчиков и пользователей.

  • Упрощенное использование для веб-разработчиков: Встроенная модель может быть запущена с помощью простого веб-API и не требует опыта работы с ИИ/ML или использования сторонних платформ.

По сравнению с использованием API запросов для классификации текста API решений имеет следующие преимущества:

  • Безопасность типа: Модель оценивает предоставленные вами ответы, а не генерирует текст. Модель не может вернуть метку, которую вы не определили, и вам не нужно анализировать результат.

  • Вероятности и достоверность Результат включает вероятность каждого из возможных ответов и значение достоверности, поэтому код может действовать автоматически, когда модель уверена, и спрашивать пользователя, когда это не так.

  • Скорость: Модель отвечает на все вопросы о вводе за один проход, а не генерирует текст маркер за маркером.

Модель Decisions API

API решений использует малую языковую модель Aion Instruct. Чтобы узнать больше об инструкции Aion и требованиях к оборудованию, см. Модель инструкций Aion в запросе Встроенная языковая модель с API запросов.

Заявление об отказе от ответственности

Как и другие модели машинного обучения, модель, используемая API решений, потенциально может давать неточные, несправедливые или ненадежные результаты. Значение достоверности отражает определенность модели, но не гарантирует правильность ответа.

Не полагайтесь только на модель для принятия решений с серьезными последствиями или выполнения действий, изменяющих состояние. Попросите пользователя подтвердить такие действия, независимо от значения достоверности.

Доступность модели

Первоначальная загрузка модели требуется при первом вызове веб-сайтом встроенного API ИИ. Чтобы отслеживать загрузку модели, используйте monitor эту опцию при создании нового сеанса Decisions API. См. Мониторинг хода загрузки модели ниже.

Из-за экспериментального характера API решений вы можете наблюдать проблемы в определенных конфигурациях оборудования. Если вы заметите какие-либо проблемы, сообщите о них в репозитории.

Включение API решений

Чтобы использовать API решений в Microsoft Edge:

  1. Убедитесь, что вы используете последнюю версию Microsoft Edge Canary. См. Станьте участником программы предварительной оценки Microsoft Edge.

  2. В Microsoft Edge Canary откройте новую вкладку или окно и перейдите в edge://flagsраздел .

  3. В поле поиска в верхней части страницы введите Decisions API.

    Страница будет отфильтрована для отображения соответствующего флага.

  4. Выберите значение "Включено" рядом с флагом Decisions API.

  5. Перезапустите Microsoft Edge Canary.

    Страница edge://flags с включенным флагом API решений.

См. рабочий пример

Чтобы увидеть API решений в действии и просмотреть существующий код, использующий API:

  1. Включите API решений, как описано выше.

  2. В Microsoft Edge Canary откройте новую вкладку или окно, а затем перейдите на игровую площадку API решений.

  3. В информационном баннере вверху проведите проверку состояния. Если модель еще не загружена, баннер указывает на то, что модель будет загружена при первом использовании API.

    Если загрузка модели не начинается, перезапустите Microsoft Edge и повторите попытку.

  4. При необходимости измените содержимое полей "Текст для классификации", "Контекст" или "Вопросы" (JSON).

  5. Нажмите кнопку "Решить " в нижней части страницы.

    Для каждого вопроса в выходных данных содержится ответ с вероятностью каждого варианта. Чтобы увидеть полный объект результата, разверните Raw JSON.

    Ответ

    • Поля ввода " Классифицируемый текст", "Контекст" и "Вопросы " заполнены.
    • Выделена кнопка "Решить ".
    • В разделе "Выходные данные" (справа) отображаются результаты, в том числе необработанные данные JSON, возвращенные API.

См. также:

  • /built-in-ai/ — сведения о продукте сведений и исходном коде для демонстрации встроенных ИИ-игровых площадок.

Использование API решений

Проверка включения API

Прежде чем использовать API решений в коде вашего сайта, убедитесь, что API включен, проверив наличие DecisionModel объекта:

if (!window.DecisionModel) {
  // The Decisions API is not available.
}

Постановка вопросов

Чтобы использовать API решений, сначала определите вопросы о фрагменте текста, на которые модель должна ответить. Каждый вопрос — это объект со следующими свойствами:

Свойство Описание
id Строка, определяющая вопрос. Результат API задается вопросом id, поэтому каждый из них id должен быть уникальным.
prompt Строка, описывающая вопрос, на который необходимо ответить.
type Тип вопроса: "boolean", "choice", или "score".
options Массив возможных ответов. Каждый параметр является объектом, содержащим label строку и необязательной description строкой. Требуется для "choice" вопросов, необязателен для "score" вопросов (см. Вопросы с баллами) и не используется для "boolean" вопросов.

Описания options помогают модели понять, что означает каждый параметр.

Передавайте массив вопросов в API при проверке доступности и при создании сеанса questions , используя опцию метода create() .

Логические вопросы

Используйте boolean вопрос для проверки выполнения условия. Возможные ответы:"true""false"

const questions = [
  {
    id: "urgent",
    type: "boolean",
    prompt: "Does this support ticket require urgent escalation?"
  }
];
Вопросы с выбором

Используйте choice вопрос, чтобы отнести текст к одной из нескольких категорий. Укажите категории с помощью options свойства:

const questions = [
  {
    id: "category",
    type: "choice",
    prompt: "Which category best describes the issue?",
    options: [
      { label: "bug", description: "Crash, freeze, or broken functionality" },
      { label: "billing", description: "Duplicate charge, invoice, or payment issue" },
      { label: "feature", description: "Request for new capability" },
      { label: "account", description: "Password reset or login help" }
    ]
  }
];

API решений лучше всего работает с ограниченным числом вариантов ответа на вопрос. Чтобы обрабатывать больший набор категорий, рассмотрите возможность организации их в виде иерархии и использования API решений в несколько этапов. Для обработки вводимых данных, не соответствующих ни одной категории, предусмотрите универсальный параметр, такой как "other" или "none".

Вопросы с оценкой

Используйте вопрос, score чтобы оценить текст по упорядоченной шкале. Получите масштаб с помощью options свойства, упорядоченного от наименьшего значения к максимальному. В следующем примере представлен пользовательский масштаб:

const questions = [
  {
    id: "severity",
    type: "score",
    prompt: "Rate the customer impact from 1 (minimal) to 5 (critical).",
    options: [
      { label: "1", description: "Minimal impact" },
      { label: "2", description: "Low impact" },
      { label: "3", description: "Moderate impact" },
      { label: "4", description: "High impact" },
      { label: "5", description: "Critical impact" }
    ]
  }
];

Если все метки опций являются числовыми, результирующая оценка вычисляется на основе числовых меток. В противном случае полученный балл рассчитывается из положения вариантов на шкале, начиная с 1.

Описания options свойств и параметров являются необязательными для score вопросов. Браузер заполняет то, чего не хватает:

  • Если вы опустите options, браузер создаст 5-балльную шкалу, помеченную "1" через "5", которая идет от «очень низкая, сильно отрицательная» ("1"), через «умеренная, средняя, нейтральная» ("3"), до «очень высокая, сильно положительная» ("5").

  • options Если указать числовые метки, но не указать description значения, браузер назначает каждому варианту встроенное описание на основе его положения на шкале. Описания варьируются от низкого и негативного к высокому и положительному. Шкалы с нечетным числом параметров получают нейтральную среднюю точку. Например, для 7-балльной шкалы описания идут от «очень низкий, сильно отрицательный» для первого варианта до «умеренный, средний, нейтральный» для четвертого варианта и «очень высокий, сильно положительный» для последнего варианта. Доступны встроенные описания для вариантов шкалы от 2 до 11.

Чтобы управлять интерпретацией каждым значением шкалы моделью, предоставьте собственные описания.

Проверка возможности использования модели

API решений можно использовать только в том случае, если устройство поддерживает запуск модели, а также после загрузки модели и среды выполнения модели браузером Microsoft Edge.

Чтобы проверка, можно ли использовать API, используйте метод.DecisionModel.availability() Чтобы также проверить схему ваших вопросов, передайте параметр:questions

const availability = await DecisionModel.availability({ questions });

if (availability == "unavailable") {
  // The model is not available.
}

if (availability == "downloadable" || availability == "downloading") {
  // The model can be used, but it needs to be downloaded first.
}

if (availability == "available") {
  // The model is available and can be used.
}

Кроме того, можно выполнить вызов availability() без аргументов.

Создание сеанса

Создание сеанса указывает браузеру загрузить модель в память, чтобы ее можно было использовать. Прежде чем принимать решения о тексте, создайте новый сеанс с помощью DecisionModel.create() метода, используя questions опцию передачи определенных вами вопросов:

// Create a DecisionModel session.
const session = await DecisionModel.create({ questions });

Метод DecisionModel.create() принимает следующие опции:

Вариант Описание
questions Массив вопросов, на которые модель отвечает по тексту. Смотрите Постановка вопросов выше.
context Строка, содержащая инструкции, применимые ко всем вопросам. См. раздел « Предоставьте модели контекст» ниже.
monitor Функция, используемая для отслеживания хода загрузки модели. См. Мониторинг хода загрузки модели ниже.
signal Объект, AbortSignal который используется для отмены создания сеанса или уничтожения сеанса после его создания. См. раздел "Уничтожение сеанса с помощью AbortController" ниже.
Отслеживание хода загрузки модели

Чтобы следить за ходом загрузки модели, используйте monitor опцию метода DecisionModel.create() . Это полезно, если модель еще не полностью загружена на устройство, на котором она будет использоваться, чтобы сообщить пользователям вашего веб-сайта, что им нужно подождать.

// Create a DecisionModel session with the monitor option to monitor the model
// download.
const session = await DecisionModel.create({
  questions,
  monitor: m => {
    // Use the monitor object argument to add a listener for the
    // downloadprogress event.
    m.addEventListener("downloadprogress", event => {
      // The event is an object with the loaded and total properties.
      if (event.loaded == event.total) {
        // The model is fully downloaded.
      } else {
        // The model is still downloading.
        const percentageComplete = (event.loaded / event.total) * 100;
      }
    });
  }
});
Добавьте контекст для модели

Чтобы дать инструкции модели для использования при ответе на все вопросы, используйте context опцию DecisionModel.create() метода. Это полезно для объяснения ситуации, в которой оценивается текст, или для определения значения параметров для вашего варианта использования:

const session = await DecisionModel.create({
  questions,
  context: "You are triaging incoming browser support tickets. Treat production outages, crashes, and duplicate billing charges as urgent."
});

Запуск API решений

Для принятия решений о фрагменте текста после создания соответствующего сеанса session.decide() модели используйте метод. Этот метод возвращает обещание, которое разрешается после того, как модель ответит на все вопросы о тексте.

Модель отвечает на все вопросы за один проход.

// Create a DecisionModel session.
const session = await DecisionModel.create({ questions });

// Make decisions about the text and wait for the result.
const result = await session.decide(
  "Every time I click Pay Now on the checkout page, the tab freezes and I was billed twice on my credit card."
);

// Use the result.
console.log(result);

Чтобы отменить вызов решения, передайте AN BY AbortSignal , используя signal параметр метода session.decide() . Отмена вызова принятия решения не уничтожает сеанс.

const controller = new AbortController();

const resultPromise = session.decide(ticketText, { signal: controller.signal });

// Later, cancel this decision call only.
controller.abort();

Использование результата API решений

Метод session.decide() возвращает обещание, которое разрешается в объект, имеющий одно свойство на вопрос. Имя каждого свойства является id именем вопроса. Каждое свойство — это объект со следующими свойствами:

Свойство Описание
id Вопрос id .
label Наиболее label вероятный вариант. Для boolean вопросов это "true" или "false".
probabilities Объект, содержащий вероятность каждого варианта от 0 до 1, заданная вариантом label.
confidence Число от 0 до 1, определяющее уверенность модели в ответе. Используйте это значение, чтобы решить, должен ли код действовать на основе ответа.
expectedScore Число, которое присутствует только в score вопросах. Это среднее значение баллов опционов, взвешенное по вероятности каждого опциона. Используйте его, чтобы получить более точное значение, чем наиболее вероятное label.

Например, результат для приведенных выше вопросов может быть следующим:

{
  "urgent": {
    "id": "urgent",
    "label": "true",
    "confidence": 0.97,
    "probabilities": { "true": 0.97, "false": 0.03 }
  },
  "category": {
    "id": "category",
    "label": "billing",
    "confidence": 0.62,
    "probabilities": { "bug": 0.35, "billing": 0.62, "feature": 0.01, "account": 0.02 }
  },
  "severity": {
    "id": "severity",
    "label": "5",
    "expectedScore": 4.8,
    "confidence": 0.84,
    "probabilities": { "1": 0.0, "2": 0.01, "3": 0.04, "4": 0.11, "5": 0.84 }
  }
}

Приведенные выше значения носят исключительно иллюстративный характер.

Приведенный ниже пример.

  • Использует результат для принятия уверенных решений.
  • Опрашивает пользователя, если модель не уверена.
const { urgent, category } = await session.decide(ticketText);

// Act automatically when the model is confident.
if (urgent.label === "true" && urgent.confidence > 0.85) {
  escalateTicket();
}

if (category.confidence > 0.85) {
  setCategory(category.label);
} else {
  // Otherwise, let the user choose, and show the most likely options first.
  showSuggestedCategories(category.probabilities);
}

Уничтожение сеанса

Чтобы сообщить браузеру, что модель больше не нужна и может быть выгружена из памяти, удалите сеанс.

Вы можете уничтожить сеанс одним из следующих способов:

  • С помощью session.destroy() метода.
  • С помощью AbortController объекта.

Подробности см. ниже.

Уничтожение сеанса с помощью метода destroy()

Для уничтожения сеанса DecisionModel можно использовать метод session.destroy() :

const session = await DecisionModel.create({ questions });

// Later, destroy the session by using the destroy method.
session.destroy();
Уничтожение сеанса с помощью AbortController

Кроме того, чтобы уничтожить сеанс, DecisionModel вы можете создать AbortController объект, создать сеанс, DecisionModel а затем вызвать abort():

// Create an AbortController object.
const controller = new AbortController();

// Create a DecisionModel session and pass the
// AbortController signal object by using the signal option.
const session = await DecisionModel.create({
  questions,
  signal: controller.signal
});

// Later, such as when the user interacts with the UI, destroy the session by
// calling the abort() function of the AbortController object.
controller.abort();

Чтобы отменить вызов одного решения без уничтожения сеанса, используйте signal опцию метода session.decide() :

const controller = new AbortController();

const resultPromise = session.decide(ticketText, { signal: controller.signal });

// Later, cancel this decision call only.
controller.abort();

Отправка отзывов

Мы заинтересованы в том, чтобы узнать следующие темы:

  • Сценарии, для которых вы хотите использовать API решений.
  • соответствует ли дизайн API вашим потребностям.
  • Проблемы с API.
  • Проблемы с моделью.

Если вы обнаружите какие-либо проблемы при использовании API, сообщите о них в репозитории.

Вы также можете принять участие в обсуждении проектирования API решений в репозитории объяснений API решений.

См. также