Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
API запросов — это экспериментальный веб-API, позволяющий запрашивать небольшую языковую модель (SLM), встроенную в Microsoft Edge, из кода JavaScript вашего веб-сайта или расширения браузера. Используйте API запросов для генерации и анализа текста или создания логики приложения на основе вводимых пользователем данных и поиска инновационных способов интеграции возможностей SLM в ваше веб-приложение.
Подробное содержание:
- Доступность API запросов
- Альтернативы и преимущества API запросов
- Модель инструкций Aion
- Включить API запросов
- См. рабочий пример
- Использование API запросов
- Обратная связь
- См. также
Доступность API запросов
API запросов доступен в качестве предварительной версии для разработчиков в Microsoft Edge. Протестировать API запросов можно одним из следующих способов:
- Локально в Microsoft Edge, только на вашем устройстве.
- На производственном веб-сайте, зарегистрировавшись для получения пробной версии.
См. раздел "Включение API запроса" ниже.
API запросов предназначен для поиска вариантов использования и понимания проблем, с которыми сталкиваются встроенные SLM. API запросов предоставляет возможности запросов общего назначения, в то время как связанные экспериментальные API предназначены для конкретных задач на базе искусственного интеллекта, таких как резюмирование, помощь в написании, принятие решений и перевод. Дополнительные сведения об этих API см. в разделе:
- Резюмирование, написание и переписывание текста с помощью API помощи при письме
- Классификация текста с помощью API решений
- Исправляйте грамматические, орфографические и пунктуационные ошибки в тексте с помощью API корректора
- Определение языков с помощью API-интерфейса средства обнаружения языков
- Перевод текста с помощью API переводчика
Альтернативы и преимущества API запросов
Чтобы использовать возможности ИИ на веб-сайтах и в расширениях браузера, вы также можете использовать следующие методы:
Отправляйте сетевые запросы в облачные службы ИИ, такие как решения ИИ Azure.
Запускайте локальные модели ИИ с помощью API нейронной веб-сети (WebNN) или среды выполнения ONNX для Интернета.
API запросов использует SLM, работающий на том же устройстве, где используются входы и выходы модели (то есть локально). Это дает следующие преимущества по сравнению с облачными решениями:
Сниженная стоимость: Использование облачной службы ИИ не требует затрат.
Независимость сети: Помимо начальной загрузки модели отсутствует задержка сети при запросе модели, а также может использоваться, когда устройство находится в автономном режиме.
Улучшенная конфиденциальность: Данные, поступающие в модель, никогда не покидают устройство и не собираются для обучения моделей ИИ.
API запросов использует языковую модель, предоставляемую Microsoft Edge и встроенную в браузер, которая обеспечивает дополнительные преимущества по сравнению с пользовательскими локальными решениями, например на основе WebGPU, WebNN или WebAssembly:
Общие единовременные затраты: Предоставляемая браузером модель загружается при первом вызове API и распространяется на все веб-сайты, работающие в браузере, что снижает сетевые издержки для разработчиков и пользователей.
Упрощенное использование для веб-разработчиков: Встроенная модель может быть запущена с помощью простых веб-API и не требует опыта работы с ИИ/ML или использования сторонних платформ.
Модель инструкций Aion
В Microsoft Edge API запросов использует модель Aion Instruct, встроенную в браузер. Aion Instruct — это небольшая языковая модель с параметрами 2,3B, которая отлично справляется с текстовыми задачами. Чтобы узнать больше о модели, см. карт модели microsoft / Aion-1.0-Instruct-2.3B в Hugging Face.
Заявление об отказе от ответственности
Как и другие языковые модели такого размера, Aion Instruct потенциально может вести себя ненадежным, неточным, несправедливым или оскорбительным образом. Следует учитывать риски, связанные с передачей ненадежного содержимого в модель, а также проверять источник и целостность содержимого, прежде чем использовать его в качестве входных данных модели. Чтобы узнать больше, см. раздел «Предвзятость, риски и ограничения» в microsoft/Aion-1.0-Instruct-2.3B в Hugging Face.
Требования к оборудованию
Предварительная версия API запросов для разработчиков предназначена для работы на устройствах с аппаратными возможностями, которые выдают выходные данные SLM с предсказуемым качеством и задержкой. В настоящее время API запросов ограничен:
Операционные системы:
- Windows 10 или 11.
- macOS 13.3 или более поздней версии.
- 64-разрядный (x64) Linux с драйверами графического процессора Vulkan и Microsoft Edge 159 или более поздней версии.
Хранение: На томе, содержащем профиль Microsoft Edge, доступно не менее 20 ГБ. Если объем доступного хранилища упадет ниже 5 ГБ, модель будет удалена, чтобы обеспечить достаточное количество места для работы других компонентов браузера.
Графический процессор: 3 ГБ видеопамяти или больше.
Сеть: Безлимитный тарифный план или безлимитное подключение. Модель не скачивается при использовании лимитного подключения.
Чтобы проверить, поддерживает ли ваше устройство предварительную проверку API запроса для разработчиков, перейдите в раздел «Включение API запроса» ниже и проверьте, насколько проверено класс производительности вашего устройства.
Из-за экспериментального характера API запроса вы можете наблюдать проблемы в определенных конфигурациях оборудования. Если вы видите проблемы в определенных конфигурациях оборудования, оставьте отзыв, открыв новую проблему в репозитории MSEdgeExplainers.
Доступность модели Aion Instruct
Начальная загрузка модели Aion Instruct требуется при первом вызове веб-сайтом API, для которого требуется модель на устройстве. Чтобы отслеживать загрузку модели, используйте monitor этот параметр при создании нового сеанса API запросов. Дополнительные сведения см. в разделе Мониторинг хода загрузки модели ниже.
Модель недоступна в следующих состояниях:
- Если параметр ИИ на устройстве отключен в разделе "Настройки",>Copilot и ИИ.
- Если корпоративные политики GenAILocalFoundationalModelSettings или ComponentUpdatesEnabled настроены на блокировку скачивания модели.
- Если устройство не соответствует требованиям к оборудованию, месту на диске или сети.
Рассмотрение для Edge Canary, Dev и Beta
В Microsoft Edge Canary, Dev и Beta параметр ИИ на устройстве по умолчанию отключен в настройках>Copilot и ИИ, чтобы не скачивать модель отдельно для каждого канала.
Если вы включите флаг API запроса в edge://flags, параметр ИИ на устройстве автоматически включается в Canary, Dev и Beta. См. раздел "Локальное тестирование API запросов" ниже.
Если вы проводите тестирование с помощью маркера исходной пробной версии в Canary, Dev или бета-версии без включенного флага, вручную включите параметр ИИ на устройстве в разделе "Настройки">Copilot и ИИ , чтобы загрузить модель. См. раздел "Включение API запросов для пользователей путем регистрации в исходной пробной версии" ниже.
Включить API запросов
Чтобы использовать API запросов в Microsoft Edge, вы можете протестировать его локально или зарегистрироваться для исходной пробной версии, чтобы включить его на своем рабочем веб-сайте. В разделах ниже приведены инструкции для обоих подходов.
Локальное тестирование API запросов
Чтобы протестировать API запросов только на устройстве:
Убедитесь, что вы используете Microsoft Edge версии 158 или более поздней.
В Microsoft Edge откройте новую вкладку или окно и перейдите в
edge://flagsразделВ поле поиска в верхней части страницы введите Prompt API.
Страница будет отфильтрована для отображения соответствующего флага.
В разделе API запроса выберите "Включено":
Дополнительно, чтобы локально регистрировать сведения, которые могут быть полезны для отладки, также включите флаг " Включить на устройстве журналы отладки модели ИИ ".
Перезапустите Microsoft Edge.
Чтобы проверка, соответствует ли ваше устройство требованиям к оборудованию для предварительного просмотра API запросов для разработчиков, откройте новую вкладку, перейдите в
edge://on-device-internalsраздел и проверьте, проверка ли значение класса производительности устройства.Если ваш класс производительности устройства средний или выше, API запросов должен поддерживаться на вашем устройстве.
Если вы обнаружите проблемы с этими моделями, создайте новую проблему в репозитории MSEdgeExplainers.
Включите API запросов для пользователей, зарегистрировавшись для исходной пробной версии
Вы можете опробовать API запросов на своем рабочем сайте в течение ограниченного периода времени, используя исходную пробную версию. При использовании пробной версии API запроса пользователи Microsoft Edge, посещающие ваш сайт, могут запускать код, использующий API запроса.
Дополнительные сведения об исходных пробных версиях в Microsoft Edge см. в статье Тестирование экспериментальных API и функций с помощью исходных испытаний.
Чтобы зарегистрироваться для исходной пробной версии API запроса, выполните действия, описанные в разделе "Регистрация для исходной пробной версии " и выберите исходную пробную версию API запроса.
См. рабочий пример
Чтобы увидеть API запросов в действии и просмотреть существующий код, использующий API, выполните следующие действия.
Включите API запроса, как описано выше.
В Edge откройте вкладку или окно и перейдите на песочницу API запросов.
В навигации по встроенным ИИ-песочницам слева выбран пункт "Запрос ".
В информационном баннере вверху проверьте состояние: изначально он гласит "Загрузка модели". Подождите:
После загрузки модели на информационном баннере будет написано API и модель готова, что указывает на то, что API и модель можно использовать:
Если загрузка модели не начинается, перезапустите Microsoft Edge и повторите попытку.
API запросов поддерживается только на устройствах, которые соответствуют определенным требованиям к оборудованию. Дополнительные сведения см. в разделе "Требования к оборудованию" выше.
При необходимости измените значения параметров запроса, такие как:
- Запрос пользователя
- Системный запрос
- Схема ограничения отклика
- Дополнительные параметры>Инструкции по N-shot
Нажмите кнопку "Запрос " в нижней части страницы.
Ответ будет создан в разделе ответов на этой странице:
Чтобы остановить создание ответа, в любое время нажмите кнопку Стоп .
См. также:
- /built-in-ai/ — исходный код и файл сведений для встроенных игровых площадок с ИИ, включая игровую площадку API запросов.
Использование API запросов
Проверка включения API
Перед использованием API в коде веб-сайта или расширения проверка, что API включен, проверив LanguageModel наличие объекта:
if (!LanguageModel) {
// The Prompt API is not available.
} else {
// The Prompt API is available.
}
Проверьте, можно ли использовать модель
API запросов можно использовать только в том случае, если устройство поддерживает запуск модели, а также после загрузки языковой модели и среды выполнения модели браузером Microsoft Edge.
Чтобы проверка, можно ли использовать API, используйте метод:LanguageModel.availability()
const availability = await LanguageModel.availability();
if (availability == "unavailable") {
// The model is not available.
}
if (availability == "downloadable" || availability == "downloading") {
// The model can be used, but it needs to be downloaded first.
}
if (availability == "available") {
// The model is available and can be used.
}
Создание сеанса
При создании сеанса браузеру предписывается загрузить языковую модель в память, чтобы ее можно было использовать. Прежде чем запрашивать языковую модель, создайте новый сеанс с create() помощью следующего способа:
// Create a LanguageModel session.
const session = await LanguageModel.create();
Для настройки сеанса модели вы можете передать варианты методу create() :
// Create a LanguageModel session with options.
const session = await LanguageModel.create(options);
Доступны следующие параметры:
monitor, чтобы следить за ходом загрузки модели.initialPrompts, чтобы предоставить модели контекст о подсказках, которые будут отправлены модели, и установить шаблон взаимодействия пользователя / помощника, которому модель должна следовать для будущих запросов.
Эти параметры описаны ниже.
Отслеживание хода загрузки модели
Чтобы следить за ходом загрузки модели, воспользуйтесь этой monitor опцией. Это полезно, если модель еще не полностью загружена на устройство, на котором будет использоваться модель, чтобы проинформировать пользователей вашего сайта о том, что им нужно подождать.
// Create a LanguageModel session with the monitor option to monitor the model
// download.
const session = await LanguageModel.create({
monitor: m => {
// Use the monitor object argument to add an listener for the
// downloadprogress event.
m.addEventListener("downloadprogress", event => {
// The event is an object with the loaded and total properties.
if (event.loaded == event.total) {
// The model is fully downloaded.
} else {
// The model is still downloading.
const percentageComplete = (event.loaded / event.total) * 100;
}
});
}
});
Предоставьте модели системный запрос
Чтобы определить системную подсказку, которая является способом предоставления инструкций модели для использования при создании текста в ответ на подсказку, используйте эту initialPrompts опцию.
Системный запрос, предоставленный при создании нового сеанса, сохраняется в течение всего сеанса, даже если окно контекста переполнено из-за слишком большого количества запросов.
// Create a LanguageModel session with a system prompt.
const session = await LanguageModel.create({
initialPrompts: [{
role: "system",
content: "You are a helpful assistant."
}]
});
Размещение { role: "system", content: "You are a helpful assistant." } запроса в любом месте за пределами 0-й позиции в initialPrompts отклонится с TypeError.
N-shot prompting with initialPrompts
Этот initialPrompts параметр также позволяет предоставлять примеры взаимодействия пользователя и помощника, которые вы хотите, чтобы модель продолжала использовать при появлении соответствующего запроса.
Этот метод также известен как N-shot prompting и полезен для того, чтобы сделать ответы, генерируемые моделью, более детерминированными.
// Create a LanguageModel session with multiple initial prompts, for N-shot
// prompting.
const session = await LanguageModel.create({
initialPrompts: [
{ role: "system", content: "Classify the following product reviews as either OK or Not OK." },
{ role: "user", content: "Great shoes! I was surprised at how comfortable these boots are for the price. They fit well and are very lightweight." },
{ role: "assistant", content: "OK" },
{ role: "user", content: "Terrible product. The manufacturer must be completely incompetent." },
{ role: "assistant", content: "Not OK" },
{ role: "user", content: "Could be better. Nice quality overall, but for the price I was expecting something more waterproof" },
{ role: "assistant", content: "OK" }
]
});
Клонирование сеанса для повторного начала беседы с теми же параметрами
Клонируйте существующий сеанс для запроса модели без знаний о предыдущих взаимодействиях, но с теми же параметрами сеанса.
Клонирование сеанса полезно, когда вы хотите использовать параметры из предыдущего сеанса, не влияя на модель предыдущими ответами.
// Create a first LanguageModel session.
const firstSession = await LanguageModel.create({
initialPrompts: [{
role: "system",
content: "You are a helpful assistant."
}]
});
// Later, create a new session by cloning the first session to start a new
// conversation with the model, but preserve the first session's settings.
const secondSession = await firstSession.clone();
Запрос для модели
Чтобы вызвать модель, после создания сеанса session.prompt() модели используйте методы ИЛИ session.promptStreaming() .
Дождитесь окончательного ответа
Метод prompt возвращает обещание, которое разрешается после завершения создания текста моделью в ответ на ваш запрос:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Prompt the model and wait for the response to be generated.
const result = await session.prompt(promptString);
// Use the generated text.
console.log(result);
Отображение маркеров по мере их создания
Метод promptStreaming сразу же возвращает объект потока. Используйте поток для отображения маркеров отклика по мере их создания:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Prompt the model.
const stream = session.promptStreaming(myPromptString);
// Use the stream object to display tokens that are generated by the model, as
// they are being generated.
for await (const chunk of stream) {
console.log(chunk);
}
Можно вызывать методы and promptpromptStreaming несколько раз внутри одного объекта сеанса, чтобы продолжить создание текста на основе предыдущих взаимодействий с моделью в рамках этого сеанса.
Ограничьте выходные данные модели с помощью схемы JSON или регулярного выражения
Чтобы сделать формат ответов модели более детерминированным и простым в использовании программным способом, используйте соответствующий responseConstraint параметр при запросе модели.
Параметр responseConstraint принимает схему JSON или регулярное выражение:
Чтобы модель отвечала строковым объектом JSON, который следует заданной схеме, выберите
responseConstraintсхему JSON, которую нужно использовать.Чтобы модель отвечала строкой, соответствующей регулярному выражению, установите
responseConstraintэто регулярное выражение.
В следующем примере показано, как заставить модель реагировать на запрос с помощью объекта JSON, следующего заданной схеме:
// Create a LanguageModel session, with a system prompt.
const session = await LanguageModel.create({
initialPrompts: [
{
role: "system",
content: "You are an AI model designed to analyze the sentiment of user-provided text. Your goal is to classify the sentiment into predefined categories and provide a confidence score. Follow these guidelines:\n\n- Identify whether the sentiment is positive, negative, or neutral.\n- Provide a confidence score (0-1) reflecting the certainty of the classification.\n- Ensure the sentiment classification is contextually accurate.\n- If the sentiment is unclear or highly ambiguous, default to neutral.\n\nYour responses should be structured and concise, adhering to the defined output schema."
}
]
});
// Define a JSON schema for the Prompt API to constrain the generated response.
const schema = {
"type": "object",
"required": ["sentiment", "confidence"],
"additionalProperties": false,
"properties": {
"sentiment": {
"type": "string",
"enum": ["positive", "negative", "neutral"],
"description": "The sentiment classification of the input text."
},
"confidence": {
"type": "number",
"minimum": 0,
"maximum": 1,
"description": "A confidence score indicating certainty of the sentiment classification."
}
}
}
;
// Prompt the model, by providing the JSON schema in the responseConstraint
// option.
const response = await session.prompt(
"Ordered a Philly cheesesteak, and it was not edible. Their milkshake is just milk with cheap syrup. Horrible place!",
{ responseConstraint: schema }
);
Выполнение приведенного выше кода возвращает ответ, содержащий строковый объект JSON, например:
{"sentiment": "negative", "confidence": 0.95}
Затем вы можете использовать ответ в логике кода, проанализировав его с помощью JSON.parse() функции:
// Parse the JSON string generated by the model and extract the sentiment and
// confidence values.
const { sentiment, confidence } = JSON.parse(response);
// Use the values.
console.log(`Sentiment: ${sentiment}`);
console.log(`Confidence: ${confidence}`);
Отправка нескольких сообщений в одном запросе
Помимо строк, методы and promptStreaming также принимают массив объектов, prompt который используется для отправки нескольких сообщений с пользовательскими ролями. Отправляемые объекты должны иметь форму { role, content }, где role is or user or , assistantи content является сообщением.
Например, чтобы предоставить несколько сообщений пользователя и сообщение помощника в одном запросе:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Prompt the model by sending multiple messages at once.
const result = await session.prompt([
{ role: "user", content: "First user message" },
{ role: "user", content: "Second user message" },
{ role: "assistant", content: "The assistant message" }
]);
Остановка создания текста
Чтобы прервать запрос до того, как обещание, возвращенноеsession.prompt(), будет разрешено, или до того, как закончится потокsession.promptStreaming(), возвращенный пользователем, используйте сигнал:AbortController
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Create an AbortController object.
const abortController = new AbortController();
// Prompt the model by passing the AbortController object by using the signal
// option.
const stream = session.promptStreaming(myPromptString , {
signal: abortController.signal
});
// Later, perhaps when the user presses a "Stop" button, call the abort()
// method on the AbortController object to stop generating text.
abortController.abort();
Уничтожение сеанса
Удалите сеанс, чтобы браузер знал, что языковая модель больше не нужна, чтобы модель можно было выгрузить из памяти.
Вы можете уничтожить сеанс двумя способами:
- С помощью
destroy()метода. - С помощью файла
AbortController.
Уничтожение сеанса с помощью метода destroy()
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Later, destroy the session by using the destroy method.
session.destroy();
Уничтожение сеанса с помощью AbortController
// Create an AbortController object.
const controller = new AbortController();
// Create a LanguageModel session and pass the AbortController object by using
// the signal option.
const session = await LanguageModel.create({ signal: controller.signal });
// Later, perhaps when the user interacts with the UI, destroy the session by
// calling the abort() function of the AbortController object.
controller.abort();
Учетная запись для водяного знака контента, созданного ИИ
Начиная с Microsoft Edge версии 158, текст, создаваемый API запросов, содержит невидимый водяной знак, указывающий, что текст создан ИИ. Если ваш веб-сайт или расширение обрабатывает сгенерированный текст, убедитесь, что в коде есть водяной знак при отрисовке, синтаксическом анализе или преобразовании ответа.
Дополнительные сведения о схеме водяных знаков см. в разделе "Схема водяных знаков " в статье "Водяные знаки в текстовых API Windows AI".
Водяной знак не применяется к ответам, созданным с помощью этого responseConstraint параметра. См. ограничение выходных данных модели с помощью схемы JSON или регулярного выражения выше.
Прежде чем удалить автоматически вставленный водяной знак, учтите следующие требования: Вы отвечаете за то, чтобы ваш веб-сайт или расширение соответствовали всем применимым требованиям к маркировке контента, созданного ИИ.
Отправка отзывов
Предварительная версия API запросов для разработчиков и пробная версия Origin предназначены для помощи в поиске вариантов использования языковых моделей, предоставляемых браузером.
Мы заинтересованы в том, чтобы узнать следующие темы:
- Диапазон сценариев, для которых вы собираетесь использовать API запросов.
- Любые проблемы с API запросов.
- Любые проблемы с моделью инструкции Aion.
- Любые проблемы взаимодействия API запросов с различными браузерами и моделями.
- Будут ли полезны новые API для конкретных задач.
Чтобы отправить отзыв о сценариях и задачах, которые вы хотите выполнить, добавьте комментарий к проблеме отзыва об API запросов.
Если вы обнаружите какие-либо проблемы при использовании API вместо этого, сообщите об этом в репозитории.
Вы также можете принять участие в обсуждении дизайна API запросов в репозитории W3C Web Машинное обучение Working Group.
См. также
- Запрос API черновик спецификации
- Репозиторий GitHub webmachinelearning/prompt-api
- /built-in-ai/ — исходный код и файл сведений для встроенных игровых площадок с ИИ, включая игровую площадку API запросов.
- Резюмирование, написание и переписывание текста с помощью API помощи при письме
- Классификация текста с помощью API решений
- Исправляйте грамматические, орфографические и пунктуационные ошибки в тексте с помощью API корректора
- Определение языков с помощью API-интерфейса средства обнаружения языков
- Перевод текста с помощью API переводчика