Тестирование моделей на детской площадке Azure AI Studio

Завершено

Игровые площадки — это полезные интерфейсы в Azure AI Studio, которые можно использовать для экспериментов с развернутыми моделями, не требуя разработки собственного клиентского приложения. Azure AI Studio предлагает несколько игровых площадк с различными параметрами настройки параметров.

Площадка завершения

Детская площадка завершения позволяет выполнять вызовы развернутых моделей с помощью текстового интерфейса, текстового интерфейса и настройки параметров. Необходимо выбрать имя развертывания модели в разделе "Развертывания". При необходимости можно использовать приведенные примеры, чтобы приступить к работе, а затем ввести собственные запросы.

Параметры игровой площадки завершения

Существует множество параметров, которые можно настроить для изменения производительности модели:

• Температура: управляет случайностью. Снижение температуры означает, что модель создает более повторяющиеся и детерминированные ответы. Увеличение температуры приводит к более неожиданным или творческим откликам. Попробуйте настроить температуру или верхний P, но не оба.
• Максимальная длина (токены): задайте ограничение на количество маркеров на ответ модели. API поддерживает не более 4000 маркеров, общих между запросом (включая системное сообщение, примеры, журнал сообщений и запрос пользователя) и ответ модели. Один маркер составляет примерно четыре символа для типичного английского текста.
• Стоп-последовательности: остановите ответы в нужной точке, например конец предложения или списка. Укажите до четырех последовательностей, в которых модель перестанет создавать дополнительные маркеры в ответе. Возвращенный текст не будет содержать последовательность остановки.
• Лучшие вероятности (Top P): аналогично температуре, это управляет случайностью, но использует другой метод. Понижение верхнего уровня P сужает выбор маркера модели к аналогичным маркерам. Увеличение верхнего уровня P позволяет модели выбирать из маркеров как с высокой, так и низкой вероятностью. Попробуйте настроить температуру или верхний P, но не оба.
• Частота штрафа: уменьшите вероятность повторения маркера пропорционально на основе того, насколько часто он появился в тексте до сих пор. Это уменьшает вероятность повторения точно такого же текста в ответе.
• Штраф присутствия: уменьшите вероятность повторения любого маркера, который появился в тексте вообще до сих пор. Это повышает вероятность внедрения новых тем в ответ.
• Текст предварительного ответа: вставьте текст после ввода пользователя и перед ответом модели. Это может помочь подготовить модель для ответа.
• Текст после ответа: вставьте текст после созданного ответа модели, чтобы стимулировать дальнейшие входные данные пользователя, как при моделировании беседы.

Детская площадка чата

Игровая площадка чата основана на интерфейсе беседы, выходе из сообщения. Вы можете инициализировать сеанс с помощью системного сообщения, чтобы настроить контекст чата.

На игровой площадке чата вы можете добавить несколько примеров. Термин с несколькими выстрелами относится к предоставлению нескольких примеров, чтобы помочь модели узнать, что нужно сделать. Вы можете подумать об этом в отличие от нуля выстрела, который ссылается на отсутствие примеров.

В настройке помощника можно указать несколько примеров того, что может быть введено пользователем, и какой ответ помощника должен быть. Помощник пытается имитировать ответы, которые вы включаете здесь в тон, правила и формат, определенный в системном сообщении.

Параметры игровой площадки чата

На игровой площадке чата, например на игровой площадке завершения, также включены параметры для настройки поведения модели. На игровой площадке чата также поддерживаются другие параметры , недоступные на игровой площадке завершения. Например:

• Максимальный ответ: задайте ограничение на количество маркеров на ответ модели. API поддерживает не более 4000 маркеров, общих между запросом (включая системное сообщение, примеры, журнал сообщений и запрос пользователя) и ответ модели. Один маркер составляет примерно четыре символа для типичного английского текста.
• Последние сообщения включены: выберите количество прошлых сообщений, которые будут включены в каждый новый запрос API. Включение прошлых сообщений помогает предоставить контекст модели для новых запросов пользователей. Если задать для этого числа значение 10, будут включены пять запросов пользователей и пять системных ответов.

Текущее число маркеров можно просмотреть на игровой площадке чата. Так как вызовы API оцениваются по маркеру и можно задать максимальное ограничение маркера ответа, вы хотите следить за текущим числом маркеров, чтобы убедиться, что беседа не превышает максимальное число маркеров ответа.