Часто задаваемые вопросы о Службе Azure OpenAI

Azure OpenAI не использует данные клиента для переобучения моделей. Дополнительные сведения см. в разделе Гид по данным, конфиденциальности и безопасности Azure OpenAI.

Наши текущие API позволяют выполнять до 10 пользовательских заголовков, которые передаются через конвейер и возвращаются. Мы заметили, что некоторые клиенты теперь превышают это число заголовков, что приводит к ошибкам HTTP 431. Для этой ошибки не существует решения, кроме уменьшения объема заголовка. В будущих версиях API мы больше не будем передавать пользовательские заголовки. Мы рекомендуем клиентам не зависеть от пользовательских заголовков в будущих системных архитектурах.

Azure OpenAI поддерживается последним выпуском библиотеки OpenAI Python (версия>=1.0). Однако важно отметить, что миграция используемой базы openai migrate кода не поддерживается и не будет работать с кодом, предназначенным для Azure OpenAI.

GPT-4 Turbo Preview — это gpt-4 модель (1106-preview). Чтобы развернуть эту модель, в разделе "Развертывания" выберите gpt-4. Для версии модели выберите 1106-preview. Чтобы проверить, какие регионы доступна эта модель, перейдите на страницу моделей.

Azure OpenAI поддерживает последние модели GPT-4. Он поддерживает как GPT-4, так и GPT-4-32K.

Служба Azure OpenAI предоставляет клиентам расширенный язык ИИ с помощью моделей OpenAI GPT-3, Codex и DALL-E с обещанием безопасности и предприятия Azure. Azure OpenAI codevelops API с помощью OpenAI, обеспечивая совместимость и плавное переход с одного на другое.

С помощью Azure OpenAI клиенты получают возможности безопасности Microsoft Azure, выполняя те же модели, что и OpenAI.

Да, в рамках служб ИИ Azure Azure OpenAI поддерживает виртуальные сети и частные конечные точки. Дополнительные сведения см. в руководстве по виртуальным сетям служб ИИ Azure.

Нет, GPT-4 разработан OpenAI для мультимодальных, но в настоящее время поддерживаются только текстовые и выходные данные.

Ранее процесс добавления новых вариантов использования требовал от клиентов повторного применения к службе. Теперь мы выпускаем новый процесс, позволяющий быстро добавлять новые варианты использования в службу. Этот процесс следует установленному процессу ограниченного доступа в службах ИИ Azure. Существующие клиенты могут подтвердить все и все новые варианты использования здесь. Обратите внимание, что это необходимо в любое время, когда вы хотите использовать службу для нового варианта использования, к которому вы изначально не применялись.

Эта ошибка обычно возникает при попытке отправить пакет текста для внедрения в один запрос API в виде массива. В настоящее время Azure OpenAI поддерживает только массивы внедрения с несколькими входными данными для text-embedding-ada-002 модели версии 2. Эта версия модели поддерживает массив, состоящий из до 16 входных данных на запрос API. Массив может содержать до 8 191 токенов длиной при использовании модели text-embedding-ada-002 (версия 2).

Ознакомьтесь с нашим введением, чтобы предложить инженерию. Хотя эти модели являются мощными, их поведение также очень чувствительны к запросам, которые они получают от пользователя. В связи с этим важно развить навыки правильного построения подсказок. После завершения работы с введением ознакомьтесь со статьей о системных сообщениях.

Это ожидаемое поведение при использовании интерфейса входа по умолчанию для Azure OpenAI Studio.

Чтобы получить доступ к Azure OpenAI Studio из гостевой учетной записи, которая была предоставлена доступ к ресурсу Azure OpenAI:

1. Откройте частный сеанс браузера и перейдите к ней https://oai.azure.com.
2. Вместо того чтобы сразу вводить учетные данные гостевой учетной записи, выберите Sign-in options
3. Теперь выберите вход в организацию
4. Введите доменное имя организации, предоставив гостевой учетной записи доступ к ресурсу Azure OpenAI.
5. Теперь войдите с учетными данными гостевой учетной записи.

Теперь вы сможете получить доступ к ресурсу с помощью Azure OpenAI Studio.

Кроме того, если вы вошли в портал Azure из области обзора ресурса Azure OpenAI, можно выбрать "Перейти в Azure OpenAI Studio", чтобы автоматически войти в систему с соответствующим контекстом организации.

Модели Azure OpenAI (включая GPT-4) не могут правильно определить, какая модель выполняется.

Почему так происходит?

В конечном счете, модель выполняет прогнозирование следующего токена в ответ на ваш вопрос. Модель не имеет собственной возможности запрашивать версию модели в настоящее время, чтобы ответить на ваш вопрос. Чтобы ответить на этот вопрос, вы всегда можете перейти к развертываниям> Управления>Azure OpenAI Studio>и обратиться к столбцу имени модели, чтобы подтвердить, какая модель в настоящее время связана с заданным именем развертывания.

Вопросы: "Какая модель выполняется?" или "Что такое последняя модель из OpenAI?" создает аналогичные результаты качества, чтобы задать модель, какую погоду будет сегодня. Он может возвращать правильный результат, но чисто по случайности. В собственной модели нет реальных сведений, отличных от того, что было частью своих обучающих и обучающих данных. В случае GPT-4 по состоянию на август 2023 года базовые данные обучения идут только до сентября 2021 года. GPT-4 не был выпущен до марта 2023 года, поэтому запрет на выпуск новой версии с обновленными данными обучения или новую версию, которая настроена для ответа на эти конкретные вопросы, ожидается поведение GPT-4, чтобы ответить на то, что GPT-3 является последним выпуском модели из OpenAI.

Если вы хотите помочь модели на основе GPT точно отвечать на вопрос "Какая модель выполняется?", вам потребуется предоставить эту информацию модели с помощью таких методов, как проектирование системного сообщения модели, извлечение дополненного поколения (RAG), который используется Azure OpenAI на ваших данных, где актуальная информация внедряется в системное сообщение во время запроса, или с помощью точной настройки, где можно точно настроить определенные версии модели, чтобы ответить на этот вопрос определенным образом на основе версии модели.

Чтобы узнать больше о том, как модели GPT обучены и работают, мы рекомендуем смотреть разговор Андрея Карпати из сборки 2023 на состоянии GPT.

Это ожидаемое поведение. Модели не могут отвечать на вопросы о себе. Если вы хотите узнать, когда данные об обучении модели будут отрезаны, ознакомьтесь со страницей моделей.

Это ожидаемое поведение. Во-первых, не гарантируется, что каждое недавнее событие было частью обучающих данных модели. И даже если информация была частью обучающих данных, без использования дополнительных методов, таких как извлечение дополненного поколения (RAG), чтобы помочь поставить ответы модели всегда вероятность возникновения незапланированных ответов. Как Azure OpenAI использует функцию данных, так и чат Bing используют модели Azure OpenAI в сочетании с получением дополненного поколения для дальнейшего реагирования на наземные модели.

Частота появления определенной части информации в обучающих данных также может повлиять на вероятность того, что модель будет реагировать определенным образом.

Спрашивая последнюю модель GPT-4 Turbo Preview о том, что изменилось недавно, как "Кто является премьер-министром Новой Зеландии?", скорее всего, приведет к сфабрикованным ответом Jacinda Ardern. Тем не менее, спрашивая модель "Когда он Jacinda Ardern отступил в качестве премьер-министра?" Как правило, дает точный ответ, демонстрирующий обучение знаний о данных, собираемых по крайней мере в январе 2023 года.

Таким образом, хотя можно проверить модель с вопросами, чтобы угадать ее отрезок знаний об обучении, страница модели является лучшим местом для проверки отсечения знаний модели.

Устаревшие сведения о ценах доступны с помощью скачиваемого PDF-файла. Для всех остальных моделей обратитесь на официальную страницу цен.

Вы можете свести к минимуму возникновение этих ошибок, уменьшая температуру запросов до менее 1 и обеспечивая использование клиента с логикой повторных попыток. Повторное презрение к запросу часто приводит к успешному ответу.

Если служба выполняет обработку, плата будет взиматься, даже если код состояния не выполнен (не 200). Распространенные примеры этого: ошибка 400 из-за фильтра содержимого или ограничения ввода или ошибки 408 из-за времени ожидания. Плата также будет взиматься при status 200 получении с помощью .finish_reason content_filter В этом случае запрос не имеет никаких проблем, но завершение, созданное моделью, было обнаружено нарушение правил фильтрации содержимого, что приводит к фильтрации завершения. Если служба не выполняет обработку, плата не будет взиматься. Например, ошибка 401 из-за проверки подлинности или ошибки 429 из-за превышения предела скорости.

Форма регистрации ограниченного доступа не требуется для доступа к большинству моделей Azure OpenAI. Дополнительные сведения см. на странице Ограниченного доступа Azure OpenAI.

Сведения о ежемесячных обновлениях см. на новой странице.

Ознакомьтесь с нашим введением в учебный курс Azure OpenAI.

• Мы рекомендуем публиковать вопросы в Microsoft Q&A.
• Кроме того, вы можете публиковать вопросы в Stack Overflow.

Azure OpenAI является частью служб ИИ Azure. Вы можете узнать обо всех вариантах поддержки служб ИИ Azure в руководстве по поддержке и вариантам справки.

Ознакомьтесь с руководством по доступности модели Azure OpenAI.

Сведения о доступности для регионов см. в руководстве по доступности моделей Azure OpenAI.

Чтобы успешно получить доступ к тонкой настройке, необходимо назначить участника OpenAI Cognitive Services. Даже у кого-то с разрешениями высокого уровня администратора службы по-прежнему потребуется явно установить эту учетную запись, чтобы получить доступ к тонкой настройке. Дополнительные сведения см. в руководстве по управлению доступом на основе ролей.

Базовая модель — это модель, которая не была настроена или настроена для конкретного варианта использования. Точно настроенные модели настраиваются в версиях базовых моделей, где вес модели обучен по уникальному набору запросов. Точно настроенные модели позволяют добиться лучших результатов в более широком количестве задач без необходимости предоставлять подробные примеры для обучения в контексте в рамках запроса завершения. Дополнительные сведения см. в нашем руководстве по тонкой настройке.

100

В настоящее время у нас нет определенного соглашения об уровне обслуживания (SLA) времени отклика API. Дополнительные сведения о соглашении об уровне обслуживания для службы Azure OpenAI см . на странице соглашений об уровне обслуживания для веб-служб.

Если в течение более 15 дней развертывается настраиваемая модель (точно настроенная) модель, в течение которой к ней не выполняются вызовы завершения или завершения чата, развертывание автоматически удаляется (и для этого развертывания не взимается дополнительная плата за размещение). Базовая настраиваемая модель остается доступной и может быть развернута в любое время. Чтобы узнать больше, ознакомьтесь с инструкциями.

В настоящее время существуют два разных REST API, которые позволяют развертывать модель. Для последних функций развертывания модели, таких как возможность указывать версию модели во время развертывания для таких моделей, как text-embedding-ada-002 версии 2, используйте вызов REST API создания или обновления .

Нет, выделение маркеров квоты на минуту (TPM) не связано с максимальным ограничением маркера ввода модели. Ограничения входных маркеров модели определяются в таблице моделей и не влияют на изменения, внесенные в TPM.

Нет, в настоящее время мы не поддерживаем точную настройку возможностей образа GPT-4.

Нет, можно использовать dall-e-3 для создания изображений и gpt-4-vision-preview понимания изображений.

В настоящее время поддерживается PNG (.png), JPEG (.jpeg и .jpg), WEBP (.webp) и неанимированные GIF (.gif).

Да, мы ограничиваем отправку изображений до 20 МБ на изображение.

Нет, мы автоматически удалим образ после его обработки моделью.

Мы обрабатываем изображения на уровне маркера, поэтому каждый образ, который мы обрабатываем, учитывается в сторону предела маркеров в минуту (TPM). Дополнительные сведения о формуле, используемой для определения количества маркеров на изображение, см. в разделе "Маркеры изображения".

Нет, модель не получает метаданные изображения.

Если изображение неоднозначно или неясно, модель сделает все возможное, чтобы интерпретировать ее. Однако результаты могут быть менее точными. Хорошим правилом является то, что если средний человек не может видеть сведения на изображении на разрешениях, используемых в режиме низкого/высокого размера, то модель не может либо.

Ознакомьтесь с разделом ограничений gPT-4 Turbo с руководством по концепциям визуального зрения.

По умолчанию GPT-4 и GPT-4 vision-preview turbo-2024-04-09 имеют max_tokens значение 16. В зависимости от запроса это значение часто слишком низко и может привести к усеченным ответам. Чтобы устранить эту проблему, передайте большее max_tokens значение в рамках запросов API завершения чата. GPT-4o по умолчанию — 4096 max_tokens.

Да. В отличие от API завершения чата, Помощники Azure OpenAI — это API с отслеживанием состояния, то есть он сохраняет данные. Существует два типа данных, хранящихся в API помощников:

• Сущности с отслеживанием состояния: потоки, сообщения и запуски, созданные во время использования помощников.
• Файлы: отправлено во время установки помощников или в рамках сообщения.

Данные хранятся в защищенной управляемой корпорацией Майкрософт учетной записи хранения, которая логически отделена.

Все используемые данные сохраняются в этой системе, если вы явно не удалите эти данные. Используйте функцию удаления с идентификатором потока, который требуется удалить. Очистка запуска на игровой площадке помощников не удаляет потоки, однако удаление их с помощью функции удаления не будет отображаться на странице потока.

№ В настоящее время Помощники поддерживают только локальные файлы, отправленные в управляемое помощниками хранилище. Вы не можете использовать частную учетную запись хранения с помощниками.

Сегодня мы поддерживаем CMK для потоков и файлов в помощниках. См. новую страницу доступных регионов для этой функции.

№ Данные не используются для майкрософт, не используемых для обучения моделей. Дополнительные сведения см. в документации по ответственному ИИ.

Конечные точки Azure OpenAI Assistants являются региональными, а данные хранятся в том же регионе, что и конечная точка. Дополнительные сведения см. в документации по месту расположения данных Azure.

• Затраты на вывод (входные и выходные данные) базовой модели, которую вы используете для каждого помощника (например gpt-4-0125). Если вы создали несколько помощников, вам будет взиматься плата за базовую модель, подключенную к каждому помощнику.
• Если вы включили средство интерпретатора кода. Например, если помощник вызывает интерпретатор кода одновременно в двух разных потоках, это создаст два сеанса интерпретатора кода, каждый из которых будет взиматься. Каждый сеанс по умолчанию активен в течение одного часа, что означает, что вы будете платить только один раз, если пользователь продолжает предоставлять инструкции интерпретатору кода в одном потоке до одного часа.
• Плата за поиск файлов взимается на основе используемого векторного хранилища.

Дополнительные сведения см. на странице цен.

№ Все квоты применяются к использованию моделей с помощниками.

API помощников поддерживает только модели Azure OpenAI.

API Помощников в настоящее время находится в общедоступной предварительной версии. Будьте в курсе последних обновлений продуктов, регулярно посещая нашу страницу "Новые возможности".

Дополнительные сведения о начале работы и использовании помощников см. в статьях "Концептуальное" и краткое руководство. Вы также можете ознакомиться с примерами кода Azure OpenAI Assistants на сайте GitHub.

Вы можете настроить опубликованное веб-приложение в портал Azure. Исходный код опубликованного веб-приложения доступен на сайте GitHub, где можно найти сведения об изменении внешнего интерфейса приложения, а также инструкции по созданию и развертыванию приложения.

Код приложения не будет перезаписан при обновлении приложения. Приложение будет обновлено, чтобы использовать ресурс Azure OpenAI, индекс поиска ИИ Azure (если вы используете Azure OpenAI в данных) и параметры модели, выбранные в Azure OpenAI Studio, без каких-либо изменений внешнего вида или функциональности.

Azure OpenAI для ваших данных — это функция Azure OpenAI Services, которая помогает организациям создавать настраиваемые аналитические сведения, содержимое и поиск с помощью назначенных источников данных. Он работает с возможностями моделей OpenAI в Azure OpenAI, чтобы обеспечить более точные и соответствующие ответы на запросы пользователей на естественном языке. Azure OpenAI на ваших данных можно интегрировать с существующими приложениями и рабочими процессами клиента, получать аналитические сведения о ключевых показателях производительности и легко взаимодействовать с пользователями.

Все клиенты Azure OpenAI могут использовать Azure OpenAI в данных с помощью Студии ИИ Azure и REST API.

Azure OpenAI в данных поддерживает прием из службы "Поиск ИИ Azure", Хранилище BLOB-объектов Azure и отправку локальных файлов. Дополнительные сведения об Azure OpenAI см. в концептуальной статье и кратком руководстве.

При использовании Azure OpenAI в данных затраты возникают при использовании службы "Поиск ИИ Azure", Хранилище BLOB-объектов Azure, веб-Служба приложений Azure, семантического поиска и моделей OpenAI. Дополнительные затраты на использование функции "ваши данные" в Azure AI Studio отсутствуют.

Вы можете подготовить индекс самостоятельно с помощью скрипта, предоставленного на сайте GitHub. С помощью этого скрипта будет создан индекс поиска ИИ Azure со всеми сведениями, необходимыми для лучшего использования данных, с документами, разделенными на управляемые блоки. Дополнительные сведения о том, как его запустить, см. в файле README с кодом подготовки данных.

Вы можете запланировать автоматическое обновление индекса или передать дополнительные данные в контейнер BLOB-объектов Azure и использовать его в качестве источника данных при создании нового индекса. Новый индекс будет содержать все данные в контейнере.

Дополнительные сведения о поддерживаемых типах файлов см. в разделе "Использование данных ".

Да, Azure OpenAI в данных входит в службу Azure OpenAI и работает с моделями , доступными в Azure OpenAI. Функции фильтрации содержимого и мониторинга злоупотреблений в Azure OpenAI по-прежнему применяются. Дополнительные сведения см. в обзоре методик ответственного искусственного интеллекта для моделей Azure OpenAI и заметки о прозрачности Для Azure OpenAI для получения дополнительных рекомендаций по использованию Azure OpenAI для ваших данных.

Да, ограничение маркера в системном сообщении равно 400. Если системное сообщение имеет более 400 маркеров, остальные маркеры, превышающие первые 400, будут игнорироваться. Это ограничение применяется только к Azure OpenAI в функции данных.

Azure OpenAI в данных в настоящее время не поддерживает вызов функции.

Запросы должны отправляться на том же языке данных. Данные могут находиться на любом из языков, поддерживаемых поиском ИИ Azure.

При выборе "Поиск ИИ Azure" в качестве источника данных можно применить семантический поиск. Если выбрать "Контейнер BLOB-объектов Azure" или "Отправить файлы" в качестве источника данных, можно создать индекс как обычно. После этого вы будете повторно отправлять данные с помощью параметра "Поиск ИИ Azure", чтобы выбрать тот же индекс и применить семантический поиск. Затем вы будете готовы общаться с данными с применением семантического поиска.

При выборе параметра "Контейнер BLOB-объектов Azure", "Поиск ИИ Azure" или "Отправить файлы" в качестве источника данных можно также выбрать развертывание модели внедрения Ada для использования при приеме данных. При этом будет создан индекс поиска ИИ Azure с векторными внедрениями.

Создание индекса может завершиться ошибкой при добавлении внедренных в индекс данных, если ограничение скорости развертывания модели внедрения Ada слишком низко или если у вас очень большой набор документов. Этот скрипт можно использовать на сайте GitHub для создания индекса с внедрением вручную.

Обязательство по защите прав клиентов — это подготовка к включению в условия 1 декабря 2023 г., условия продукта Майкрософт, описывающие обязательство корпорации Майкрософт защищать клиентов от определенных утверждений интеллектуальной собственности сторонних производителей, относящихся к выходному содержимому. Если предметом утверждения является выходное содержимое, созданное службой Azure OpenAI (или любым другим защищенным продуктом, который позволяет клиентам настраивать системы безопасности), то для получения покрытия клиент должен реализовать все способы устранения рисков, необходимые документации по Службе Azure OpenAI, в предложении, которое доставляло выходное содержимое. Необходимые меры по устранению рисков описаны здесь и обновляются на постоянной основе. Для новых служб, функций, моделей или вариантов использования новые требования CCC будут размещены и вступают в силу при запуске такой службы, функции, модели или варианта использования. В противном случае клиенты будут иметь шесть месяцев с момента публикации, чтобы реализовать новые способы устранения рисков для поддержания покрытия в рамках CCC. Если клиент тендерирует утверждение, клиенту потребуется продемонстрировать соответствие соответствующим требованиям. Эти способы устранения рисков необходимы для покрытых продуктов, которые позволяют клиентам настраивать системы безопасности, включая Службу Azure OpenAI; они не влияют на покрытие для клиентов, использующих другие охваченные продукты.

Следующие шаги

• Квоты и ограничения Azure OpenAI
• Новые возможности Azure OpenAI
• Краткие руководства по Azure OpenAI