Часто задаваемые вопросы об использовании служб ИИ Azure для стартапов.
Ознакомьтесь с учебным курсом Generative AI для начинающих на сайте GitHub. Это 18-уроковый набор инструкций, который представляет все основные функции Azure OpenAI и показывает, как создавать приложения с ними.
Используйте Azure AI Studio для тестирования различных возможностей ИИ, включая развертывание моделей Azure OpenAI и применение служб con режим палатки ration services.
Разные модели Azure OpenAI ограничены различными регионами. Полный список см. в таблице доступности модели.
Влияние минимальное, если вы не используете функцию потоковой передачи. Задержка собственного ответа модели значительно больше влияет на задержку, чем различия между регионами.
Выбор выделенного сервера Azure OpenAI и плана оплаты по мере использования также влияет на производительность.
Сведения о том, как работают ограничения квот и как управлять ими, см. в статье "Управление квотой Azure OpenAI Service".
Клиенты, использующие модель с оплатой по мере использования (наиболее распространенная), см . на странице "Управление квотой службы Azure OpenAI". Для клиентов, использующих выделенный сервер Azure OpenAI, см . раздел квоты связанного руководства.
Рассмотрите возможность объединения нескольких развертываний Azure OpenAI в расширенной архитектуре, чтобы создать систему, которая обеспечивает больше маркеров в минуту для других пользователей.
Когда следует использовать выделенный сервер Azure OpenAI вместо модели оплаты по мере использования?
Следует рассмотреть возможность переключения с оплаты по мере использования на подготовленную пропускную способность при наличии четко определенных прогнозируемых требований к пропускной способности. Как правило, это происходит, когда приложение готово к рабочей среде или уже развернуто в рабочей среде, и есть представление о ожидаемом трафике. Это позволяет пользователям точно прогнозировать необходимую емкость и избегать непредвиденных выставления счетов.
Разделы справки управлять большим трафиком и гарантировать, что мое приложение Azure OpenAI остается адаптивным?
Создайте подсистему балансировки нагрузки для приложения.
Ознакомьтесь с примером балансировки нагрузки, если вы используете модель оплаты по мере использования. Если вы используете выделенный сервер Azure OpenAI, ознакомьтесь с руководством по PTU для получения сведений о балансировке нагрузки.
Создайте оперативное развертывание с помощью потока запросов в Azure AI Studio. Затем проверьте его, введите значения в редакторе форм или редакторе JSON.
Ознакомьтесь с руководством по оценке и мониторингу метрик для отслеживания рисков и безопасности, а также ряда метрик качества ответа.
Используйте функцию мониторинга Azure OpenAI Studio. Она предоставляет панели мониторинга, отслеживающие метрики производительности моделей с течением времени.
См. эталонную архитектуру чата Azure OpenAI, чтобы ознакомиться с рекомендациями по развертыванию стандартного приложения чата.
Ознакомьтесь с форумом по искусственному интеллекту и Машинное обучение техническому сообществу.
Дополнительные сведения см. в статье Майкрософт для стартапов.