Прочитать на английском Изменить

Поделиться через


Вопросы и ответы об ИИ для стартапов

Часто задаваемые вопросы об использовании служб ИИ Azure для стартапов.

Начало работы

Как лучше всего приступить к работе со службой Azure OpenAI для запуска?

Ознакомьтесь с учебным курсом Generative AI для начинающих на сайте GitHub. Это 18-уроковый набор инструкций, который представляет все основные функции Azure OpenAI и показывает, как создавать приложения с ними.

Как быстро протестировать возможности ИИ Azure с помощью подхода с низким или безкода?

Используйте Azure AI Studio для тестирования различных возможностей ИИ, включая развертывание моделей Azure OpenAI и применение служб con режим палатки ration services.

Региональная доступность и размещение данных

В каких регионах Azure доступна служба OpenAI?

Разные модели Azure OpenAI ограничены различными регионами. Полный список см. в таблице доступности модели.

Как выбор региона влияет на задержку и производительность служб Azure OpenAI?

Влияние минимальное, если вы не используете функцию потоковой передачи. Задержка собственного ответа модели значительно больше влияет на задержку, чем различия между регионами.

Выбор выделенного сервера Azure OpenAI и плана оплаты по мере использования также влияет на производительность.

Ограничения скорости и управление ресурсами

Как убедиться, что приложение может масштабировать квоту Azure OpenAI?

Сведения о том, как работают ограничения квот и как управлять ими, см. в статье "Управление квотой Azure OpenAI Service".

Каковы ограничения скорости для службы Azure OpenAI и как управлять ими?

Клиенты, использующие модель с оплатой по мере использования (наиболее распространенная), см . на странице "Управление квотой службы Azure OpenAI". Для клиентов, использующих выделенный сервер Azure OpenAI, см . раздел квоты связанного руководства.

Разделы справки обрабатывать ограничения маркеров в минуту в службе Azure OpenAI?

Когда следует использовать выделенный сервер Azure OpenAI вместо модели оплаты по мере использования?

Следует рассмотреть возможность переключения с оплаты по мере использования на подготовленную пропускную способность при наличии четко определенных прогнозируемых требований к пропускной способности. Как правило, это происходит, когда приложение готово к рабочей среде или уже развернуто в рабочей среде, и есть представление о ожидаемом трафике. Это позволяет пользователям точно прогнозировать необходимую емкость и избегать непредвиденных выставления счетов.

Балансировка нагрузки и масштабирование

Разделы справки управлять большим трафиком и гарантировать, что мое приложение Azure OpenAI остается адаптивным?

Создайте подсистему балансировки нагрузки для приложения.

Ознакомьтесь с примером балансировки нагрузки, если вы используете модель оплаты по мере использования. Если вы используете выделенный сервер Azure OpenAI, ознакомьтесь с руководством по PTU для получения сведений о балансировке нагрузки.

Разработка и тестирование

Разделы справки настроить среду разработки для тестирования приложений Azure OpenAI?

Создайте оперативное развертывание с помощью потока запросов в Azure AI Studio. Затем проверьте его, введите значения в редакторе форм или редакторе JSON.

Мониторинг и метрики

Как отслеживать и оценивать метрики использования приложения ИИ?

Какие средства можно использовать для мониторинга производительности конечных точек Azure OpenAI?

Используйте функцию мониторинга Azure OpenAI Studio. Она предоставляет панели мониторинга, отслеживающие метрики производительности моделей с течением времени.

Реализация и рекомендации по производству

Каковы некоторые рекомендации по развертыванию приложений OpenAI в Azure в рабочей среде?

См. эталонную архитектуру чата Azure OpenAI, чтобы ознакомиться с рекомендациями по развертыванию стандартного приложения чата.

Можно ли предоставить примеры или примеры успешных реализаций Службы Azure OpenAI?

Ознакомьтесь с форумом по искусственному интеллекту и Машинное обучение техническому сообществу.

Дополнительные сведения см. в статье Майкрософт для стартапов.