Обзор. Развертывание моделей, потоков и веб-приложений с помощью Azure AI Studio
Azure AI Studio поддерживает развертывание больших языковых моделей (LLMs), потоков и веб-приложений. Развертывание LLM или потока делает его доступным для использования в веб-сайте, приложении или других рабочих средах. Обычно это позволяет размещать модель на сервере или в облаке, а также создавать API или другой интерфейс для взаимодействия с моделью.
Процесс взаимодействия с развернутой моделью называется выводом. Вывод включает применение новых входных данных к модели для создания выходных данных.
Вы можете использовать вывод в различных приложениях. Например, можно использовать модель завершения чата для автоматического завершения слов или фраз, которые пользователь вводит в режиме реального времени. Вы также можете использовать модель чата для создания ответа на вопрос "Можно ли создать маршрут для однодневного визита в Сиэтле?" Возможности бесконечны.
Развертывание моделей
Во-первых, вы можете попросить:
"Какие модели можно развернуть?"
Azure AI Studio поддерживает развертывание некоторых из самых популярных моделей на основе языка и визуального распознавания, курируемых корпорацией Майкрософт, Hugging Face, Meta и многое другое.
"Разделы справки выбрать подходящую модель?"
Azure AI Studio предоставляет каталог моделей, в котором можно выполнять поиск и фильтрацию моделей на основе вашего варианта использования. Вы также можете протестировать модель на образце игровой площадки перед развертыванием в проекте.
"Откуда в Azure AI Studio можно развернуть модель?"
Вы можете развернуть модель из каталога моделей или на странице развертывания проекта.
Azure AI Studio упрощает развертывание. Простой выбор или строка кода развертывает модель и создает конечную точку API для ваших приложений.
Модели Azure OpenAI
С помощью Службы Azure OpenAI вы можете получить доступ к последним моделям OpenAI, имеющим корпоративные функции из Azure. Узнайте больше о развертывании моделей Azure OpenAI в AI Studio.
Открытие моделей
Каталог моделей предоставляет доступ к большому спектру моделей в различных модальности. Вы можете развернуть определенные модели в каталоге моделей в качестве службы с выставлением счетов по мере использования. Эта возможность позволяет использовать модели в качестве API, не размещая их в подписке, сохраняя корпоративную безопасность и соответствие требованиям вашей организации.
Развертывание моделей как бессерверных API
Развертывание модели в качестве бессерверного API не требует квоты из подписки. Этот параметр позволяет развернуть модель как службу (MaaS). Вы используете бессерверное развертывание API и выставляются счета за токен в режиме оплаты по мере использования. Дополнительные сведения о развертывании модели в качестве бессерверного API см. в статье "Развертывание моделей в качестве бессерверных API".
Развертывание моделей с размещенной управляемой инфраструктурой
Вы можете размещать открытые модели в собственной подписке с помощью управляемой инфраструктуры, виртуальных машин и количества экземпляров для управления емкостью. Существует широкий спектр моделей из Azure OpenAI, Hugging Face и NVIDIA. Дополнительные сведения о развертывании открытых моделей в конечных точках реального времени.
Выставление счетов за развертывание и вывод LLM в Azure AI Studio
В следующей таблице описывается, как выставляются счета за развертывание и вывод LLM в Azure AI Studio. Дополнительные сведения о том, как отслеживать затраты, см. в статье "Мониторинг затрат для моделей, предлагаемых через Azure Marketplace".
| Вариант использования | Модели Azure OpenAI | Модели, развернутые как бессерверные API (оплата по мере использования) | Модели, развернутые с помощью управляемых вычислений |
|---|---|---|---|
| Развертывание модели из каталога моделей в проекте | Нет, вы не оплачиваете развертывание модели Azure OpenAI в проекте. | Да, счета выставляются в соответствии с инфраструктурой конечной точки.1 | Да, вы оплачиваете инфраструктуру, на которую размещена модель.2 |
| Тестирование режима чата на игровой площадке после развертывания модели в проекте | Да, счета выставляются на основе использования маркера. | Да, счета выставляются на основе использования маркера. | нет |
| Тестирование модели на образце игровой площадки в каталоге моделей (если применимо) | Нет данных | нет | нет |
| Тестирование модели на детской площадке в проекте (если применимо) или на вкладке тестовой страницы сведений о развертывании в проекте. | Да, счета выставляются на основе использования маркера. | Да, счета выставляются на основе использования маркера. | нет |
1 Минимальная инфраструктура конечных точек взимается в минуту. Вы не оплачиваете инфраструктуру, на которую размещена модель в режиме оплаты по мере использования. После удаления конечной точки дополнительные расходы не будут взиматься.
2 Выставление счетов выполняется по минуте в зависимости от уровня продукта и количества экземпляров, используемых в развертывании с момента создания. После удаления конечной точки дополнительные расходы не будут взиматься.
Развертывание потоков
Что такое поток и почему вы хотите развернуть его? Поток — это последовательность инструментов, которые можно использовать для создания создаваемого приложения ИИ. Развертывание потока отличается от развертывания модели, в которую можно настроить поток с собственными данными и другими компонентами, такими как внедрение, поиск векторной базы данных и пользовательские подключения. Инструкции см. в разделе "Развертывание потока для вывода в режиме реального времени".
Например, можно создать чат-бот, использующий данные для создания информированных и обоснованных ответов на запросы пользователей. При добавлении данных на игровой площадке поток запроса автоматически создается. Вы можете развернуть поток как есть или настроить его. В Azure AI Studio вы также можете создать собственный поток с нуля.
Независимо от способа создания потока в Azure AI Studio вы можете быстро развернуть его и создать конечную точку API для приложений.
Развертывание веб-приложений
Модель или поток, которые вы развертываете, можно использовать в веб-приложении, размещенном в Azure. Azure AI Studio предоставляет быстрый способ развертывания веб-приложения. Дополнительные сведения см. в руководстве по корпоративному чату Azure AI Studio.
Планирование безопасности искусственного интеллекта для развернутой модели
Для моделей Azure OpenAI, таких как GPT-4, Azure AI Studio предоставляет фильтр безопасности во время развертывания, чтобы обеспечить ответственное использование ИИ. Фильтр безопасности позволяет модерировать вредное и конфиденциальное содержимое для повышения безопасности приложений СИ.
Azure AI Studio также предлагает мониторинг моделей для развернутых моделей. Мониторинг моделей для LLM использует последние языковые модели GPT для мониторинга и оповещения, когда выходные данные модели выполняются плохо в отношении заданных пороговых значений безопасности и качества создания. Например, можно настроить монитор, чтобы оценить, насколько хорошо созданные модели ответы соответствуют данным из источника входных данных (заземленность) и тесно соответствуют предложению или документу (сходство).
Оптимизация производительности развернутой модели
Оптимизация LLM требует тщательного рассмотрения нескольких факторов, включая операционные метрики (например, задержку), метрики качества (например, точность) и затраты. Важно работать с опытными специалистами по обработке и анализу данных и инженерами, чтобы убедиться, что ваша модель оптимизирована для конкретного варианта использования.