Сводка
Tip
Дополнительные сведения см. на вкладке "Текст и изображения ".
В этом модуле вы изучили полный рабочий процесс для выбора, развертывания и оценки моделей Foundry. Вы узнали, как принимать обоснованные решения о выборе модели с помощью тестов, как развертывать модели в конечных точках и как оценить их производительность с помощью различных подходов оценки.
Основные выводы
Каталог моделей портала Microsoft Foundry предоставляет доступ к более чем 1900 моделям от поставщиков, включая Microsoft, OpenAI, Meta, Mistral и Hugging Face. Эффективная фильтрация по коллекциям, возможностям, параметрам развертывания и другим атрибутам помогает сократить каталог до моделей, соответствующих вашим требованиям.
Бенчмарки моделей предлагают объективные сравнения по качеству, безопасности, затратам и аспектам производительности. Метрики качества, такие как точность, согласованность и свободность, оценивают, насколько хорошо модели создают соответствующие ответы. Метрики безопасности определяют риски, связанные с вредным содержимым. Ориентиры по затратам помогают сбалансировать качество с ограничениями бюджета. Метрики производительности, такие как задержка и пропускная способность, указывают на скорость реагирования для приложений в режиме реального времени.
Варианты развертывания включают бессерверный API, предоставляющий гибкость оплаты за вызов, предназначенные развертывания для стабильных высокопроизводительных нагрузок, управляемые вычислительные ресурсы для размещения виртуальных машин и пакетную обработку для оптимизированных по затратам неинтерактивных заданий. Каждый вариант предлагает различные характеристики масштабирования, выставления счетов и управления.
Тестирование на игровой площадке обеспечивает немедленную обратную связь о поведении модели без написания кода. Вы можете экспериментировать с запросами, настраивать параметры и наблюдать ответы, чтобы понять возможности модели перед интеграцией в приложения.
Подходы к оценке варьируются от ручного тестирования до автоматизированных метрик. Ручная оценка фиксирует субъективные аспекты качества, такие как удовлетворенность пользователей и контекстное соответствие. Метрики с использованием ИИ автоматически оценивают качество генерации и риски безопасности. Метрики NLP, такие как F1-score и ROUGE, обеспечивают математическое соотнесение с образцовыми данными.
Комплексные потоки оценки на портале Microsoft Foundry позволяют выполнять систематические оценки с помощью тестовых наборов данных и нескольких метрик. Результаты определяют сильные стороны, слабые места и области, требующие улучшения, управляя итеративным развитием создаваемых приложений ИИ.
Дальнейшие шаги
При развертывании и оценке моделей рассмотрите следующие действия:
Интегрируйте модели в приложения с помощью пакетов SDK, REST API и примеров кода, предоставляемых на портале Microsoft Foundry. Теперь приложения могут использовать развернутые модели с помощью вызовов API, прошедших проверку подлинности.
Реализуйте дополненную генерацию извлечений (RAG), чтобы основывать ответы модели на данных вашей организации. RAG объединяет модели с возможностями поиска для предоставления точных, контекстно релевантных ответов на основе документов и баз знаний.
Примените службу Безопасность содержимого ИИ Azure для добавления дополнительного уровня защиты от вредного содержимого. Фильтры содержимого могут блокировать недопустимые входные и выходные данные, дополняя функции безопасности на уровне модели.
Дополнительная настройка моделей (когда поддерживается) для вашего конкретного домена или варианта использования для повышения производительности в специализированных сценариях. Тонкая настройка адаптирует модели общего назначения к вашим уникальным требованиям.
Мониторинг производительности процесса с помощью Azure Monitor и Application Insights для отслеживания использования, задержек, затрат и ошибок. Постоянный мониторинг гарантирует работоспособность и производительность приложений.
Выполните итерацию на основе отзывов пользователей, собирая данные об использовании в реальном мире и выполняя периодические переоценки. Непрерывное улучшение позволяет создавать созданные приложения ИИ в соответствии с потребностями пользователей.
Навыки, разработанные в этом модуле— выбор соответствующих моделей, их эффективное развертывание и оценка производительности — формируют основу для создания надежных высококлассных приложений искусственного интеллекта с помощью Microsoft Foundry.