Выполнение запросов к LLM и агентам в Azure Databricks

Azure Databricks предоставляет несколько способов запроса больших языковых моделей (LLM), базовых моделей и развернутых агентов. Выберите интерактивный пользовательский интерфейс, SQL, REST API или клиентские библиотеки в зависимости от рабочего процесса.

Детская площадка для искусственного интеллекта

AI Playground — это среда чата без кода в рабочей области Azure Databricks для запроса и сравнения LLM. Используйте его, чтобы экспериментировать с запросами, настраивать такие параметры, как температура и максимальное количество токенов, а также параллельно создавать прототипы агентов с вызовом инструментов и ботов для ответов на вопросы, прежде чем переходить к написанию кода.

Обогащение данных с помощью функций ИИ

Функции AI — это встроенные функции SQL, которые применяют LLM и другие модели к данным, хранящимся в Azure Databricks. Запускайте их из Databricks SQL, ноутбуков, декларативных конвейеров Lakeflow Spark или Workflows, чтобы классифицировать тикеты поддержки, извлекать сущности из документов, суммировать содержимое или переводить текст в пакетном режиме.

Выберите один из двух стилей функций:

• Функции, предназначенные для конкретных задач, такие как ai_classify, ai_extract и ai_parse_document, оптимизированы для выполнения одной задачи и используют системы под управлением Azure Databricks, основанные на исследованиях.
• ai_query — это функция общего назначения— укажите собственный запрос и выберите любую поддерживаемую базовую модель. См. раздел "Использование ai_query".

Полный пример см. в статье "Анализ отзывов клиентов с помощью функций ИИ".

Агенты запросов

После сборки и развертывания агента запросите агент из приложения. Агенты могут размещаться в приложениях Databricks или в конечных точках службы модели ИИ Мозаики. Azure Databricks поддерживает три метода запроса:

• Клиент Databricks OpenAI — рекомендуется для новых приложений с поддержкой собственной потоковой передачи и полной поддержки функций.
• REST API, совместимый с OpenAI — не зависит от языка программирования, работает с любой платформой, которая уже поддерживает API OpenAI.
• ai_query — выполнение запросов к устаревшим агентам, размещённым на эндпоинтах Model Serving, с помощью SQL.

Базовые модели

Mosaic AI Model Serving предоставляет открытые, управляемые Azure Databricks и внешние фундаментальные модели через единый API. Выберите вариант развертывания, соответствующий рабочей нагрузке:

• Оплата за токен — выполняйте запросы к предварительно настроенным конечным точкам доступа в вашем рабочем пространстве без необходимости управлять инфраструктурой. Хорошо подходит для экспериментирования.
• Выделенная пропускная способность — развертывайте тонко настроенные модели с оптимизированным обслуживанием и гарантированной производительностью для промышленного использования.
• External models — маршрутизировать запросы к поставщикам, таким как OpenAI или Anthropic через управление Azure Databricks.