Выполнение запросов к LLM и агентам в Azure Databricks

Azure Databricks предоставляет несколько способов запроса больших языковых моделей (LLM), базовых моделей и развернутых агентов. Выберите интерактивный пользовательский интерфейс, SQL, REST API или клиентские библиотеки в зависимости от рабочего процесса.

Детская площадка для искусственного интеллекта

AI Playground — это среда чата без кода в рабочей области Azure Databricks для запроса и сравнения LLM. Используйте его, чтобы экспериментировать с запросами, настраивать такие параметры, как температура и максимальное количество токенов, а также параллельно создавать прототипы агентов с вызовом инструментов и ботов для ответов на вопросы, прежде чем переходить к написанию кода.

Базовые модели

Azure Databricks нативно обслуживает базовые модели в виде API моделей (сервисов моделей) через Unity AI Gateway. Каждый пользователь аккаунта может вызывать модели оплаты за токен в system.ai схеме без настройки. Выбирайте модельные API, которые соответствуют вашим потребностям:

• Системные API моделей в system.ai: Модели, обслуживаемые нативно Azure Databricks, готовые к запросам с помощью совместимого с OpenAI SDK, нативных API провайдера или ai_query. См. Запросы API моделей (сервисы модели).
• Пользовательские API моделей: создайте свои API , когда нужны модели, выходящие за рамки стандартных параметров, или чтобы распределить нагрузку и настроить запасные варианты.

Агенты запросов

После сборки и развертывания агента запросите агент из приложения. Агенты могут размещаться в приложениях Databricks или конечных точках обслуживания моделей. Azure Databricks поддерживает три метода запроса:

• Клиент Databricks OpenAI: рекомендуется для новых приложений, с нативной стримингом и полной поддержкой функций.
• Совместимый с OpenAI REST API: Не зависит от языка, работает с любой платформой, которая уже использует OpenAI API.
• ai_query: Запросы на устаревшие агенты, размещённые на конечных точках Model Serving, из SQL.

Обогащение данных с помощью функций ИИ

Функции AI — это встроенные функции SQL, которые применяют LLM и другие модели к данным, хранящимся в Azure Databricks. Запускайте их из Databricks SQL, ноутбуков, конвейеров Lakeflow или Workflows, чтобы классифицировать тикеты поддержки, извлекать сущности из документов, суммировать содержимое или переводить текст в пакетном режиме.

Выберите один из двух стилей функций:

• Функции, предназначенные для конкретных задач, такие как ai_classify, ai_extract и ai_parse_document, оптимизированы для выполнения одной задачи и используют системы под управлением Azure Databricks, основанные на исследованиях.
• ai_query — функция общего назначения. Создайте свой собственный запрос и выберите любую поддерживаемую модель фундамента. См. раздел "Использование ai_query".

Полный пример см. в статье "Анализ отзывов клиентов с помощью функций ИИ".