Использование базовых моделей

Из этой статьи вы узнаете, какие параметры доступны для записи запросов к базовым моделям и их отправки в конечную точку обслуживания модели. Вы можете запросить базовые модели, размещенные в Databricks и базовых моделях, размещенных за пределами Databricks.

Tip

Если вы только начинаете и хотите вызвать LLM, используйте модельные API (сервисы моделей) в Unity AI Gateway. Сервисы моделей предоставляют управляемый доступ к базовым моделям, обслуживаемым нативно Azure Databricks через один интерфейс, без настройки серверной точки. Чтобы начать отправлять запросы к LLM, см. раздел «Начать запросы к LLM на Databricks». Используйте опции запроса к серверным точкам ниже, когда отправляете запросы на конечные устройства, которые вы сами размещаете.

Для традиционных запросов к моделям машинного обучения или Python см. конечные точки обслуживания запросов для пользовательских моделей.

Служба моделей поддерживает API-интерфейсы ивнешние модели для доступа к базовым моделям. Служба моделей использует унифицированный API, совместимый с OpenAI, и пакет SDK для их запроса. Это позволяет экспериментировать с настройкой базовых моделей для использования в производственной среде в поддерживаемых облаках и у поставщиков.

Замечание

Запросы к фондовым моделям, как размещённым на Databricks, так и внешних, направляются через Unity AI Gateway, который позволяет применять лимиты тарифов, бюджеты и ограничения для контроля стоимости и доступа.

Параметры запроса

Служба моделей предоставляет следующие параметры для отправки запросов конечным точкам, которые служат базовым моделям:

Метод Сведения
Клиент OpenAI Выполните запрос к модели, развернутой на конечной точке Model Serving, с помощью клиента OpenAI. Укажите имя конечной точки службы модели в качестве входных model данных. Поддерживается для чата, внедрения и завершения моделей, предоставляемых API-интерфейсами модели Foundation или внешними моделями.
Функции ИИ Вызов вывода модели непосредственно из SQL с помощью ai_query функции SQL. См. пример. Запрос базовой модели.
Обслуживающий пользовательский интерфейс Выберите конечную точку запроса на странице конечной точки обслуживания . Вставьте входные данные модели формата JSON и нажмите кнопку "Отправить запрос". Если в модели есть входной пример, используйте команду Show Example для загрузки.
REST API Вызов и запрос модели с помощью REST API. Дополнительные сведения см. в разделе POST /обслуживающие конечные точки/{name}/invocations . Сведения о оценке запросов к конечным точкам, обслуживающим несколько моделей, см. в разделе "Запрос отдельных моделей" за конечной точкой.
Пакет SDK для развертываний MLflow Используйте функцию predict() из SDK MLflow Deployments для запроса модели.
SDK Databricks для Python Пакет SDK для Python Databricks — это слой на вершине REST API. Он обрабатывает низкоуровневые сведения, такие как проверка подлинности, что упрощает взаимодействие с моделями.

Требования

Внимание

В качестве передовой практики безопасности для производственных сценариев Databricks рекомендует использовать машинные OAuth токены для проверки подлинности в производственной среде.

Для тестирования и разработки Databricks рекомендует использовать личный маркер доступа, принадлежащий субъектам-службам , а не пользователям рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе "Управление маркерами" для субъекта-службы.

Установка пакетов

После выбора метода запроса необходимо сначала установить соответствующий пакет в кластер.

Клиент OpenAI

Чтобы использовать клиент OpenAI, в вашем кластере необходимо установить пакет databricks-openai. Этот пакет предоставляет клиент OpenAI с авторизацией, автоматически настроенный для запроса моделей ИИ. Выполните следующую команду в записной книжке или локальном терминале:

pip install -U databricks-openai

Дальнейшие шаги необходимы только если пакет устанавливается в тетради Databricks.

dbutils.library.restartPython()

REST API

Доступ к REST API Сервиса предоставляется в Databricks Runtime для машинного обучения.

Пакет SDK для развертываний MLflow

!pip install mlflow

Дальнейшие шаги необходимы только если пакет устанавливается в тетради Databricks.

dbutils.library.restartPython()

SDK Databricks для Python

Пакет SDK Databricks для Python уже установлен во всех кластерах Azure Databricks, использующих Databricks Runtime 13.3 LTS или более поздней версии. Для кластеров Azure Databricks, использующих Databricks Runtime 12.2 LTS и ниже, сначала необходимо установить пакет SDK Databricks для Python. См. пакет SDK Databricks для Python.

Типы моделей Foundation

В следующей таблице перечислены поддерживаемые базовые модели на основе типа задачи.

Тип задачи Описание Поддерживаемые модели Когда использовать? Рекомендуемые варианты использования
Общее назначение Модели, предназначенные для понимания и участия в естественных, многоэтапных беседах. Они настраиваются на больших наборах данных человеческого диалога, что позволяет им создавать контекстно релевантные ответы, отслеживать историю общения и обеспечивать согласованное, человеческое взаимодействие по различным темам. Ниже приведены поддерживаемые базовые модели Databricks:

Ниже поддерживаются внешние модели:
  • Модели серии OpenAI GPT и O
  • Модели Anthropic Claude
  • Модели Google Gemini
 Рекомендуется для сценариев, когда необходимы естественный, многоэтапный диалог и контекстное понимание.
  • Виртуальные помощники
  • Боты поддержки клиентов
  • Интерактивные системы обучения.
Внедрение Модели внедрения — это системы машинного обучения, которые преобразуют сложные данные, такие как текст, изображения или звук, в компактные числовые векторы, называемые внедрением. Эти векторы фиксируют основные функции и связи в данных, позволяя эффективно сравнивать, кластеризировать и семантический поиск. Ниже перечислены поддерживаемые Databricks модели основного уровня:

Ниже поддерживаются внешние модели:
  • Модели встраивания текста OpenAI
  • Модели эмбеддинга текста Cohere
  • Модели эмбеддинга текста Google
 Рекомендуется для приложений, где необходимо понимать семантику, сравнение сходства и эффективное извлечение или кластеризацию сложных данных:
  • Семантический поиск
  • Поколение с увеличением извлечения (RAG)
  • Кластеризация разделов
  • Анализ тональности и текстовая аналитика
Зрение Модели, предназначенные для обработки, интерпретации и анализа визуальных данных, таких как изображения и видео, чтобы компьютеры могли "видеть" и понимать визуальный мир. Ниже приведены поддерживаемые базовые модели Databricks:

Ниже поддерживаются внешние модели:
  • Модели серии GPT и O от OpenAI с возможностями компьютерного зрения
  • Модели Anthropic Claude с возможностями зрения
  • Модели Google Gemini с возможностями зрения
  • Поддерживаются и другие внешние базовые модели с возможностями визуального распознавания, совместимыми с API OpenAI.
 Рекомендуется, когда требуется автоматизированный, точный и масштабируемый анализ визуальных сведений:
  • Обнаружение и распознавание объектов
  • Классификация изображений
  • Сегментация изображений
  • Понимание документов
Рассуждение Расширенные системы искусственного интеллекта, предназначенные для имитации логического мышления человека. Модели рассуждений интегрируют такие методы, как символьная логика, вероятностная логика и нейронные сети для анализа контекста, разбиения задач и объяснения их принятия решений. Ниже перечислены поддерживаемые Databricks модели основного уровня:

Ниже поддерживаются внешние модели:
  • Модели OpenAI с возможностями анализа
  • Модели Anthropic Claude со способностями к рассуждению
  • Модели Google Gemini с возможностями рассуждения
 Рекомендуется, когда требуется автоматизированный, точный и масштабируемый анализ визуальных сведений:
  • Создание кода
  • Создание содержимого и сводка
  • Оркестрация агента

Вызов функции

Вызов функций Databricks совместим с OpenAI и доступен только во время работы модели в рамках API-интерфейсов модели Foundation и обслуживания конечных точек, которые служат внешним моделям. Дополнительные сведения см. в разделе "Функция", вызываемая в Azure Databricks.

Структурированные выходные данные

Структурированные выходные данные совместимы с OpenAI и доступны только во время работы модели в рамках API-интерфейсов модели Foundation. Дополнительные сведения см. в разделе "Структурированные выходные данные" в Azure Databricks.

Кэширование запросов

Кэширование запросов поддерживается для моделей Claude, размещенных в Databricks, в рамках API-интерфейсов модели Foundation.

Вы можете указать параметр cache_control в запросах, чтобы кэшировать следующее:

  • Сообщения с текстовым содержанием в массиве messages.content.
  • Анализ содержания сообщений в массиве messages.content.
  • Блоки содержимого изображений в массиве messages.content .
  • Использование инструментов, результаты и определения в массиве tools.

См. справочник по REST API модели Foundation.

ТекстовоеСодержимое

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What's the date today?",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ПричинаКонтент

{
  "messages": [
    {
      "role": "assistant",
      "content": [
        {
          "type": "reasoning",
          "summary": [
            {
              "type": "summary_text",
              "text": "Thinking...",
              "signature": "[optional]"
            },
            {
              "type": "summary_encrypted_text",
              "data": "[encrypted text]"
            }
          ]
        }
      ]
    }
  ]
}

ImageContent

Содержимое сообщения изображения должно использовать закодированные данные в качестве источника. URL-адреса не поддерживаются.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What’s in this image?"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpeg;base64,[content]"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

Содержимое вызова инструмента

{
  "messages": [
    {
      "role": "assistant",
      "content": "Ok, let’s get the weather in New York.",
      "tool_calls": [
        {
          "type": "function",
          "id": "123",
          "function": {
            "name": "get_weather",
            "arguments": "{\"location\":\"New York, NY\"}"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

Замечание

REST API Databricks совместим с OpenAI и отличается от anthropic API. Эти различия также влияют на объекты отклика, как показано ниже.

  • Вывод возвращается в поле choices.
  • Формат блока потоковой передачи. Все блоки соответствуют одному и тому же формату, где choices содержит ответ delta и информация об использовании возвращается в каждом блоке.
  • Причина остановки возвращается в поле finish_reason.
    • Anthropic использует: end_turn, stop_sequence, max_tokens, и tool_use
    • Соответственно, Databricks использует: stop, stopи lengthtool_calls

Чат с поддерживаемыми LLM с помощью ИИ-площадки

Вы можете взаимодействовать с поддерживаемыми крупными языковыми моделями с помощью игровой площадки ИИ. Платформа искусственного интеллекта — это среда чата, в которой можно тестировать, запрашивать и сравнивать LLM из рабочей области Azure Databricks.

Детская площадка для искусственного интеллекта

Дополнительные ресурсы

  • Last updated on