Функция ai_query

Область применения: Databricks SQL

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Вызывает существующую конечную точку обслуживания модели Azure Databricks и анализирует ее и возвращает ответ.

Требования

• Эта функция недоступна в Классической версии SQL Azure Databricks.
• По умолчанию api модели запросов к модели Foundation включена. Чтобы запросить конечные точки, обслуживающие пользовательские модели или внешние модели, необходимо зарегистрировать в общедоступной предварительной версии. Заполните и отправьте форму регистрации общедоступной предварительной версии функций ИИ.

Синтаксис

Чтобы запросить конечную точку, которая служит внешней моделью или базовой моделью:

ai_query(endpointName, request)

Запрос конечной точки обслуживания пользовательской модели:

ai_query(endpointName, request, returnType)

Аргументы

• endpointName: литерал STRING, имя существующей конечной точки обслуживания модели ИИ Мозаики в той же рабочей области для вызовов. Определяющий объект должен иметь разрешение CAN QUERY в конечной точке.
• request: выражение, запрос, используемый для вызова конечной точки.
  • Если конечная точка является внешней конечной точкой, обслуживающей конечную точку или API модели Databricks Foundation, запрос должен быть строкой.
  • Если конечная точка является пользовательской конечной точкой обслуживания модели, запрос может быть одним столбцом или выражением структуры. Имена полей структуры должны совпадать с именами входных функций, ожидаемыми конечной точкой.
• returnType: выражение, ожидаемое возвращаемое тип из конечной точки. Это аналогично параметру схемы в функции from_json, которая принимает как выражение STRING, так и вызов функции schema_of_json. Требуется для запроса пользовательской конечной точки обслуживания модели.

Возвраты

Проанализированный ответ от конечной точки.

Примеры

Чтобы запросить конечную точку обслуживания внешней модели или модель Databricks Foundation:

> SELECT ai_query(
    'my-external-model-openai-chat',
    'Describe Databricks SQL in 30 words.'
  ) AS summary

  "Databricks SQL is a cloud-based platform for data analytics and machine learning, providing a unified workspace for collaborative data exploration, analysis, and visualization using SQL queries."

> CREATE FUNCTION correct_grammar(text STRING)
  RETURNS STRING
  RETURN ai_query(
    'databricks-llama-2-70b-chat',
    CONCAT('Correct this to standard English:\n', text));
> GRANT EXECUTE ON correct_grammar TO ds;
- DS fixes grammar issues in a batch.
> SELECT
    * EXCEPT text,
    correct_grammar(text) AS text
  FROM articles;

Запрос пользовательской конечной точки обслуживания модели:

> SELECT text, ai_query(
    endpoint => 'spam-classification-endpoint',
    request => named_struct(
      'timestamp', timestamp,
      'sender', from_number,
      'text', text),
    returnType => 'BOOLEAN') AS is_spam
  FROM messages

> SELECT ai_query(
    'weekly-forecast',
    request => struct(*),
    returnType => 'FLOAT') AS predicted_revenue
  FROM retail_revenue

> SELECT ai_query(
    'custom-llama-2-7b-chat',
    request => named_struct("messages",
        ARRAY(named_struct("role", "user", "content", "What is ML?"))),
    returnType => 'STRUCT<candidates:ARRAY<STRING>>')

  {"candidates":["ML stands for Machine Learning. It's a subfield of Artificial Intelligence that involves the use of algorithms and statistical models to enable machines to learn from data, make decisions, and improve their performance on a specific task over time."]}

Связанные функции

• функция from_json
• функция schema_of_json