Função ai_query

Aplica-se a: SQL do Databricks

Importante

Esse recurso está em uma versão prévia.

Invoca um ponto de extremidade existente do Azure Databricks Model Serving e analisa e retorna sua resposta.

Requisitos

• Essa função não está disponível no SQL Clássico do Azure Databricks.
• A consulta às APIs do Foundation Model está habilitada por padrão. Para consultar pontos de extremidade que servem modelos personalizados ou modelos externos, você deve se inscrever na visualização pública. Preencha e envie o formulário de inscrição Visualização Pública das Funções de IA.

Sintaxe

Para consultar um ponto de extremidade que atenda a um modelo externo ou um modelo do Foundation:

ai_query(endpointName, request)

Para consultar um ponto de extremidade do serviço de modelo personalizado:

ai_query(endpointName, request, returnType)

Argumentos

• endpointName: um literal de CADEIA DE CARACTERES, o nome do ponto de extremidade do Mosaic AI Model Serving existente no mesmo workspace para invocações. O definidor deve ter permissão PODE CONSULTAR no ponto de extremidade.
• request: uma expressão, a solicitação usada para invocar o ponto de extremidade.
  • Se o ponto de extremidade for um modelo externo que atende ao ponto de extremidade ou ao ponto de extremidade das APIs do Modelo do Databricks Foundation, a solicitação deverá ser uma CADEIA DE CARACTERES.
  • Se o ponto de extremidade for um modelo personalizado que serve o ponto de extremidade, a solicitação poderá ser uma única coluna ou uma expressão struct. Os nomes dos campos struct devem corresponder aos nomes do recurso de entrada esperados pelo ponto de extremidade.
• returnType: uma expressão, o returnType esperado do ponto de extremidade. Isso é semelhante ao parâmetro schema na função from_json, que aceita uma expressão STRING ou invocação da função schema_of_json. Necessário para consultar um ponto de extremidade de serviço de modelo personalizado.

Retornos

A resposta analisada do ponto de extremidade.

Exemplos

Para consultar um modelo externo que serve o ponto de extremidade ou o Modelo do Databricks Foundation:

> SELECT ai_query(
    'my-external-model-openai-chat',
    'Describe Databricks SQL in 30 words.'
  ) AS summary

  "Databricks SQL is a cloud-based platform for data analytics and machine learning, providing a unified workspace for collaborative data exploration, analysis, and visualization using SQL queries."

> CREATE FUNCTION correct_grammar(text STRING)
  RETURNS STRING
  RETURN ai_query(
    'databricks-llama-2-70b-chat',
    CONCAT('Correct this to standard English:\n', text));
> GRANT EXECUTE ON correct_grammar TO ds;
- DS fixes grammar issues in a batch.
> SELECT
    * EXCEPT text,
    correct_grammar(text) AS text
  FROM articles;

Para consultar um Ponto de Extremidade do Serviço de Modelo personalizado:

> SELECT text, ai_query(
    endpoint => 'spam-classification-endpoint',
    request => named_struct(
      'timestamp', timestamp,
      'sender', from_number,
      'text', text),
    returnType => 'BOOLEAN') AS is_spam
  FROM messages

> SELECT ai_query(
    'weekly-forecast',
    request => struct(*),
    returnType => 'FLOAT') AS predicted_revenue
  FROM retail_revenue

> SELECT ai_query(
    'custom-llama-2-7b-chat',
    request => named_struct("messages",
        ARRAY(named_struct("role", "user", "content", "What is ML?"))),
    returnType => 'STRUCT<candidates:ARRAY<STRING>>')

  {"candidates":["ML stands for Machine Learning. It's a subfield of Artificial Intelligence that involves the use of algorithms and statistical models to enable machines to learn from data, make decisions, and improve their performance on a specific task over time."]}

Funções relacionadas

• Função from_json
• Função schema_of_json