Funkce ai_query
Platí pro:
Databricks SQL Databricks Runtime
Důležité
Tato funkce je ve verzi Public Preview.
Vyvolá existující koncový bod služby Azure Databricks Model Serving a parsuje a vrátí její odpověď.
Pokud chcete použít ai_query v produkčních pracovních postupech, přečtěte si téma Provedení dávkového odvozování LLM pomocí funkcí AI.
Poznámka
- V Databricks Runtime 14.2 a novějších je tato funkce podporovaná v poznámkových blocích Databricks, včetně poznámkových bloků, které se spouští jako úkol v pracovním postupu Databricks.
- Ve verzi Databricks Runtime 14.1 a starších není tato funkce v poznámkových blocích Databricks podporována.
Tato funkce není dostupná v Azure Databricks SQL Classic.
Abyste mohli tuto funkci používat ve službě Pro SQL Warehouse, musíte povolit službu Azure Private Link .
Doporučuje se Databricks Runtime 15.3 nebo vyšší. Použití Databricks Runtime 15.2 nebo nižší může vést k pomalejšímu výkonu.
Váš pracovní prostor musí být v podporované oblasti obsluhy modelů.
Existující model obsluhující koncový bod s načteným modelem Pokud používáte model základní úrovně hostovaný službou Databricks, vytvoří se pro vás koncový bod. V opačném případě se podívejte na Vytvoření vlastních modelů obsluhujících koncové body nebo Vytvoření základního modelu obsluhujícího koncové body.
Dotazování rozhraní API základního modelu je ve výchozím nastavení povolené. Pro dotazy ke koncovým bodům, které obsluhují vlastní modely nebo externí modely:
Aktuální kanál skladu DLT nepoužívá nejnovější verzi Databricks Runtime, která podporuje . Nastavte
pipelines.channelve vlastnostech tabulky na'preview'tak, aby používalai_query().> create or replace materialized view ai_query_mv TBLPROPERTIES('pipelines.channel' = 'PREVIEW') AS SELECT ai_query("databricks-dbrx-instruct", text) as response FROM messages LIMIT 10;
Dotazování koncového bodu, který obsluhuje základní model, včetně externích modelů nebo vlastního základního modelu:
ai_query(endpoint, request)
Dotazování vlastního modelu obsluhujícího koncový bod pomocí schématu modelu :
ai_query(endpoint, request)
Dotazování vlastního modelu obsluhujícího koncový bod bez schématu modelu:
ai_query(endpoint, request, returnType, failOnError)
| důvod | Popis | Návraty |
|---|---|---|
endpoint |
Literál STRING, název koncového bodu pro obsluhu Databricks Foundation Modelu, externího modelu obsluhujícího koncový bod nebo vlastního koncového bodu modelu ve stejném pracovním prostoru pro použití. Určovatel musí mít ke koncovému bodu oprávnění CAN QUERY. |
|
request |
Výraz, požadavek použitý k vyvolání koncového bodu.
|
|
returnType |
Očekávaný výraz returnType z koncového bodu. To se podobá parametru schématu v from_json funkce, který přijímá výraz STRING nebo vyvolání schema_of_json funkce.
|
|
failOnError |
(Volitelné) Logický literál s výchozí hodnotou pravda. Tento příznak označuje, jestli se má do ai_query odpovědi zahrnout stav chyby. |
Příklad najdete v tématu Zpracování chyb pomocí failOnError. |
modelParameters |
(Volitelné) Pole struktury, které obsahuje parametry modelů pro chat, dokončování a vkládání, určené pro základní nebo externí modely. Tyto parametry modelu musí být konstantní parametry, nikoli závislé na datech. Pokud tyto parametry modelu nejsou zadány nebo nastaveny na null použije se výchozí hodnota. S výjimkou Příklad najdete v tématu Konfigurace modelu předáním parametrů modelu. |
|
responseFormat |
(Volitelné) Pole řetězce JSON, které určuje formát odpovědi, který má model sledovat. Podporují se tři typy řetězců formátu odpovědi:
|
Příklad naleznete v části Vynucení výstupního schématu se strukturovaným výstupem. |
Existuje několik způsobů propojení výzvy a sloupce usuzování, například pomocí ||, CONCAT()nebo format_string():
SELECT
CONCAT('${prompt}', ${input_column_name}) AS concatenated_prompt
FROM ${input_table_name};
Alternativně:
SELECT
'${prompt}' || ${input_column_name} AS concatenated_prompt
FROM ${input_table_name};
Nebo pomocí format_string():
SELECT
format_string('%s%s', '${prompt}', ${input_column_name}) AS concatenated_prompt
FROM ${input_table_name};
Přizpůsobte chování modelu předáním konkrétních parametrů, jako jsou maximální tokeny a teplota. Například:
SELECT text, ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Please summarize the following article: " || text,
modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)
) AS summary
FROM uc_catalog.schema.table;
K zpracování chyb použijte argument failOnError pro ai_query. Následující příklad ukazuje, jak se ujistit, že pokud jeden řádek obsahuje chybu, nezastaví to běh celého dotazu. Viz Argumenty a návraty pro očekávané chování na základě toho, jak je tento argument nastaven.
SELECT text, ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text,
failOnError => false
) AS summary
FROM uc_catalog.schema.table;
Ujistěte se, že výstup odpovídá určitému schématu pro snadnější zpracování podřízeného procesu. Můžete například vynutit formát odpovědi schématu JSON:
SELECT ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Extract research paper details from the following abstract: " || abstract,
responseFormat => 'STRUCT<research_paper_extraction:STRUCT<title:STRING, authors:ARRAY<STRING>, abstract:STRING, keywords:ARRAY<STRING>>>'
)
FROM research_papers;
Případně můžete použít schéma JSON stylu DDL:
SELECT ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Extract research paper details from the following abstract: " || abstract,
responseFormat => '{
"type": "json_schema",
"json_schema": {
"name": "research_paper_extraction",
"schema": {
"type": "object",
"properties": {
"title": {"type": "string"},
"authors": {"type": "array", "items": {"type": "string"}},
"abstract": {"type": "string"},
"keywords": {"type": "array", "items": {"type": "string"}}
}
}
},
"strict": true
}'
)
FROM research_papers;
Očekávaný výstup může vypadat takto:
{ "title": "Understanding AI Functions in Databricks", "authors": ["Alice Smith", "Bob Jones"], "abstract": "This paper explains how AI functions can be integrated into data workflows.", "keywords": ["Databricks", "AI", "LLM"] }
Volání funkce ai_query můžete zabalit do UDF, což umožní snadné používání funkcí napříč různými pracovními postupy a jejich sdílení.
CREATE FUNCTION correct_grammar(text STRING)
RETURNS STRING
RETURN ai_query(
'databricks-meta-llama-3-3-70b-instruct',
CONCAT('Correct this to standard English:\n', text));
GRANT EXECUTE ON correct_grammar TO ds;
SELECT
* EXCEPT text,
correct_grammar(text) AS text
FROM articles;
Dotazování externího modelu obsluhujícího koncový bod:
> SELECT ai_query(
'my-external-model-openai-chat',
'Describe Databricks SQL in 30 words.'
) AS summary
"Databricks SQL is a cloud-based platform for data analytics and machine learning, providing a unified workspace for collaborative data exploration, analysis, and visualization using SQL queries."
Dotazování základního modelu podporovaného rozhraními API modelu Databricks Foundation:
> SELECT *,
ai_query(
'databricks-meta-llama-3-3-70b-instruct',
"Can you tell me the name of the US state that serves the provided ZIP code? zip code: " || pickup_zip
)
FROM samples.nyctaxi.trips
LIMIT 10
Volitelně můžete také zabalit výzvu ai_query() do uživatelské funkce (UDF) následujícím způsobem:
CREATE FUNCTION correct_grammar(text STRING)
RETURNS STRING
RETURN ai_query(
'databricks-meta-llama-3-3-70b-instruct',
CONCAT('Correct this to standard English:\n', text));
> GRANT EXECUTE ON correct_grammar TO ds;
- DS fixes grammar issues in a batch.
> SELECT
* EXCEPT text,
correct_grammar(text) AS text
FROM articles;
Následuje příklad dávkového odvození pomocí failOnError a modelParameters s max_tokens a temperature.
Tento příklad také ukazuje, jak spojit výzvu pro váš model a sloupec inferencí pomocí CONCAT().
Existuje několik způsobů, jak provést zřetězení, například pomocí ||, concat() nebo format_string().
CREATE OR REPLACE TABLE ${output_table_name} AS (
SELECT
${input_column_name},
AI_QUERY(
"${endpoint}",
CONCAT("${prompt}", ${input_column_name}),
failOnError => false,
modelParameters => named_struct('max_tokens', ${num_output_tokens},'temperature', ${temperature})
) as response
FROM ${input_table_name}
LIMIT ${input_num_rows}
)
Pro dotazování vlastního modelu nebo tradičního koncového bodu pro obsluhu modelů strojového učení:
> SELECT text, ai_query(
endpoint => 'spam-classification-endpoint',
request => named_struct(
'timestamp', timestamp,
'sender', from_number,
'text', text),
returnType => 'BOOLEAN') AS is_spam
FROM messages
LIMIT 10
> SELECT ai_query(
'weekly-forecast',
request => struct(*),
returnType => 'FLOAT') AS predicted_revenue
FROM retail_revenue
> SELECT ai_query(
'custom-llama-chat',
request => named_struct("messages",
ARRAY(named_struct("role", "user", "content", "What is ML?"))),
returnType => 'STRUCT<candidates:ARRAY<STRING>>')
{"candidates":["ML stands for Machine Learning. It's a subfield of Artificial Intelligence that involves the use of algorithms and statistical models to enable machines to learn from data, make decisions, and improve their performance on a specific task over time."]}