Použití umělé inteligence na data pomocí Azure Databricks AI funkcí

Důležité

Tato funkce je ve verzi Public Preview.

Tento článek popisuje azure Databricks AI Functions a podporované funkce.

Co jsou funkce AI?

AI Functions jsou integrované funkce, které můžete použít k použití umělé inteligence, jako je překlad textu nebo analýza mínění, na data uložená v Databricks. Můžou se spouštět kdekoli v Databricks, včetně Databricks SQL, poznámkových bloků, deklarativních kanálů Sparku Lakeflow a pracovních postupů.

Funkce AI jsou snadno použitelné, rychlé a škálovatelné. Analytici je můžou použít k uplatnění datové inteligence na svá vlastní data, zatímco datoví vědci a inženýři strojového učení je můžou využít k vytváření produkčních dávkových pipelin.

Funkce AI poskytují funkce specifické pro úlohy a obecné účely.

• Funkce specifické pro úkoly poskytují funkce umělé inteligence vysoké úrovně pro úkoly, jako je sumarizace textu a překladu. Tyto funkce specifické pro úlohy využívají nejmodernější modely AI, které jsou hostované a spravované službou Databricks. Podporované funkce a modely najdete v tématu Funkce AI specifické pro úlohy.
• ai_query je funkce pro obecné účely, která umožňuje použití libovolného typu modelu AI na vaše data. Viz Funkce Pro obecné účely: ai_query.

funkcí umělé inteligence specifické pro úlohy

Funkce specifické pro úkoly jsou vymezeny pro určitou úlohu, takže můžete automatizovat rutinní akce, jako jsou jednoduché souhrny a rychlé překlady. Databricks doporučuje tyto funkce pro začátek, protože vyvolávají nejmodernější modely AI spravované službou Databricks a nevyžadují žádné přizpůsobení.

Příklad najdete v tématu Analýza recenzí zákazníků pomocí funkcí AI .

Následující tabulka obsahuje seznam podporovaných funkcí a úlohy, které provádějí.

Funkce	Popis
ai_analyze_sentiment	Pomocí nejmodernějšího generujícího modelu AI můžete provádět analýzu mínění na vstupním textu.
ai_classify	Klasifikujte vstupní text podle popisků, které zadáte pomocí nejmodernějšího generujícího modelu AI.
ai_extract	Extrahujte entity určené popisky z textu pomocí nejmodernějšího generujícího modelu AI.
ai_fix_grammar	Opravte gramatické chyby v textu pomocí nejmodernějšího generačního modelu AI.
ai_gen	Odpovězte na výzvu poskytovanou uživatelem pomocí nejmodernějšího generujícího modelu AI.
ai_mask	Maskuje zadané entity v textu pomocí nejmodernějšího generujícího modelu AI.
ai_parse_document	Extrahujte strukturovaný obsah z nestrukturovaných dokumentů pomocí nejmodernějšího generujícího modelu AI.
ai_similarity	Porovná dva řetězce a vypočítá sémantické skóre podobnosti pomocí nejmodernějšího generujícího modelu AI.
ai_summarize	Vygenerujte souhrn textu pomocí SQL a nejmodernějšího generujícího modelu AI.
ai_translate	Přeloží text do zadaného cílového jazyka pomocí nejmodernějšího generujícího modelu AI.
ai_forecast	Prognózovat data až k zadanému časovému horizontu. Tato tabulková funkce je navržená k extrapolaci dat časových řad do budoucnosti.
vector_search	Prohledávejte a dotazujte se na vyhledávací index Mosaic AI Vector Search pomocí nejmodernějšího generativního AI modelu.

Funkce pro obecné účely: ai_query

Funkce ai_query() umožňuje použít jakýkoli model AI na data pro generování úloh umělé inteligence i klasické úlohy ML, včetně extrahování informací, shrnutí obsahu, identifikace podvodů a prognózování výnosů. Podrobnosti o syntaxi a parametrech najdete u funkceai_query.

Následující tabulka shrnuje podporované typy modelů, přidružené modely a model obsluhující požadavky na konfiguraci koncových bodů pro každý z nich.

Typ	Popis	Podporované modely	Požadavky
Předem nasazené modely	Tyto základní modely jsou hostované službou Databricks a nabízejí předem nakonfigurované koncové body, které můžete dotazovat pomocí ai_query. Podívejte se na podporované základní modely na platformě Mosaic AI Model Serving, které modely jsou podporovány pro každou funkci poskytování modelů a jejich regionální dostupnost.	Tyto modely jsou podporované a optimalizované pro zahájení práce s dávkovými odvozováním a provozními pracovními postupy: databricks-claude-sonnet-4 databricks-gpt-oss-20b databricks-gpt-oss-120b databricks-gemma-3-12b databricks-llama-4-maverick databricks-meta-llama-3-3-70b-instruct databricks-meta-llama-3-1-8b-instruct databricks-gte-large-en Jiné modely hostované službou Databricks jsou k dispozici pro použití s funkcemi AI, ale nejsou doporučeny pro produkční nasazení při hromadném odvozování. Tyto další modely jsou dostupné pro odvozování v reálném čase pomocí rozhraní API základních modelů s platbami za token.	K použití této funkce se vyžaduje Databricks Runtime 15.4 LTS nebo vyšší. Nevyžaduje zřizování ani konfiguraci koncového bodu. Vaše použití těchto modelů podléhá příslušným licencím pro vývojáře modelů a podmínkám adostupnosti oblastí AI Functions.
Přineste si vlastní model	Pomocí funkcí AI můžete použít vlastní modely a dotazovat se na ně. AI Functions nabízí flexibilitu, takže můžete dotazovat modely pro scénáře odvozování v reálném čase nebo dávkové odvozování.	Jemně vyladěné základní modely nasazené na platformě Mosaic AI Model Serving Základní modely hostované mimo Databricks Tyto modely jsou dostupné pomocí externích modelů. Podívejte se na Přístup k základním modelům hostovaným mimo Databricks pro seznam podporovaných externích modelů. Uživatelsky přizpůsobené tradiční modely strojového učení (ML) a hlubokého učení (DL)	V případě jemně vyladěných základních modelů musíte vytvořit zřízený koncový bod propustnosti ve službě Model Serving. Příklady poznámkových bloků najdete v tématu Použití ai_query se základními modely . U externích modelů musíte vytvořit externí model obsluhující koncový bod. U vlastních tradičních modelů ML a DL je nutné vytvořit vlastní koncový bod obsluhy modelu. Příklad poznámkového bloku najdete v tématu Použití ai_query s tradičními modely ML .

Použití ai_query se základními modely

Následující příklad ukazuje, jak používat ai_query pomocí základního modelu hostovaného službou Databricks.

• Viz ai_query funkce pro podrobnosti a parametry syntaxe.
• Příklady vícemodálních vstupních dotazů najdete v tématu Vícemodální vstupy .
• Viz Příklady pro pokročilé scénáře pro pokyny pro konfiguraci parametrů pro pokročilé případy použití, například:
  • Zpracování chyb pomocí failOnError
  • Strukturované výstupy v Azure Databricks pro určení strukturovaného výstupu pro odpovědi na dotazy

SELECT text, ai_query(
    "databricks-meta-llama-3-3-70b-instruct",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Ukázkový poznámkový blok: Dávkové odvozování a extrakce strukturovaných dat

Následující ukázkový poznámkový blok ukazuje, jak provádět základní extrakci strukturovaných dat pomocí ai_query transformace nezpracovaných, nestrukturovaných dat do uspořádaných a použitelných informací prostřednictvím automatizovaných technik extrakce. V tomto poznámkovém bloku se také dozvíte, jak využít Mosaic AI Agent Evaluation k vyhodnocení přesnosti pomocí referenčních dat.

Poznámkový blok pro hromadné inferenční zpracování a extrakci strukturovaných dat

Pořiďte si notebook

Použijte ai_query s tradičními modely ML

ai_query podporuje tradiční modely ML, včetně plně vlastních modelů. Tyto modely musí být nasazené v koncových bodech obsluhy modelů. Podrobnosti o syntaxi a parametry najdete ai_query v části Funkce.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Ukázkový poznámkový blok: Dávkové odvozování pomocí BERT pro rozpoznávání pojmenovaných entit

Následující poznámkový blok ukazuje příklad dávkového odvozování tradičního modelu ML pomocí BERT.

Dávkové odvozování pomocí BERT pro poznámkový blok pro rozpoznávání pojmenovaných entit

Pořiďte si notebook

Použití funkcí AI v existujících pracovních postupech Pythonu

Funkce AI je možné snadno integrovat do stávajících pracovních postupů Pythonu.

Následující kód zapíše výstup ai_query do výstupní tabulky:

df_out = df.selectExpr(
  "ai_query('databricks-meta-llama-3-3-70b-instruct', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Následující text je zapsán do tabulky:

df_summary = df.selectExpr("ai_summarize(text) as summary")
df_summary.write.mode('overwrite').saveAsTable('summarized_table')

Použití funkcí AI v produkčních pracovních postupech

U rozsáhlých dávkových odvozování můžete integrovat funkce AI specifické pro úlohy nebo funkci ai_query pro obecné účely do produkčních pracovních postupů, jako jsou deklarativní kanály Sparku Lakeflow, pracovní postupy Databricks a strukturované streamování. To umožňuje zpracování na úrovni produkčního prostředí ve velkém měřítku. Příklady a podrobnosti najdete v tématu Nasazení kanálů dávkového odvozování .

Monitorování průběhu funkcí AI

Pokud chcete zjistit, kolik odvozování bylo dokončeno nebo selhalo, a řešit potíže s výkonem, můžete sledovat průběh funkcí AI pomocí funkce profilu dotazu.

V Databricks Runtime 16.1 ML a novějších můžete ze svého pracovního prostoru v okně dotazu editoru SQL provádět následující kroky:

1. Vyberte odkaz Spouštění--- ve spodní části okna Nezpracované výsledky. Napravo se zobrazí okno výkonu .
2. Kliknutím na Zobrazit profil dotazu zobrazíte podrobnosti o výkonu.
3. Kliknutím na dotaz AI zobrazíte metriky pro daný dotaz, včetně počtu dokončených a neúspěšných odvozování a celkového času dokončení požadavku.

Zobrazení nákladů na úlohy funkcí AI

Náklady na funkci AI se zaznamenávají jako součást MODEL_SERVING produktu v BATCH_INFERENCE rámci typu nabídky. Příklad dotazu najdete v tématu Zobrazení nákladů na úlohy dávkového odvozování .

Poznámka:

Pro ai_parse_document náklady se zaznamenávají jako součást AI_FUNCTIONS produktu. Příklad dotazu najdete v Zobrazení nákladů na ai_parse_document spuštění.

Zobrazení nákladů na úlohy dávkového inferenčního zpracování

Následující příklady ukazují, jak filtrovat úlohy dávkového odvozování na základě úloh, výpočetních prostředků, skladů SQL a deklarativních kanálů Sparku Lakeflow.

Podívejte se na Sledování nákladů na obsluhu modelu pro obecné příklady, jak zobrazit náklady na vaše úlohy dávkového odvozování, které používají funkce AI.

Jobs

Následující dotaz ukazuje, které úlohy se používají k dávkovému odvozování pomocí system.workflow.jobs tabulky systems. Viz Monitorování nákladů na úlohy a výkon pomocí systémových tabulek.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

Následující příklad ukazuje, které clustery se používají k dávkovému odvozování pomocí system.compute.clusters tabulky systems.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Deklarativní kanály Sparku Lakeflow

Následující příklad ukazuje, které deklarativní kanály Sparku Lakeflow se používají k dávkovému odvozování pomocí system.lakeflow.pipelines tabulky systems.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

SQL Warehouse

Následující příklad ukazuje, které sklady SQL se používají k dávkovému odvozování pomocí system.compute.warehouses tabulky systems.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Zobrazení nákladů na ai_parse_document spuštění

Následující příklad ukazuje, jak provést dotazování na tabulky fakturačního systému pro zobrazení nákladů na ai_parse_document běhy.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS"
  AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT";