Dotazování LLM a agentů na Azure Databricks

Azure Databricks nabízí různé způsoby dotazování velkých jazykových modelů (LLM), základních modelů a nasazených agentů. V závislosti na vašem pracovním postupu zvolte interaktivní uživatelské rozhraní, rozhraní SQL, rozhraní REST API nebo klientské knihovny.

Dětské hřiště AI

AI Playground je bezkódové chatovací prostředí ve vašem pracovním prostoru Azure Databricks k zadávání promptů a porovnávání LLM. Použijte ho k experimentování s prompty, ladění parametrů, jako je teplota a maximální počet tokenů, a k prototypování agentů využívajících volání nástrojů a botů pro zodpovídání otázek vedle sebe ještě předtím, než přejdete ke kódu.

Obohacení dat pomocí funkcí AI

AI Functions jsou integrované funkce SQL, které na data uložená v Azure Databricks používají LLM a další modely. Spusťte je z Databricks SQL, poznámkových bloků, deklarativních kanálů Sparku Lakeflow nebo pracovních postupů za účelem klasifikace lístků podpory, extrakce entit z dokumentů, shrnutí obsahu nebo překladu textu v dávkovém měřítku.

Vyberte si mezi dvěma styly funkcí:

• Funkce specifické pro konkrétní úlohu, jako ai_classify, ai_extract a ai_parse_document, jsou optimalizované pro jednu úlohu a používají systémy spravované službou Azure Databricks a podložené výzkumem.
• ai_query je funkce pro obecné účely – zadejte vlastní výzvu a zvolte libovolný podporovaný základní model. Viz Použití ai_query.

Kompletní příklad najdete v tématu Analýza recenzí zákazníků pomocí funkcí AI.

Dotaz na agenty

Po sestavení a nasazení agenta odesílejte agentovi dotazy z aplikace. Agenti mohou být hostováni v Databricks Apps nebo na koncových bodech služby Mosaic AI Model Serving. Azure Databricks podporuje tři metody dotazu:

• Klient Databricks OpenAI – doporučeno pro nové aplikace s nativní podporou streamování a plnou podporou funkcí.
• Rozhraní REST API kompatibilní s OpenAI – nezávislé na jazyce, funguje s libovolnou platformou, která už rozhraní API OpenAI mluví.
• ai_query – dotazování starších agentů hostovaných na koncových bodech pro obsluhu modelů pomocí SQL

Základní modely

Mosaic AI Model Serving zpřístupňuje otevřené, foundation modely spravované službou Azure Databricks a externí foundation modely prostřednictvím jednotného rozhraní API. Zvolte možnost nasazení, která odpovídá vaší úloze:

• Platba za tokeny – dotazujte předem nakonfigurované koncové body ve svém pracovním prostoru bez nutnosti spravovat infrastrukturu. Dobrý pro experimentování.
• Zřízená propustnost – nasaďte jemně vyladěné modely s optimalizovanými zárukami obsluhy a výkonu pro produkční prostředí.
• Externální modely – směrují požadavky na poskytovatele, jako je OpenAI nebo Anthropic prostřednictvím zásad správného řízení Azure Databricks.