Dotazování LLM a agentů na Azure Databricks

Azure Databricks nabízí různé způsoby dotazování velkých jazykových modelů (LLM), základních modelů a nasazených agentů. V závislosti na vašem pracovním postupu zvolte interaktivní uživatelské rozhraní, rozhraní SQL, rozhraní REST API nebo klientské knihovny.

Dětské hřiště AI

AI Playground je bezkódové chatovací prostředí ve vašem pracovním prostoru Azure Databricks k zadávání promptů a porovnávání LLM. Použijte ho k experimentování s prompty, ladění parametrů, jako je teplota a maximální počet tokenů, a k prototypování agentů využívajících volání nástrojů a botů pro zodpovídání otázek vedle sebe ještě předtím, než přejdete ke kódu.

Základní modely

Unity AI Gateway zpřístupňuje základní modely spravované službou Azure Databricks s účtováním za token prostřednictvím jednotného rozhraní API, připravené k použití bez nutnosti investic do infrastruktury. Zvolte typ modelové služby, který nejlépe vyhovuje vašim potřebám:

• Služby modelu poskytované systémem v system.ai — předem nakonfigurované služby modelu v katalogu Unity. Vhodné pro začátek.
• Vlastní modelové služby – vytvořte si vlastní modelové služby, abyste rozložili zatížení mezi více modelů nebo nastavili záložní varianty. Nejvhodnější pro pokročilé zásady správného řízení a škálování.

Dotaz na agenty

Po sestavení a nasazení agenta odesílejte agentovi dotazy z aplikace. Agenti mohou být hostováni v Databricks Apps nebo na koncových bodech služby Mosaic AI Model Serving. Azure Databricks podporuje tři metody dotazu:

• Klient Databricks OpenAI – doporučeno pro nové aplikace s nativní podporou streamování a plnou podporou funkcí.
• Rozhraní REST API kompatibilní s OpenAI – nezávislé na jazyce, funguje s libovolnou platformou, která už rozhraní API OpenAI mluví.
• ai_query – dotazování starších agentů hostovaných na koncových bodech pro obsluhu modelů pomocí SQL

Obohacení dat pomocí funkcí AI

AI Functions jsou integrované funkce SQL, které na data uložená v Azure Databricks používají LLM a další modely. Spusťte je z Databricks SQL, poznámkových bloků, deklarativních kanálů Sparku Lakeflow nebo pracovních postupů za účelem klasifikace lístků podpory, extrakce entit z dokumentů, shrnutí obsahu nebo překladu textu v dávkovém měřítku.

Vyberte si mezi dvěma styly funkcí:

• Funkce specifické pro konkrétní úlohu, jako ai_classify, ai_extract a ai_parse_document, jsou optimalizované pro jednu úlohu a používají systémy spravované službou Azure Databricks a podložené výzkumem.
• ai_query je funkce pro obecné účely – zadejte vlastní výzvu a zvolte libovolný podporovaný základní model. Viz Použití ai_query.

Kompletní příklad najdete v tématu Analýza recenzí zákazníků pomocí funkcí AI.