Dotazování LLM a agentů na Azure Databricks

Azure Databricks nabízí různé způsoby dotazování velkých jazykových modelů (LLM), základních modelů a nasazených agentů. V závislosti na vašem pracovním postupu zvolte interaktivní uživatelské rozhraní, rozhraní SQL, rozhraní REST API nebo klientské knihovny.

Dětské hřiště AI

AI Playground je bezkódové chatovací prostředí ve vašem pracovním prostoru Azure Databricks k zadávání promptů a porovnávání LLM. Použijte ho k experimentování s prompty, ladění parametrů, jako je teplota a maximální počet tokenů, a k prototypování agentů využívajících volání nástrojů a botů pro zodpovídání otázek vedle sebe ještě předtím, než přejdete ke kódu.

Základní modely

Azure Databricks slouží základním modelům nativně jako modelové API (modelové služby) prostřednictvím Unity AI Gateway. Každý uživatel účtu může volat modely platby za token ve schématu system.ai bez jakéhokoliv nastavení. Vyberte si modelová API, která vyhovují vašim potřebám:

• Systémově poskytovaná modelová API vsystem.ai: Modely nativně poskytované Azure Databricks, připravené k dotazování pomocí OpenAI-kompatibilního SDK, nativních API poskytovatelů nebo ai_query. Viz API pro dotazy na modely (modelové služby).
• Vlastní modelová API: Vytvořte si vlastní, když potřebujete modely nad výchozí nastavení, nebo pro rozložení zátěže a nastavení záložních řešení.

Dotaz na agenty

Po sestavení a nasazení agenta odesílejte agentovi dotazy z aplikace. Agenty je možné hostovat v aplikacích Databricks nebo v koncových bodech obsluhy modelů. Azure Databricks podporuje tři metody dotazu:

• Databricks OpenAI klient: Doporučeno pro nové aplikace, s nativním streamováním a plnou podporou funkcí.
• OpenAI-kompatibilní REST API: Jazykově nezávislé, funguje s jakoukoli platformou, která již používá OpenAI API.
• ai_query: Dotaz na starší agenty hostované na endpointech pro Model Serving ze SQL.

Obohacení dat pomocí funkcí AI

AI Functions jsou integrované funkce SQL, které na data uložená v Azure Databricks používají LLM a další modely. Spusťte je z Databricks SQL, notebooků, procesů Lakeflow nebo Workflows ke klasifikaci tiketů podpory, extrakci entit z dokumentů, shrnování obsahu nebo překladu textu ve velkém dávkovém měřítku.

Vyberte si mezi dvěma styly funkcí:

• Funkce specifické pro konkrétní úlohu, jako ai_classify, ai_extract a ai_parse_document, jsou optimalizované pro jednu úlohu a používají systémy spravované službou Azure Databricks a podložené výzkumem.
• ai_query je funkce pro obecné použití. Vytvořte si vlastní prompt a vyberte jakýkoli podporovaný model základů. Viz Použití ai_query.

Kompletní příklad najdete v tématu Analýza recenzí zákazníků pomocí funkcí AI.