Použití základních modelů

V tomto článku se dozvíte, které možnosti jsou k dispozici pro zápis požadavků na dotazy na základní modely a jak je odeslat do koncového bodu obsluhy modelu. Můžete dotazovat základní modely hostované Databricks a základní modely hostované mimo Databricks.

Požadavky na dotazy tradičních modelů ML nebo Pythonu najdete v tématu Dotaz obsluhující koncové body pro vlastní modely.

Obsluha modelů podporuje rozhraní API základních modelů a externí modely pro přístup k základním modelům. Obsluha modelů používá k dotazování sjednocené rozhraní API kompatibilní s OpenAI a sadou SDK. Díky tomu můžete experimentovat se základními modely pro produkční prostředí napříč podporovanými cloudy a poskytovateli a přizpůsobovat je.

Poznámka:

Požadavky na základní modely, jak modely hostované službou Databricks, tak externí modely, jsou směrovány přes Unity AI Gateway (Beta), která umožňuje použít limity požadavků, rozpočty a ochranná pravidla ke kontrole nákladů a přístupu.

Možnosti dotazu

Obsluha modelů poskytuje následující možnosti pro odesílání požadavků na dotazy do koncových bodů, které obsluhují základní modely:

Metoda Podrobnosti
Klient OpenAI Dotazování na model hostovaný koncovým bodem obsluhy modelů pomocí klienta OpenAI Zadejte název koncového bodu pro obsluhu modelu jako vstup. Podporované jsou chatovací modely, modely pro vkládání a dokončování, které jsou dostupné prostřednictvím rozhraní API základních modelů nebo externích modelů.
Funkce AI Vyvolání odvozování modelu přímo z SQL pomocí ai_query funkce SQL Viz příklad: Dotazování základního modelu.
Obsluha uživatelského rozhraní Na stránce koncový bod služby vyberte dotazovací koncový bod. Vložte vstupní data modelu formátu JSON a klikněte na Odeslat požadavek. Pokud má model zaprotokolovaný vstupní příklad, načtěte ho pomocí příkazu Zobrazit příklad .
REST API Volání a dotazování modelu pomocí rozhraní REST API Podrobnosti najdete v tématu POST /serving-endpoints/{name}/invocations . Chcete-li požádat o hodnocení na koncových bodech, které obsluhují více modelů, podívejte se na Dotazování jednotlivých modelů u koncového bodu.
Sada SDK pro nasazení MLflow K dotazování modelu použijte funkci predict() sady SDK pro nasazení MLflow.
Databricks Python SDK Sada Databricks Python SDK je vrstva nad rozhraním REST API. Zpracovává podrobnosti nízké úrovně, jako je ověřování, což usnadňuje interakci s modely.

Požadavky

Důležité

Jako osvědčený postup zabezpečení pro produkční scénáře doporučuje Databricks používat stroj-stroj tokeny OAuth pro ověřování během produkčního prostředí.

Pro účely testování a vývoje doporučuje Databricks místo uživatelů pracovního prostoru používat osobní přístupový token patřící služebním principálům. Pokud chcete vytvořit tokeny pro instanční objekty, přečtěte si téma Správa tokenů instančního objektu.

Instalace balíčků

Po výběru metody dotazování musíte nejprve nainstalovat příslušný balíček do clusteru.

Klient OpenAI

Pokud chcete použít klienta OpenAI, musí být balíček databricks-openai nainstalovaný ve vašem clusteru. Tento balíček poskytuje klienta OpenAI s automaticky nakonfigurovanou autorizací pro dotazování generativních AI modelů. V poznámkovém bloku nebo místním terminálu spusťte následující příkaz:

pip install -U databricks-openai

Následující informace jsou vyžadovány jenom při instalaci balíčku do Databricks notebooku.

dbutils.library.restartPython()

REST API

Přístup k REST API pro nasazení je dostupný v databricks runtime pro strojové učení.

Sada SDK pro nasazení MLflow

!pip install mlflow

Následující informace jsou vyžadovány jenom při instalaci balíčku do Databricks notebooku.

dbutils.library.restartPython()

Databricks Python SDK

Sada Databricks SDK pro Python je už nainstalovaná na všech clusterech Azure Databricks, které používají Databricks Runtime 13.3 LTS nebo vyšší. V případě clusterů Azure Databricks, které používají Databricks Runtime 12.2 LTS a níže, musíte nejprve nainstalovat sadu Databricks SDK pro Python. Viz Databricks SDK pro Python.

Základní typy modelů

Následující tabulka shrnuje podporované základní modely na základě typu úlohy.

Důležité

Meta-Llama-3.1-405B-Instruct bude vyřazen,

  • Od 15. února 2026 pro úlohy s platbami za tokeny.
  • Od 15. května 2026 pro úlohy zřízené propustnosti.

Informace o doporučeném náhradním modelu a pokyny k migraci během procesu zastarávání najdete v tématu Zastaralé a vyřazené modely.

Typ úkolu Popis Podporované modely Kdy použít? Doporučené případy použití
Obecné účely Modely navržené tak, aby rozuměly přirozeným, vícekolovým konverzacím a zapojily se do nich. Jsou precizně nastavené na velkých datových sadách lidského dialogu, což jim umožňuje generovat kontextově relevantní odpovědi, sledovat konverzační historii a poskytovat koherentní interakce podobné lidským v rámci různých témat. Základní modely hostované službou Databricks podporují následující:

Jsou podporovány následující externí modely:
  • Modely řady OpenAI GPT a O
  • Modely Anthropic Claude
  • Modely Google Gemini
 Doporučuje se pro scénáře, ve kterých jsou potřeba přirozené, vícenásobné dialogy a kontextové porozumění:
  • Virtuální asistenti
  • Roboti zákaznické podpory
  • Interaktivní systémy doučování
Vkládání Vložené modely jsou systémy strojového učení, které transformují složitá data ( například text, obrázky nebo zvuk) na kompaktní číselné vektory označované jako vkládání. Tyto vektory zachycují základní funkce a vztahy v datech, což umožňuje efektivní porovnání, shlukování a sémantické vyhledávání. Základní model hostovaný službou Databricks podporuje následující:

Jsou podporovány následující externí modely:
  • Modely vkládání textu OpenAI
  • Cohere modely pro vkládání textu
  • Modely vkládání textu Google
 Doporučuje se pro aplikace, ve kterých jsou důležité sémantické porozumění, porovnání podobnosti a efektivní načítání nebo shlukování složitých dat:
  • Sémantické vyhledávání
  • Načítání rozšířené generace (RAG)
  • Tématické seskupování
  • Analýza mínění a analýza textu
Vision Modely navržené ke zpracování, interpretaci a analýze vizuálních dat, jako jsou obrázky a videa, aby počítače mohly "vidět" a pochopit vizuální svět. Základní modely hostované službou Databricks podporují následující:

Jsou podporovány následující externí modely:
  • Modely OpenAI GPT a o series s možnostmi zpracování obrazu
  • Modely Anthropic Claude s možnostmi zpracování obrazu
  • Modely Google Gemini s možnostmi zpracování obrazu
  • Podporují se také další externí základní modely s možnostmi zpracování obrazu, které jsou kompatibilní s rozhraním API OpenAI.
 Doporučuje se bez ohledu na to, kde je potřeba automatizovaná, přesná a škálovatelná analýza vizuálních informací:
  • Detekce a rozpoznávání objektů
  • Klasifikace obrázků
  • Segmentace obrázků
  • Porozumění dokumentům
Usuzování Pokročilé systémy AI navržené k simulaci logického myšlení podobného člověku. Modely odůvodnění integrují techniky, jako je symbolická logika, pravděpodobnostní uvažování a neurální sítě, které analyzují kontext, rozdělují úkoly a vysvětlují jejich rozhodování. Základní model hostovaný službou Databricks podporuje následující:

Jsou podporovány následující externí modely:
  • Modely OpenAI s možnostmi odůvodnění
  • Modely Anthropic Claude s možnostmi odůvodnění
  • Modely Google Gemini s možnostmi odůvodnění
 Doporučuje se bez ohledu na to, kde je potřeba automatizovaná, přesná a škálovatelná analýza vizuálních informací:
  • Generování kódu
  • Vytváření a shrnutí obsahu
  • Orchestrace agentů

Volání funkcí

Volání funkce Databricks je kompatibilní s OpenAI a je k dispozici pouze během obsluhy modelu jako součást Foundation Model APIs a koncových bodů, které zajišťují obsluhu externích modelů . Podrobnosti najdete v tématu Volání funkce v Azure Databricks.

Strukturované výstupy

Strukturované výstupy jsou kompatibilní s OpenAI a jsou k dispozici pouze během modelování, které slouží jako součást rozhraní API pro základní modely. Podrobnosti najdete v tématu Strukturované výstupy v Azure Databricks.

Ukládání do mezipaměti vyvolání

Ukládání do mezipaměti se podporuje pro modely Claude hostované v Databricks jako součást rozhraní API pro základní modely.

Parametr cache_control můžete zadat do požadavků dotazu, abyste uložili do mezipaměti následující:

  • Textové zprávy obsahu v messages.content poli
  • Myšlení obsahu zpráv v messages.content poli
  • Bloky obsahu obrázků v messages.content poli
  • Použití nástroje, výsledky a definice v poli tools.

Viz referenční dokumentace rozhraní REST API základního modelu.

TextContent

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What's the date today?",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ReasonContent

{
  "messages": [
    {
      "role": "assistant",
      "content": [
        {
          "type": "reasoning",
          "summary": [
            {
              "type": "summary_text",
              "text": "Thinking...",
              "signature": "[optional]"
            },
            {
              "type": "summary_encrypted_text",
              "data": "[encrypted text]"
            }
          ]
        }
      ]
    }
  ]
}

ImageContent

Obsah obrázkové zprávy musí jako zdroj používat zakódovaná data. Adresy URL nejsou podporovány.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What’s in this image?"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpeg;base64,[content]"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ToolCallContent

{
  "messages": [
    {
      "role": "assistant",
      "content": "Ok, let’s get the weather in New York.",
      "tool_calls": [
        {
          "type": "function",
          "id": "123",
          "function": {
            "name": "get_weather",
            "arguments": "{\"location\":\"New York, NY\"}"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

Poznámka:

Rozhraní Databricks REST API je kompatibilní s OpenAI a liší se od rozhraní API Anthropic. Tyto rozdíly mají vliv také na objekty odpovědí, jako jsou následující:

  • Výstup je vrácen v poli choices.
  • Formát bloku streamování Všechny části odpovídají stejnému formátu, kde choices obsahuje odpověď delta a využití je vráceno v každé části.
  • Důvod zastavení se vrátí v poli finish_reason.
    • Anthropic používá: end_turn, stop_sequence, max_tokens a tool_use
    • V uvedeném pořadí databricks používá: stop, stop, lengtha tool_calls

Chat s podporovanými LLM pomocí AI Playground

S podporovanými velkými jazykovými modely můžete pracovat pomocí AI Playgroundu. AI Playground je prostředí podobné chatu, ve kterém můžete testovat, zobrazovat výzvy a porovnávat LLM z pracovního prostoru Azure Databricks.

AI dětské hřiště

Další materiály

  • Last updated on