Sdílet prostřednictvím

Referenční informace k rozhraní REST API základního modelu

Tento článek obsahuje obecné informace o rozhraní API pro rozhraní API modelu Databricks Foundation a modely, které podporují. Rozhraní API základního modelu jsou navržená tak, aby byla podobná rozhraní REST API OpenAI, aby se usnadnila migrace stávajících projektů. Koncové body s platbou za token i zřízenou propustností přijímají požadavky ve stejném formátu rozhraní REST API.

koncové body

Rozhraní API základních modelů podporují koncové body s platbou za token a koncové body s garantovanou propustností.

Předkonfigurovaný koncový bod je k dispozici ve vašem pracovním prostoru pro každý model podporovaný s platbami za token a uživatelé můžou s těmito koncovými body pracovat pomocí požadavků HTTP POST. Viz Podporované základní modely na platformě Mosaic AI Model Serving pro seznam podporovaných modelů.

Koncové body zřízené propustnosti je možné vytvořit pomocí rozhraní API neboobslužného uživatelského rozhraní . Tyto koncové body podporují více modelů na koncový bod pro testování A/B, pokud oba obsluhované modely zpřístupňují stejný formát rozhraní API. Oba modely jsou například modely chatu. Parametry konfigurace koncového bodu najdete v POST /api/2.0/serving-endpoints.

Požadavky a odpovědi používají JSON, přesná struktura JSON závisí na typu úlohy koncového bodu. Koncové body pro chat a generování dokončení podporují streamování odpovědí.

Použití

Odpovědi zahrnují dílčí zprávu usage, která hlásí počet tokenů v požadavku a odpovědi. Formát této dílčí zprávy je stejný pro všechny typy úkolů.

Pole Typ Popis
completion_tokens Celé číslo Počet vygenerovaných tokenů Není zahrnuto ve vkládání odpovědí.
prompt_tokens Celé číslo Počet tokenů ze vstupních výzev
total_tokens Celé číslo Počet celkového počtu tokenů
reasoning_tokens Celé číslo Počet myšlenkových tokenů Platí pouze pro modely odůvodnění.

U modelů, jako je databricks-meta-llama-3-3-70b-instruct, se výzva uživatele před předáním do modelu transformuje pomocí šablony výzvy. U koncových bodů s platbou za token může být přidána také systémová výzva. prompt_tokens obsahuje veškerý text přidaný naším serverem.

Rozhraní API pro odpovědi

Důležité

Rozhraní API pro odpovědi je kompatibilní pouze s modely OpenAI.

Rozhraní API pro odpovědi umožňuje s modelem více konverzací. Na rozdíl od dokončování chatu rozhraní API pro odpovědi používá input místo messages.

Požadavek na odpovědi rozhraní API

Pole Výchozí Typ Popis
model Řetězec Požadované. ID modelu použité k vygenerování odpovědi
input String nebo List[ResponsesInput] Požadované. Textové, obrázkové nebo souborové vstupy do modelu, které se používají k vygenerování odpovědi. Na rozdíl od messagestohoto pole se používá input k určení obsahu konverzace.
instructions null Řetězec Zpráva systému (nebo vývojáře) vložená do kontextu modelu.
max_output_tokens null null, což znamená bez omezení nebo celé číslo větší než nula Horní mez počtu tokenů, které lze vygenerovat pro odpověď, včetně viditelných výstupních tokenů a zdůvodnění tokenů.
temperature 1.0 Plovoucí v [0,2] Teplota vzorkování. Hodnota 0 je deterministická a vyšší hodnoty představují větší náhodnost.
top_p 1.0 Float v intervalu (0,1] Prahová hodnota pravděpodobnosti použitá pro vzorkování jádra.
stream false logický Pokud je nastavená hodnota true, data odpovědi modelu se streamují do klienta, protože se generují pomocí událostí odeslaných serverem.
stream_options null StreamOptions Možnosti pro streamované odpovědi Toto nastavení nastavíte pouze při nastavení stream: true.
text null TextConfig Možnosti konfigurace textové odpovědi z modelu Může to být prostý text nebo strukturovaná data JSON.
reasoning null ReasoningConfig Konfigurace logického závěrování pro modely gpt-5 a o-series.
tool_choice "auto" String nebo ToolChoiceObject Způsob, jakým má model vybrat nástroj (nebo nástroje), který se má použít při generování odpovědi V parametru tools se dozvíte, jak určit nástroje, které model může volat.
tools null Seznam[ToolObject] Pole nástrojů, které může model volat při generování odpovědi. Poznámka: Databricks nepodporuje interpret kódu a nástroje pro vyhledávání na webu.
parallel_tool_calls true logický Jestli chcete modelu povolit paralelní spouštění volání nástrojů.
max_tool_calls null Celé číslo větší než nula Maximální počet volání integrovaných nástrojů, které je možné zpracovat v odpovědi.
metadata null Objekt Sada 16 párů klíč-hodnota, které lze připojit k objektu.
prompt_cache_key null Řetězec Používá se k ukládání odpovědí do mezipaměti pro podobné požadavky pro optimalizaci míry přístupů do mezipaměti. Pole user nahradí.
prompt_cache_retention null Řetězec Zásady uchovávání pro mezipaměť podnětů. Nastavte na "24h" pro zapnutí rozšířeného ukládání výzev do mezipaměti, které udržuje předpony uložené v mezipaměti aktivní déle, až na maximálně 24 hodin.
safety_identifier null Řetězec Stabilní identifikátor používaný k detekci uživatelů vaší aplikace, kteří můžou narušit zásady použití.
user null Řetězec Nepodporované. Použijte safety_identifier a prompt_cache_key místo toho.
truncation null Řetězec Strategie zkrácení, která se má použít pro odpověď modelu.
top_logprobs null Celé číslo Celé číslo v rozmezí od 0 do 20 určující počet nejpravděpodobnějších tokenů, které se mají vrátit na každé pozici tokenu, každý s přidruženou pravděpodobností protokolu.
include null Seznam[Řetězec] Zadejte další výstupní data, která se mají zahrnout do odpovědi modelu.
prompt null Objekt Odkaz na šablonu výzvy a její proměnné

Nepodporované parametry: Databricks nepodporuje následující parametry a v případě zadání vrátí chybu 400:

  • background – Zpracování na pozadí není podporováno.
  • store - Uložené odpovědi nejsou podporovány.
  • conversation – Konverzační API není podporováno.
  • service_tier – Výběr úrovně služby spravuje Databricks.

ResponsesInput

Pole input přijímá buď řetězec, nebo seznam vstupních objektů zprávy s rolí a obsahem.

Pole Typ Popis
role Řetězec Požadované. Role autora zprávy. Může být "user" nebo "assistant".
content String nebo List[ResponsesContentBlock] Požadované. Obsah zprávy, buď jako řetězec, nebo pole bloků obsahu.

ResponsesContentBlock

Bloky obsahu definují typ obsahu ve vstupních a výstupních zprávách. Typ bloku obsahu je určen polem type .

InputText
Pole Typ Popis
type Řetězec Požadované. Musí být "input_text".
text Řetězec Požadované. Textový obsah.
OutputText
Pole Typ Popis
type Řetězec Požadované. Musí být "output_text".
text Řetězec Požadované. Textový obsah.
annotations Seznam[Objekt] Volitelné poznámky pro textový obsah
InputImage
Pole Typ Popis
type Řetězec Požadované. Musí být "input_image".
image_url Řetězec Požadované. URL nebo base64-kódovaný datový URI obrázku.
InputFile
Pole Typ Popis
type Řetězec Požadované. Musí být "input_file".
file_id Řetězec Identifikátor souboru, pokud používáte nahrané soubory.
filename Řetězec Název souboru.
file_data Řetězec URI dat kódovaných Base64 s předponou formátu Soubory PDF například používají formát data:application/pdf;base64,<base64 data>.
FunctionCall
Pole Typ Popis
type Řetězec Požadované. Musí být "function_call".
id Řetězec Požadované. Jedinečný identifikátor volání funkce.
call_id Řetězec Požadované. Identifikátor volání.
name Řetězec Požadované. Název volané funkce.
arguments Objekt nebo řetězec Požadované. Argumenty funkce jako objekt NEBO řetězec JSON.
FunctionCallOutput
Pole Typ Popis
type Řetězec Požadované. Musí být "function_call_output".
call_id Řetězec Požadované. Identifikátor volání, kterému tento výstup odpovídá.
output String/Object Požadované. Výstup funkce jako řetězec nebo objekt JSON.
CustomToolCall

Vráceno v poli odpovědi output, když je volán vlastní nástroj. Na rozdíl od volání funkcí vlastní volání nástroje vrací prostý text input místo JSON arguments.

Pole Typ Popis
type Řetězec Požadované. Musí být "custom_tool_call".
id Řetězec Požadované. Jedinečný identifikátor pro volání tohoto vlastního nástroje.
call_id Řetězec Požadované. Identifikátor volání.
name Řetězec Požadované. Název volaného vlastního nástroje.
input Řetězec Požadované. Vstup nástroje jako prostý text (nikoli JSON).
status Řetězec Stav volání nástroje. Jeden z: completed, in_progress.
CustomToolCallOutput

Tento typ vstupu slouží k poskytnutí výsledku volání vlastního nástroje zpět do modelu v konverzaci s vícenásobným otáčením.

Pole Typ Popis
type Řetězec Požadované. Musí být "custom_tool_call_output".
call_id Řetězec Požadované. Identifikátor volání, kterému tento výstup odpovídá.
output Řetězec Požadované. Výstup vlastního nástroje jako řetězec.

StreamOptions

Konfigurace pro streamované odpovědi Používá se pouze v případech, kdy stream: true.

Pole Typ Popis
include_usage logický Pokud je hodnota true, zahrňte do datového proudu informace o využití tokenu. Výchozí hodnota je false.

TextConfig

Konfigurace textového výstupu, včetně strukturovaných výstupů

Pole Typ Popis
format ResponsesFormatObject Specifikace formátu textového výstupu.

ResponsesFormatObject

Určuje výstupní formát pro textové odpovědi.

Pole Typ Popis
type Řetězec Požadované. Typ formátu: "text" pro prostý text, "json_object" JSON nebo "json_schema" strukturovaný JSON.
json_schema Objekt Vyžaduje se, pokud type je "json_schema". Objekt schématu JSON, který definuje strukturu výstupu.

Objekt json_schema má stejnou strukturu jako JsonSchemaObject zdokumentovaný v rozhraní API pro dokončování chatu.

ReasoningConfig

Konfigurace pro chování při usuzování v modelech usuzování (modely řady o a gpt-5).

Pole Typ Popis
effort Řetězec Úroveň úsilí zdůvodnění: "low", "medium"nebo "high". Výchozí hodnota je "medium".
encrypted_content Řetězec Šifrovaný obsah pro bezstavový režim. Bylo poskytnuto modelem v předchozích odpovědích.

ToolObject

Viz volání funkce v Azure Databricks.

Poznámka:

Rozhraní API pro odpovědi podporuje následující typy nástrojů: function, custom, mcpimage_generation, , shell. Vlastní nástroje a formáty výstupu založené na gramatikě jsou k dispozici pouze u modelů řady GPT-5 (gpt-5, gpt-5.1, gpt-5.2).

Pole Typ Popis
type Řetězec Požadované. Typ nástroje. Podporované hodnoty najdete v poznámce výše.
function FunctionObject Vyžaduje se, pokud type je function. Definice funkce přidružená k nástroji.
name Řetězec Vyžaduje se, pokud type je custom. Název vlastního nástroje.
description Řetězec Vyžaduje se, pokud type je custom. Popis toho, co přizpůsobený nástroj dělá.
format Customformat Optional. Pokud je typecustom, určuje se výstupní formát. Výchozí hodnota je {"type": "text"}. Lze také použít {"type": "grammar", "definition": "<grammar>", "syntax": "lark"} pro strukturovaný výstup. Podporuje se pouze u modelů řady GPT-5.

CustomToolObject

Vlastní nástroje umožňují modelu vrátit libovolný řetězcový výstup místo argumentů funkce formátovaných jako JSON. To je užitečné pro generování kódu, použití oprav nebo jiných případů použití, kdy se nevyžaduje strukturovaný JSON.

Poznámka:

Vlastní nástroje jsou podporovány pouze u modelů řady GPT-5 (gpt-5, gpt-5.1, gpt-5.2) prostřednictvím rozhraní API pro odpovědi.

Příklad vlastního nástroje:

{
  "type": "custom",
  "name": "code_exec",
  "description": "Executes arbitrary Python code. Return only valid Python code."
}

Příklad vlastního nástroje s gramatikou:

{
  "type": "custom",
  "name": "apply_patch",
  "description": "Apply a patch to create or modify files.",
  "format": {
    "type": "grammar",
    "definition": "start: begin_patch hunk end_patch\nbegin_patch: \"*** Begin Patch\" LF\n...",
    "syntax": "lark"
  }
}

Při zavolání vlastního nástroje obsahuje custom_tool_call odpověď výstupní položku s prostým textem input místo JSON arguments.

CustomFormat

Formáty výstupu založené na gramatikě jsou podporovány pouze u modelů řady GPT-5.

Pole Typ Popis
type Řetězec Požadované. Buď "text" pro výstup ve formátu prostého textu, nebo "grammar" pro výstup s omezením gramatiky.
definition Řetězec Vyžaduje se, pokud type je "grammar". Řetězec definice gramatiky pomocí syntaxe Lark.
syntax Řetězec Vyžaduje se, pokud type je "grammar". Syntaxe gramatiky. V současné době se podporuje pouze "lark".

FunctionObject

Pole Typ Popis
name Řetězec Požadované. Název funkce, která se má volat.
description Objekt Požadované. Podrobný popis funkce. Model používá tento popis, aby lépe pochopil, jak je funkce relevantní k zadání, a mohl s vyšší přesností generovat volání nástrojů.
parameters Objekt Parametry, které funkce přijímá, jsou popsány jako platný objekt schématu JSON . Pokud je nástroj volán, pak volání nástroje odpovídá poskytnutému schématu JSON. Vynechání parametrů definuje funkci bez parametrů. Počet properties je omezený na 15 klíčů.
strict logický Zda povolit přísné dodržování schématu při generování volání funkce. Pokud je nastavená hodnota true, model se řídí přesným schématem definovaným v poli schématu. Pokud je striktní true, podporuje se pouze podmnožina schématu JSON.

ToolChoiceObject

Viz volání funkce v Azure Databricks.

Pole Typ Popis
type Řetězec Požadované. Typ nástroje, který chcete vynutit. Podporované hodnoty odpovídají typům nástrojů v ToolObject: "function", "custom"atd.
function Objekt Vyžaduje se, pokud type je "function". Objekt formuláře {"name": "my_function"} , kde "my_function" je název FunctionObject v tools poli.
name Řetězec Vyžaduje se, pokud type je "custom". Název vlastního nástroje, který se má vynutit. Podporuje se pouze u modelů řady GPT-5.

Odpovědi API

U požadavků, které nejsou streamované, je odpovědí jeden objekt odpovědi. U streamovacích požadavků je odpovědí text/event-stream, a každá událost představuje část odpovědi.

Pole Typ Popis
id Řetězec Jedinečný identifikátor odpovědi. Poznámka: Databricks zašifruje toto ID pro zabezpečení.
object Řetězec Typ objektu. Rovná se "response".
created_at Celé číslo Časové razítko unixu (v sekundách) při vytvoření odpovědi.
status Řetězec Stav odpovědi. Jedna z těchto možností: completed, , failedin_progress, cancelled, queued, nebo incomplete.
model Řetězec Verze modelu použitá k vygenerování odpovědi.
output Seznam[ResponsesMessage] Výstup vygenerovaný modelem, obvykle obsahující objekty zpráv.
usage Využití Metadata použití tokenů.
error Error Informace o chybě, pokud odpověď selhala.
incomplete_details Neúplné detaily Podrobnosti o tom, proč je odpověď neúplná, pokud je k dispozici.
instructions Řetězec Pokyny uvedené v žádosti.
max_output_tokens Celé číslo Maximální výstupní tokeny zadané v požadavku.
temperature Plovat Teplota použitá pro generování.
top_p Plovat Hodnota top_p použitá pro generování.
tools Seznam[ToolObject] Nástroje zadané v požadavku.
tool_choice String nebo ToolChoiceObject Nastavení tool_choice z požadavku.
parallel_tool_calls logický Zda byla povolena volání nástrojů paralelně.
store logický Zda byla odpověď uložena.
metadata Objekt Metadata připojená k odpovědi.

ResponsesMessage

Objekty zpráv v output poli, které obsahují obsah odpovědi modelu.

Pole Typ Popis
id Řetězec Požadované. Jedinečný identifikátor zprávy.
role Řetězec Požadované. Role zprávy. Buď "user", nebo "assistant".
content Seznam[ResponsesContentBlock] Požadované. Bloky obsahu ve zprávě.
status Řetězec Stav zpracování zprávy.
type Řetězec Požadované. Typ objektu. Rovná se "message".

Error

Informace o chybě, když odpověď selže.

Pole Typ Popis
code Řetězec Požadované. Kód chyby.
message Řetězec Požadované. Chybová zpráva čitelná člověkem.
param Řetězec Parametr, který způsobil chybu, pokud je k dispozici.
type Řetězec Požadované. Typ chyby.

IncompleteDetails

Podrobnosti o tom, proč je odpověď neúplná.

Pole Typ Popis
reason Řetězec Požadované. Důvod, proč je odpověď neúplná.

Rozhraní API pro dokončování chatu

Rozhraní API pro dokončování chatu umožňuje více konverzací s modelem. Odpověď modelu poskytuje následující assistant zprávu v konverzaci. Viz POST /serving-endpoints/{name}/invocations pro dotazování parametrů koncového bodu.

Žádost o chat

Pole Výchozí Typ Popis
messages ChatMessage seznam Požadované. Seznam zpráv představujících aktuální konverzaci
max_tokens null null, což znamená bez omezení nebo celé číslo větší než nula Maximální počet tokenů, které se mají vygenerovat.
stream true logický Umožněte streamování odpovědí zpět klientovi, aby bylo možné poskytnout částečné výsledky pro požadavky. Pokud je tento parametr součástí požadavku, odpovědi se posílají pomocí standardu pro události zasílané serverem.
temperature 1.0 Plovoucí v [0,2] Teplota vzorkování. Hodnota 0 je deterministická a vyšší hodnoty představují větší náhodnost.
top_p 1.0 Float v intervalu (0,1] Prahová hodnota pravděpodobnosti použitá pro vzorkování jádra.
top_k null null, což znamená bez omezení nebo celé číslo větší než nula Definuje počet nejpravděpodobnějších k tokenů pro použití při filtrování top-k. Nastavte tuto hodnotu na hodnotu 1, aby byl výstup deterministický.
stop [] Řetězec nebo Seznam [Řetězec] Model přestane generovat další tokeny, když dojde k nějaké sekvenci v stop.
n 1 Celé číslo větší než nula Rozhraní API vrátí n nezávislé dokončování chatu při zadání n. Doporučuje se pro úlohy, které generují více dokončení na stejném vstupu pro další efektivitu odvozování a úsporu nákladů. K dispozici pouze pro koncové body s provisionovanou kapacitou propustnosti.
tool_choice none String nebo ToolChoiceObject Používá se pouze ve spojení s polem tools. tool_choice podporuje různé řetězce klíčových slov, jako jsou auto, requireda none. auto znamená, že necháte model rozhodnout, který nástroj je vhodné použít, pokud vůbec existuje. Pokud auto model nevěří, že některý z nástrojů tools je relevantní, model místo volání nástroje vygeneruje standardní zprávu asistenta. required znamená, že model vybere nejrelevavantnější nástroj v tools a musí vygenerovat volání nástroje. none znamená, že model negeneruje žádná volání nástrojů a místo toho musí vygenerovat standardní zprávu asistenta. Chcete-li vynutit volání nástroje s konkrétním nástrojem definovaným v tools, použijte ToolChoiceObject. Ve výchozím nastavení, pokud je pole tools vyplněno tool_choice = "auto". Jinak pole tools ve výchozím nastavení přebírá hodnotu tool_choice = "none".
tools null ToolObject Seznam tools, které model může volat. V současné době je function jediným podporovaným typem tool a podporuje se maximálně 32 funkcí.
response_format null responseFormatObject Objekt určující formát, který musí model vypíše. Akceptované typy jsou text, json_schema nebo json_object
Nastavení { "type": "json_schema", "json_schema": {...} } umožňuje strukturované výstupy, které zajistí, že model následuje za zadaným schématem JSON.
Nastavení { "type": "json_object" } zajišťuje, že odpovědi, které model vygeneruje, jsou platné JSON, ale nezajistí, aby odpovědi dodržovaly konkrétní schéma.
logprobs false logický Tento parametr určuje, jestli se má poskytnout logaritmická pravděpodobnost výběru tokenu.
top_logprobs null Celé číslo Tento parametr určuje počet nejpravděpodobnějších tokenů, pro které se v každém kroku vzorkování vrací logaritmované pravděpodobnosti. Může být 0–20. logprobs musí být true, pokud se používá toto pole.
reasoning_effort "medium" Řetězec Řídí úroveň odůvodnění, které by model měl použít při generování odpovědí. Přijaté hodnoty jsou "low", "medium"nebo "high". Vyšší úsilí může vést k promyšlenějším a přesným odpovědím, ale může zvýšit latenci a využití tokenů. Tento parametr je přijímán pouze omezenou sadou modelů, včetně databricks-gpt-oss-120b a databricks-gpt-oss-20b.

ChatMessage

Pole Typ Popis
role Řetězec Požadované. Role autora zprávy Může být "system", "user", "assistant" nebo "tool".
content Řetězec Obsah zprávy. Požadované pro úlohy chatu, které nezahrnují volání nástrojů.
tool_calls seznam ToolCall Seznam tool_calls, který model vygeneroval. Musí mít role jako "assistant" a žádné specifikace pro pole content.
tool_call_id Řetězec Když je role"tool", jedná se o ID přidružené ke ToolCall, na kterou zpráva odpovídá. Musí být prázdné pro ostatní možnosti role.

Roli system lze použít jenom jednou, jako první zprávu v konverzaci. Přepíše výchozí systémovou výzvu modelu.

ToolCall

Návrh akce pro volání nástroje podle modelu. Viz volání funkce v Azure Databricks.

Pole Typ Popis
id Řetězec Požadované. Jedinečný identifikátor pro návrh na volání tohoto nástroje.
type Řetězec Požadované. Podporuje se jenom "function".
function FunctionCallCompletion Požadované. Volání funkce navrhované modelem
cache_control Řetězec Povolí ukládání do mezipaměti pro vaši žádost. Tento parametr přijímá pouze modely Claude hostované službou Databricks. Viz ukládání promptu do mezipaměti pro příklad.

FunctionCallCompletion

Pole Typ Popis
name Řetězec Povinné. Název funkce, kterou model doporučil.
arguments Objekt Povinné. Argumenty pro funkci ve formě serializovaného JSON slovníku.

Poznámka: ToolChoiceObject, ToolObjecta FunctionObject jsou definovány v části Rozhraní API odpovědi a jsou sdíleny mezi oběma rozhraními API.

ResponseFormatObject

Viz část Strukturované výstupy ve službě Azure Databricks.

Pole Typ Popis
type Řetězec Požadované. Typ formátu odpovědi, který se definuje. Buď text pro nestrukturovaný text, json_object pro nestrukturované objekty JSON, nebo json_schema pro objekty JSON, které dodržují konkrétní schéma.
json_schema jsonSchemaObject Požadované. Schéma JSON, které se má dodržovat, pokud je type nastavená na json_schema

JsonSchemaObject

Viz část Strukturované výstupy ve službě Azure Databricks.

Pole Typ Popis
name Řetězec Požadované. Název formátu odpovědi.
description Řetězec Popis formátu odpovědi, který model používá k určení způsobu reakce v tomto formátu.
schema Objekt Požadované. Schéma pro formát odpovědi popsané jako objekt schématu JSON.
strict logický Zda povolit přísné dodržování schématu při generování výstupu. Pokud je nastavená hodnota true, model se řídí přesným schématem definovaným v poli schématu. Pokud je striktní true, podporuje se pouze podmnožina schématu JSON.

Odpověď na chat

U požadavků, které nejsou streamované, je odpovědí jeden objekt dokončení chatu. U požadavků na streamování je odpověď ve formátu text/event-stream, kde každá událost je objekt kompletního segmentu. Struktura objektů dokončení a dílčích objektů nejvyšší úrovně je téměř identická: pouze choices má jiný typ.

Pole Typ Popis
id Řetězec Jedinečný identifikátor dokončení chatu.
choices List[ChatCompletionChoice] nebo List[ChatCompletionChunk] (streamování) Seznam textových zpráv o dokončení chatu Volby n se vrátí, pokud je zadán parametr n.
object Řetězec Typ objektu. Rovná se buď "chat.completions" pro nestreamování, nebo "chat.completion.chunk" pro streamování.
created Celé číslo Doba, za kterou bylo dokončení chatu vygenerováno, vyjádřená v sekundách.
model Řetězec Verze modelu použitá k vygenerování odpovědi.
usage Využití Metadata použití tokenů. Na streamovacích odpovědích nemusí být přítomen.

ChatCompletionChoice

Pole Typ Popis
index Celé číslo Index výběru v seznamu vygenerovaných možností.
message ChatMessage Zpráva o dokončení chatu vrácená modelem Úloha bude assistant.
finish_reason Řetězec Důvod, proč model přestal generovat tokeny
extra_fields Řetězec Při použití proprietárních modelů od externích poskytovatelů modelů můžou rozhraní API poskytovatele obsahovat do odpovědí další metadata. Databricks tyto odpovědi filtruje a vrací pouze podmnožinu původních polí poskytovatele. Toto safetyRating je jediné dodatečné pole podporované v tuto chvíli, další podrobnosti najdete v dokumentaci Gemini .

ChatCompletionChunk

Pole Typ Popis
index Celé číslo Index výběru v seznamu vygenerovaných možností.
delta ChatMessage Zpráva o dokončení chatu, která je součástí vygenerovaných streamovaných odpovědí z modelu Je zaručeno, že pouze první blok dat bude mít role naplněno.
finish_reason Řetězec Důvod, proč model přestal generovat tokeny Pouze poslední blok bude mít tuto informaci vyplněnou.

Rozhraní API pro vestavěné prvky

Úkoly vkládání mapují vstupní řetězce na vektory vkládání. V každém požadavku je možné dosát dohromady mnoho vstupů. Viz POST /serving-endpoints/{name}/invocations pro dotazování parametrů koncového bodu.

Žádost o vložení

Pole Typ Popis
input Řetězec nebo Seznam [Řetězec] Požadované. Vstupní text, který chcete vložit. Může to být řetězec nebo seznam řetězců.
instruction Řetězec Volitelná instrukce, která se má předat modelu vkládání.

Pokyny jsou volitelné a vysoce specifické pro model. Autoři BGE například při indexování bloků dat nedoporučují žádné instrukce a doporučují používat instrukce "Represent this sentence for searching relevant passages:" pro načítání dotazů. Další modely, jako je Instructor-XL, podporují širokou škálu instrukčních řetězců.

Odpověď vkládání

Pole Typ Popis
id Řetězec Jedinečný identifikátor pro vkládání.
object Řetězec Typ objektu. Rovná se "list".
model Řetězec Název modelu použitý k vytvoření vložení
data EmbeddingObject Embedující objekt.
usage Využití Metadata použití tokenů.

EmbeddingObject

Pole Typ Popis
object Řetězec Typ objektu. Rovná se "embedding".
index Celé číslo Index vkládání v seznamu vložených objektů vygenerovaných modelem.
embedding Seznam[Float] Vektor vkládání. Každý model vrátí vektor pevné velikosti (1024 pro BGE-Large).

Rozhraní API pro dokončování

Úkoly dokončování textu slouží k generování odpovědí na jednu výzvu. Na rozdíl od chatu tato úloha podporuje dávkové vstupy: v jedné žádosti lze odeslat několik nezávislých výzev. Viz POST /serving-endpoints/{name}/invocations pro dotazování parametrů koncového bodu.

Žádost o dokončení

Pole Výchozí Typ Popis
prompt Řetězec nebo Seznam [Řetězec] Požadované. Výzvy pro model.
max_tokens null null, což znamená bez omezení nebo celé číslo větší než nula Maximální počet tokenů, které se mají vygenerovat.
stream true logický Umožněte streamování odpovědí zpět klientovi, aby bylo možné poskytnout částečné výsledky pro požadavky. Pokud je tento parametr součástí požadavku, odpovědi se posílají pomocí standardu pro události zasílané serverem.
temperature 1.0 Plovoucí v [0,2] Teplota vzorkování. Hodnota 0 je deterministická a vyšší hodnoty představují větší náhodnost.
top_p 1.0 Float v intervalu (0,1] Prahová hodnota pravděpodobnosti použitá pro vzorkování jádra.
top_k null null, což znamená bez omezení nebo celé číslo větší než nula Definuje počet nejpravděpodobnějších k tokenů pro použití při filtrování top-k. Nastavte tuto hodnotu na hodnotu 1, aby byl výstup deterministický.
error_behavior "error" "truncate" nebo "error" Chyby překročení časového limitu a chyby překročení délky kontextu. Jedna z těchto možností: "truncate" (vrácení co nejvíce tokenů) a "error" (vrácení chyby). Tento parametr je přijímán pouze koncovými body s platbou za token.
n 1 Celé číslo větší než nula Rozhraní API vrátí n nezávislé dokončování chatu při zadání n. Doporučuje se pro úlohy, které generují více dokončení na stejném vstupu pro další efektivitu odvozování a úsporu nákladů. K dispozici pouze pro koncové body s provisionovanou kapacitou propustnosti.
stop [] Řetězec nebo Seznam [Řetězec] Model přestane generovat další tokeny, když dojde k nějaké sekvenci v stop.
suffix "" Řetězec Řetězec, který je připojen na konec každého dokončení.
echo false logický Vrátí výzvu k akci spolu s dokončením.
use_raw_prompt false logický Pokud true, předejte prompt přímo do modelu bez transformace.

Odpověď na dokončení úkolu

Pole Typ Popis
id Řetězec Jedinečný identifikátor pro dokončování textu.
choices Výběr dokončení Seznam dokončování textu. Při každém předání podnětu se vygenerují n volby, pokud je zadáno n. Výchozí n je 1.
object Řetězec Typ objektu. Rovná se "text_completion"
created Celé číslo Čas, kdy bylo dokončení vygenerováno, v sekundách.
usage Využití Metadata použití tokenů.

CompletionChoice

Pole Typ Popis
index Celé číslo Index výzvy v požadavku.
text Řetězec Vygenerované dokončení.
finish_reason Řetězec Důvod, proč model přestal generovat tokeny

Další zdroje informací

  • Last updated on