Dela via

REST API-referens för basmodell

Den här artikeln innehåller allmän API-information för Databricks Foundation-modell-API:er och de modeller som de stöder. API:erna för Foundation Model är utformade för att likna OpenAI:s REST API för att underlätta migreringen av befintliga projekt. Både pay-per-token och etablerade dataflödesslutpunkter accepterar samma REST API-begärandeformat.

slutpunkter

Foundation Model-API:er stöder slutpunkter för tokenbaserad betalning och slutpunkter med provisionerad genomströmning.

En förkonfigurerad slutpunkt är tillgänglig på din arbetsyta för varje modell som stöds med betala per token och användarna kan interagera med dessa slutpunkter med HJÄLP av HTTP POST-begäranden. Se Grundmodeller som stöds på Mosaic AI Model Serving för modeller som stöds.

Tilldelade genomströmingsslutpunkter kan skapas med hjälp av API:et eller användargränssnittet. Dessa slutpunkter stöder flera modeller per slutpunkt för A/B-testning, så länge båda de hanterade modellerna exponerar samma API-format. Båda modellerna är till exempel chattmodeller. Se POST /api/2.0/serving-endpoints för slutpunktskonfigurationsparametrar.

Begäranden och svar använder JSON, den exakta JSON-strukturen beror på en slutpunkts aktivitetstyp. Slutpunkter för chatt och slutförande stöder direktuppspelningssvar.

Användning

Svaren innehåller ett usage undermeddelande som rapporterar antalet token i begäran och svaret. Formatet för det här undermeddelandet är detsamma för alla aktivitetstyper.

Fält Typ Beskrivning
completion_tokens Heltal Antal genererade token. Ingår inte i inbäddningssvar.
prompt_tokens Heltal Antal token från indataprompterna.
total_tokens Heltal Totalt antal token.
reasoning_tokens Heltal Antal tänkande tokens. Den gäller endast för resonemangsmodeller.

För modeller som databricks-meta-llama-3-3-70b-instruct omvandlas en användarprompt med hjälp av en promptmall innan den skickas till modellen. För pay-per-token-slutpunkter kan en systemprompt också läggas till. prompt_tokens innehåller all text som läggs till av servern.

Api för svar

Viktigt!

Svars-API:et är endast kompatibelt med OpenAI-modeller.

Svars-API:et möjliggör konversationer med flera turer med en modell. Till skillnad från Chat Completions använder Responses-API:et input istället för messages.

API-begäran om respons

Fält Förval Typ Beskrivning
model Sträng Krävs. Modell-ID som används för att generera svaret.
input Sträng eller lista[ResponsesInput] Krävs. Text, bild eller filindata till modellen, som används för att generera ett svar. Till skillnad från messagesanvänds input det här fältet för att ange konversationsinnehåll.
instructions null Sträng Ett systemmeddelande (eller utvecklarmeddelande) som infogats i modellens kontext.
max_output_tokens null null, vilket innebär att det inte finns någon gräns eller ett heltal som är större än noll En övre gräns för antalet token som kan genereras för ett svar, inklusive synliga utdatatoken och resonemangstoken.
temperature 1.0 Flyttal i [0,2] Provtagningstemperaturen. 0 är deterministiska och högre värden ger mer slumpmässighet.
top_p 1.0 Flyttal inom intervallet (0,1] Det sannolikhetströskelvärde som används för kärnsampling.
stream false Boolesk Om värdet är true strömmas modellsvarsdata till klienten när de genereras med hjälp av serverutskickade händelser.
stream_options null StreamOptions Alternativ för direktuppspelningssvar. Ange endast detta när du anger stream: true.
text null TextConfig Konfigurationsalternativ för ett textsvar från modellen. Kan vara oformaterad text eller strukturerade JSON-data.
reasoning null ReasoningConfig Resonemangskonfiguration för modeller i gpt-5 och o-serien.
tool_choice "auto" Sträng eller ToolChoiceObject Hur modellen ska välja vilket verktyg (eller verktyg) som ska användas när ett svar genereras. Se parametern tools för att se hur du anger vilka verktyg som modellen kan anropa.
tools null Lista[ToolObject] En matris med verktyg som modellen kan anropa när ett svar genereras. Obs! Kodtolkare och webbsökningsverktyg stöds inte av Databricks.
parallel_tool_calls true Boolesk Om modellen ska kunna köra verktygsanrop parallellt.
max_tool_calls null Heltal större än noll Det maximala antalet totala anrop till inbyggda verktyg som kan bearbetas i ett svar.
metadata null Objekt Uppsättning med 16 nyckel/värde-par som kan kopplas till ett objekt.
prompt_cache_key null Sträng Används för att cachelagra svar på liknande förfrågningar för att optimera cacheträffsfrekvenser. Ersätter fältet user .
prompt_cache_retention null Sträng Kvarhållningspolicyn för promptcache. Ställ in "24h" för att aktivera utökad cachelagring av uppmaningar, vilket håller cachelagrade prefix aktiva längre, upp till 24 timmar som mest.
safety_identifier null Sträng En stabil identifierare som används för att identifiera användare av ditt program som kan bryta mot användningsprinciper.
user null Sträng Inaktuell. Använd safety_identifier och prompt_cache_key i stället.
truncation null Sträng Den trunkeringsstrategi som ska användas för modellsvaret.
top_logprobs null Heltal Ett heltal mellan 0 och 20 som anger antalet mest sannolika token som ska returneras vid varje tokenposition, var och en med en associerad loggsannolikhet.
include null Lista[String] Ange ytterligare utdata som ska inkluderas i modellsvaret.
prompt null Objekt Referens till en promptmall och dess variabler.

Parametrar som inte stöds: Följande parametrar stöds inte av Databricks och returnerar ett 400-fel om det anges:

  • background – Bakgrundsbearbetning stöds inte
  • store – Lagrade svar stöds inte
  • conversation – Konversations-API stöds inte
  • service_tier – Valet av tjänstnivå hanteras av Databricks

ResponsesInput

Fältet input accepterar antingen en sträng eller en lista över indatameddelandeobjekt med roll och innehåll.

Fält Typ Beskrivning
role Sträng Krävs. Rollen för meddelandets författare. Det kan vara "user" eller "assistant".
content Sträng eller lista[ResponsesContentBlock] Krävs. Innehållet i meddelandet, antingen som en sträng eller matris med innehållsblock.

ResponsesContentBlock

Innehållsblock definierar typen av innehåll i in- och utdatameddelanden. Innehållsblockstypen bestäms av fältet type .

InputText
Fält Typ Beskrivning
type Sträng Krävs. Måste vara "input_text".
text Sträng Krävs. Textinnehållet.
OutputText
Fält Typ Beskrivning
type Sträng Krävs. Måste vara "output_text".
text Sträng Krävs. Textinnehållet.
annotations Lista[Objekt] Valfria anteckningar för textinnehållet.
InputImage
Fält Typ Beskrivning
type Sträng Krävs. Måste vara "input_image".
image_url Sträng Krävs. URL eller base64-kodad data-URI för bilden.
InputFile
Fält Typ Beskrivning
type Sträng Krävs. Måste vara "input_file".
file_id Sträng Filidentifierare om du använder uppladdade filer.
filename Sträng Namnet på filen.
file_data Sträng Base64-kodad data-URI med formatprefix. PDF-filer använder till exempel formatet data:application/pdf;base64,<base64 data>.
FunctionCall
Fält Typ Beskrivning
type Sträng Krävs. Måste vara "function_call".
id Sträng Krävs. Unik identifierare för funktionsanropet.
call_id Sträng Krävs. Anropsidentifieraren.
name Sträng Krävs. Namnet på funktionen som anropas.
arguments Objekt/sträng Krävs. Funktionsargumenten som JSON-objekt eller sträng.
FunctionCallOutput
Fält Typ Beskrivning
type Sträng Krävs. Måste vara "function_call_output".
call_id Sträng Krävs. Den anropsidentifierare som dessa utdata motsvarar.
output Sträng/objekt Krävs. Funktionen utdata som sträng eller JSON-objekt.

StreamOptions

Konfiguration för direktuppspelningssvar. Används endast när stream: true.

Fält Typ Beskrivning
include_usage Boolesk Om det är sant tar du med information om tokenanvändning i strömmen. Standard är false.

TextConfig

Konfiguration för textutdata, inklusive strukturerade utdata.

Fält Typ Beskrivning
format ResponsesFormatObject Formatspecifikationen för textutdata.

ResponsesFormatObject

Anger utdataformatet för textsvar.

Fält Typ Beskrivning
type Sträng Krävs. Typ av format: "text" för oformaterad text, "json_object" för JSON eller "json_schema" för strukturerad JSON.
json_schema Objekt Krävs när type är "json_schema". JSON-schemaobjektet som definierar strukturen för utdata.

Objektet json_schema har samma struktur som JsonSchemaObject som dokumenteras i API:et för chattslutsättningar.

ReasoningConfig

Konfiguration för resonemangsbeteende i resonemangsmodeller (o-serien och gpt-5-modeller).

Fält Typ Beskrivning
effort Sträng Arbetsinsatsnivån för resonemanget: "low", "medium"eller "high". Standard är "medium".
encrypted_content Sträng Krypterat resonemangsinnehåll för tillståndslöst läge. Tillhandahålls av modellen i tidigare svar.

ToolObject

Se Funktionsanrop i Azure Databricks.

Fält Typ Beskrivning
type Sträng Krävs. Verktygets typ. För närvarande stöds endast function.
function FunctionObject Krävs. Funktionsdefinitionen som är associerad med verktyget.

FunctionObject

Fält Typ Beskrivning
name Sträng Krävs. Namnet på den funktion som ska anropas.
description Objekt Krävs. Den detaljerade beskrivningen av funktionen. Modellen använder den här beskrivningen för att förstå funktionens relevans för prompten och generera verktygsanrop med högre noggrannhet.
parameters Objekt Parametrarna som funktionen accepterar, som beskrivs som ett giltigt JSON-schema objekt. Om verktyget anropas passar verktygsanropet till det JSON-schema som angetts. Om du utelämnar parametrar definieras en funktion utan några parametrar. Antalet properties är begränsat till 15 nycklar.
strict Boolesk Om du vill aktivera strikt schemaefterlevnad när funktionsanropet genereras. Om värdet är inställt på trueföljer modellen det exakta schemat som definierats i schemafältet. Endast en delmängd av JSON-schemat stöds när strikt är true

ToolChoiceObject

Se Funktionsanrop i Azure Databricks.

Fält Typ Beskrivning
type Sträng Krävs. Verktygets typ. För närvarande stöds endast "function".
function Objekt Krävs. Ett objekt som definierar vilket verktyg som ska anropas av formuläret {"type": "function", "function": {"name": "my_function"}} där "my_function är namnet på en FunctionObject- i fältet tools.

Svar från API

För begäranden som inte strömmas är svaret ett enda svarsobjekt. För direktuppspelningsbegäranden är svaret en text/event-stream där varje händelse är ett svarssegment.

Fält Typ Beskrivning
id Sträng Unik identifierare för svaret. Obs! Databricks krypterar detta ID för säkerhet.
object Sträng Objekttypen. Lika med "response".
created_at Heltal Unix-tidsstämpeln (i sekunder) när svaret skapades.
status Sträng Status för svaret. En av: completed, failed, in_progress, cancelled, queuedeller incomplete.
model Sträng Den modellversion som används för att generera svaret.
output Lista[ResponsesMessage] Utdata som genereras av modellen, som vanligtvis innehåller meddelandeobjekt.
usage Användning Metadata för tokenanvändning.
error Error Felinformation om svaret misslyckades.
incomplete_details Ofullständiga detaljer Information om varför svaret är ofullständigt, om tillämpligt.
instructions Sträng Anvisningarna i begäran.
max_output_tokens Heltal De maximala utdatatoken som anges i begäran.
temperature Flyta Temperaturen som används för generering.
top_p Flyta Det top_p värde som används för generering.
tools Lista[ToolObject] De verktyg som anges i begäran.
tool_choice Sträng eller ToolChoiceObject Inställningen "tool_choice" från förfrågan.
parallel_tool_calls Boolesk Om parallella verktygsanrop har aktiverats.
store Boolesk Om svaret har lagrats.
metadata Objekt Metadata som är kopplade till svaret.

ResponsesMessage

Meddelandeobjekt i fältet output som innehåller modellens svarsinnehåll.

Fält Typ Beskrivning
id Sträng Krävs. Unik identifierare för meddelandet.
role Sträng Krävs. Meddelandets roll. Antingen "user" eller "assistant".
content Lista[ResponsesContentBlock] Krävs. Innehållet blockeras i meddelandet.
status Sträng Status för meddelandebearbetningen.
type Sträng Krävs. Objekttypen. Lika med "message".

Error

Felinformation när ett svar misslyckas.

Fält Typ Beskrivning
code Sträng Krävs. Felkoden.
message Sträng Krävs. Ett felmeddelande som kan läsas av människor.
param Sträng Parametern som orsakade felet, om tillämpligt.
type Sträng Krävs. Feltypen.

IncompleteDetails

Information om varför ett svar är ofullständigt.

Fält Typ Beskrivning
reason Sträng Krävs. Anledningen till att svaret är ofullständigt.

API för chattens slutförande

Chatkompletterings-API:et möjliggör flera omgångar av konversationer med en modell. Modellsvaret innehåller nästa meddelande assistant i konversationen. Se POST /serving-endpoints/{name}/invocations för att fråga efter slutpunktsparametrar.

Chattbegäran

Fält Förval Typ Beskrivning
messages ChatMessage lista Krävs. En lista över meddelanden som representerar den aktuella konversationen.
max_tokens null null, vilket innebär att det inte finns någon gräns eller ett heltal som är större än noll Det maximala antalet token som ska genereras.
stream true Boolesk Skicka tillbaka svar till en klient för att tillåta partiella resultat för förfrågningar. Om den här parametern ingår i begäran, skickas svaren med hjälp av standarden för server-skickade händelser .
temperature 1.0 Flyttal i [0,2] Provtagningstemperaturen. 0 är deterministiska och högre värden ger mer slumpmässighet.
top_p 1.0 Flyttal inom intervallet (0,1] Det sannolikhetströskelvärde som används för kärnsampling.
top_k null null, vilket innebär att det inte finns någon gräns eller ett heltal som är större än noll Definierar antalet mest sannolika k-token som ska användas för top-k-filtrering. Ange det här värdet till 1 för att göra utdata deterministiska.
stop [] Sträng eller lista [Sträng] Modellen slutar generera ytterligare token när någon av sekvenserna i stop påträffas.
n 1 Heltal större än noll API:et returnerar n oberoende chattavslut när n har angetts. Rekommenderas för arbetsbelastningar som genererar flera slutföranden på samma indata för ytterligare slutsatsdragningseffektivitet och kostnadsbesparingar. Endast tillgängligt för etablerade dataflödesslutpunkter.
tool_choice none Sträng eller ToolChoiceObject Används endast tillsammans med fältet tools. tool_choice stöder en mängd olika nyckelordssträngar, till exempel auto, requiredoch none. auto innebär att du låter modellen bestämma vilket (om något) verktyg som är relevant att använda. Om auto modellen inte tror att något av verktygen i tools är relevanta genererar modellen ett standardassistentmeddelande i stället för ett verktygsanrop. required innebär att modellen väljer det mest relevanta verktyget i tools och måste generera ett verktygsanrop. none innebär att modellen inte genererar några verktygsanrop och i stället måste generera ett standardmeddelande för assistenten. Om du vill tvinga fram ett verktygsanrop med ett specifikt verktyg som definierats i toolsanvänder du en ToolChoiceObject. Som standard, om fältet tools fylls i tool_choice = "auto". Annars har tools-fältet standardvärdet tool_choice = "none"
tools null ToolObject En lista över tools som modellen kan anropa. För närvarande är function den enda tool typen som stöds och högst 32 funktioner stöds.
response_format null ResponseFormatObject Ett objekt som anger det format som modellen måste mata ut. Godkända typer är text, json_schema eller json_object
Inställningen till { "type": "json_schema", "json_schema": {...} } aktiverar strukturerade utdata som säkerställer att modellen följer ditt angivna JSON-schema.
Inställningen till { "type": "json_object" } säkerställer att svaren som modellen genererar är giltig JSON, men ser inte till att svaren följer ett specifikt schema.
logprobs false Boolesk Den här parametern anger om du vill ange loggens sannolikhet för att en token samplas.
top_logprobs null Heltal Den här parametern styr antalet mest sannolika tokenkandidater att returnera loggannolikheter för vid varje samplingssteg. Kan vara 0-20. logprobs måste vara true om du använder det här fältet.
reasoning_effort "medium" Sträng Styr den nivå av resonemang som modellen ska tillämpa när svar genereras. Godkända värden är "low", "medium"eller "high". Högre resonemang kan resultera i mer eftertänksamma och korrekta svar, men kan öka svarstiden och tokenanvändningen. Den här parametern godkänns endast av en begränsad uppsättning modeller, inklusive databricks-gpt-oss-120b och databricks-gpt-oss-20b.

ChatMessage

Fält Typ Beskrivning
role Sträng Krävs. Rollen som meddelandeförfattare. Kan vara "system", "user", "assistant" eller "tool".
content Sträng Innehållet i meddelandet. Krävs för chattuppgifter som inte omfattar verktygsanrop.
tool_calls ToolCall lista Listan över tool_calls som modellen genererade. Måste ha role som "assistant" och ingen specifikation för fältet content.
tool_call_id Sträng När role är "tool", är det ID som meddelandet svarar på associerat med ToolCall. Måste vara tomt för de andra role-alternativen.

Den system rollen kan bara användas en gång, som det första meddelandet i en konversation. Den åsidosätter modellens standardsystemprompt.

ToolCall

Ett förslag om verktygsanrop från modellen. Se Funktionsanrop i Azure Databricks.

Fält Typ Beskrivning
id Sträng Krävs. En unik identifierare för det här verktygets anropsförslag.
type Sträng Krävs. Endast "function" stöds.
function FunctionCallCompletion Krävs. Ett funktionsanrop som rekommenderas av modellen.
cache_control Sträng Aktiverar cachelagring för din begäran. Den här parametern accepteras endast av Claude-modeller som hostas av Databricks. Se Prompt caching för ett exempel.

FunctionCallCompletion

Fält Typ Beskrivning
name Sträng Krävs. Namnet på den funktion som modellen rekommenderade.
arguments Objekt Krävs. Argument till funktionen som en serialiserad JSON-ordlista.

ToolChoiceObject , ToolObjectoch FunctionObject definieras i avsnittet Svars-API och delas mellan båda API:erna.

ResponseFormatObject

Se Strukturerade utdata på Azure Databricks.

Fält Typ Beskrivning
type Sträng Krävs. Vilken typ av svarsformat som definieras. Antingen text för ostrukturerad text, json_object för ostrukturerade JSON-objekt eller json_schema för JSON-objekt som följer ett specifikt schema.
json_schema JsonSchemaObject Krävs. JSON-schemat som ska följas om type är inställt på json_schema

JsonSchemaObject

Se Strukturerade utdata på Azure Databricks.

Fält Typ Beskrivning
name Sträng Krävs. Namnet på svarsformatet.
description Sträng En beskrivning av vad svarsformatet är till för, som används av modellen för att avgöra hur du ska svara i formatet.
schema Objekt Krävs. Schemat för svarsformatet, som beskrivs som ett JSON-schemaobjekt.
strict Boolesk Om du vill aktivera strikt schemaefterlevnad när utdata genereras. Om värdet är inställt på trueföljer modellen det exakta schemat som definierats i schemafältet. Endast en delmängd av JSON-schemat stöds när strikt är true

Chattsvar

För förfrågningar utan direktuppspelning är svaret ett enda chattkompletteringsobjekt. För direktuppspelningsbegäranden är svaret en text/event-stream där varje händelse är ett segmentobjekt för slutförande. Strukturen på den översta nivån för slutförande och segmentobjekt är nästan identisk: endast choices har en annan typ.

Fält Typ Beskrivning
id Sträng Unik identifierare för chattens slutförande.
choices List[ChatCompletionChoice] eller List[ChatCompletionChunk] (strömmande) Lista över texterna för chattens slutförande. n alternativ returneras om parametern n anges.
object Sträng Objekttypen. Lika med antingen "chat.completions" för icke-direktuppspelning eller "chat.completion.chunk" för direktuppspelning.
created Heltal Tiden då chatten slutfördes genererades i sekunder.
model Sträng Den modellversion som används för att generera svaret.
usage Användning Metadata för tokenanvändning. Kan eventuellt saknas i svar från strömningstjänster.

ChatCompletionChoice

Fält Typ Beskrivning
index Heltal Indexet för valet i listan över genererade alternativ.
message ChatMessage Ett meddelande om att chatten har slutförts returneras av modellen. Rollen kommer att vara assistant.
finish_reason Sträng Anledningen till att modellen slutade generera token.
extra_fields Sträng När du använder proprietära modeller från externa modellprovidrar kan leverantörens API:er innehålla ytterligare metadata i svar. Databricks filtrerar dessa svar och returnerar endast en delmängd av providerns ursprungliga fält. safetyRating är det enda extra fältet som stöds just nu. Mer information finns i Gemini-dokumentationen.

ChatCompletionChunk

Fält Typ Beskrivning
index Heltal Indexet för valet i listan över genererade alternativ.
delta ChatMessage Ett meddelande om att chatten har slutförts som en del av genererade strömmade svar från modellen. Endast det första segmentet garanteras att ha role ifyllt.
finish_reason Sträng Anledningen till att modellen slutade generera token. Endast det sista segmentet kommer att ha detta ifyllt.

API för inbäddning

Inbäddningsuppgifter mappar indatasträngar till inbäddningsvektorer. Många indata kan batchas tillsammans i varje begäran. Se POST /serving-endpoints/{name}/invocations för att fråga efter slutpunktsparametrar.

Inbäddningsbegäran

Fält Typ Beskrivning
input Sträng eller lista [Sträng] Krävs. Indatatexten som ska bäddas in. Kan vara en sträng eller en lista med strängar.
instruction Sträng En valfri instruktion för att skicka till inbäddningsmodellen.

Instruktioner är valfria och mycket modellspecifika. Till exempel rekommenderar BGE-författarna ingen instruktion vid indexering av segment och rekommenderar att du använder instruktionen "Represent this sentence for searching relevant passages:" för hämtningsfrågor. Andra modeller som Instructor-XL stöder en mängd olika instruktionssträngar.

Svar på inbäddningar

Fält Typ Beskrivning
id Sträng Unik identifierare för inbäddningen.
object Sträng Objekttypen. Lika med "list".
model Sträng Namnet på den inbäddningsmodell som används för att skapa inbäddningen.
data EmbeddingObject Inbäddningsobjektet.
usage Användning Metadata för tokenanvändning.

EmbeddingObject

Fält Typ Beskrivning
object Sträng Objekttypen. Lika med "embedding".
index Heltal Indexet för inbäddningen i listan över inbäddningar som genereras av modellen.
embedding Lista[Float] Inbäddningsvektorn. Varje modell returnerar en vektor med fast storlek (1024 för BGE-Large)

API för slutförande

Uppgifter för textkomplettering är till för att generera svar på en enda fråga. Till skillnad från Chat stöder den här uppgiften batchhantering: flera oberoende uppmaningar kan skickas i en och samma begäran. Se POST /serving-endpoints/{name}/invocations för att fråga efter slutpunktsparametrar.

Slutförandebegäran

Fält Förval Typ Beskrivning
prompt Sträng eller lista [Sträng] Krävs. Uppmaningarna för modellen.
max_tokens null null, vilket innebär att det inte finns någon gräns eller ett heltal som är större än noll Det maximala antalet token som ska genereras.
stream true Boolesk Skicka tillbaka svar till en klient för att tillåta partiella resultat för förfrågningar. Om den här parametern ingår i begäran, skickas svaren med hjälp av standarden för server-skickade händelser .
temperature 1.0 Flyttal i [0,2] Provtagningstemperaturen. 0 är deterministiska och högre värden ger mer slumpmässighet.
top_p 1.0 Flyttal inom intervallet (0,1] Det sannolikhetströskelvärde som används för kärnsampling.
top_k null null, vilket innebär att det inte finns någon gräns eller ett heltal som är större än noll Definierar antalet mest sannolika k-token som ska användas för top-k-filtrering. Ange det här värdet till 1 för att göra utdata deterministiska.
error_behavior "error" "truncate" eller "error" För tidsgränser och fel som uppkommer när kontextlängden överskrids. En av: "truncate" (returnera så många token som möjligt) och "error" (returnera ett fel). Den här parametern accepteras endast av slutpunkter för betalning per token.
n 1 Heltal större än noll API:et returnerar n oberoende chattavslut när n har angetts. Rekommenderas för arbetsbelastningar som genererar flera slutföranden på samma indata för ytterligare slutsatsdragningseffektivitet och kostnadsbesparingar. Endast tillgängligt för etablerade dataflödesslutpunkter.
stop [] Sträng eller lista [Sträng] Modellen slutar generera ytterligare token när någon av sekvenserna i stop påträffas.
suffix "" Sträng En sträng som läggs till i slutet av varje slutförande.
echo false Boolesk Returnerar prompten tillsammans med resultatet.
use_raw_prompt false Boolesk Om trueskickar du prompt direkt till modellen utan någon transformering.

Slutförandebesked

Fält Typ Beskrivning
id Sträng Unik identifierare för textens slutförande.
choices SlutförandeVal En lista över textavslutningar. För varje fråga som skickas genereras n alternativ om n anges. Standard n är 1.
object Sträng Objekttypen. Lika med "text_completion"
created Heltal Den tidpunkt då slutförandet genererades, angiven i sekunder.
usage Användning Metadata för tokenanvändning.

CompletionChoice

Fält Typ Beskrivning
index Heltal Indexet för prompten i begäran.
text Sträng Det genererade resultatet.
finish_reason Sträng Anledningen till att modellen slutade generera token.

Ytterligare resurser

  • Last updated on