Megosztás a következőn keresztül:

Alapmodell – REST API-referencia

Ez a cikk általános API-információkat tartalmaz a Databricks Foundation modell API-jaihoz és az általuk támogatott modellekhez. Az Alapmodell API-k az OpenAI REST API-jához hasonlóak, hogy megkönnyítse a meglévő projektek migrálását. A tokenenkénti fizetés és a kiosztott átviteli sebesség végpontjai is ugyanazt a REST API kérésformátumot fogadják el.

végpontok

Az Alapmodellek API-ja támogatja a token alapú fizetési végpontokat és a fix átviteli sebességű végpontokat.

A munkaterületen minden zsetononként fizetős modellhez előre konfigurált végpont érhető el, és a felhasználók HTTP POST kérések használatával kezelhetik ezeket a végpontokat. A támogatott modellekhez lásd a Támogatott alapmodelleket a Mozaik AI-modell szolgáltatásban .

A kiosztott átviteli sebesség végpontjai hozhatók létre az API vagy a Kiszolgáló felhasználói felülethasználatával. Ezek a végpontok végpontonként több modellt támogatnak az A/B-teszteléshez, mindaddig, amíg mindkét kiszolgált modell ugyanazt az API-formátumot teszi elérhetővé. Például mindkét modell csevegési modell. A végpontkonfigurációs paraméterekről lásd POST /api/2.0/serving-endpoints.

A kérelmek és válaszok JSON-t használnak, a pontos JSON-struktúra a végpont tevékenységtípusától függ. A csevegő- és befejezővégpontok támogatják a válaszok folyamatos átadását.

Használat

A válaszok egy usage alüzenetet tartalmaznak, amely a kérés és a válasz tokenjeinek számát jelenti. Az alüzenet formátuma minden tevékenységtípusban megegyezik.

Mező Típus Leírás
completion_tokens Egész szám A létrehozott tokenek száma. Nem szerepel a beágyazási válaszokban.
prompt_tokens Egész szám A bemeneti kérés(ek) tokenjeinek száma.
total_tokens Egész szám A tokenek teljes száma.
reasoning_tokens Egész szám A gondolkodó jogkivonatok száma. Ez csak az érvelési modellekre vonatkozik.

Az olyan modellek esetében, mint a databricks-meta-llama-3-3-70b-instruct, a rendszer egy parancssori sablon használatával alakítja át a felhasználói kérést, mielőtt átkerül a modellbe. Tokenenkénti fizetéses végpontok esetén rendszerüzenet is hozzáadható. prompt_tokens tartalmazza a kiszolgáló által hozzáadott összes szöveget.

csevegési feladat

A csevegési feladatok modellel folytatott többfordulós beszélgetésekhez vannak optimalizálva. A modell válasza a beszélgetés következő assistant üzenetét adja meg. Lásd POST /serving-endpoints/{name}/invocations a végpontparaméterek lekérdezéséhez.

Csevegési kérelem

Mező Alapértelmezett Típus Leírás
messages Chatüzenet lista Kötelező. Az aktuális beszélgetést jelképező üzenetek listája.
max_tokens null null, ami azt jelenti, hogy nincs korlát, vagy nullánál nagyobb egész szám A létrehozandó tokenek maximális száma.
stream true logikai A kérések részleges eredményének lehetővé tétele érdekében visszakérheti a válaszokat egy ügyfélnek. Ha ez a paraméter szerepel a kérelemben, a rendszer a válaszokat a kiszolgáló által küldött események standard használatával küldi el.
temperature 1.0 Lebegőpontos szám a [0,2] tartományban A mintavételi hőmérséklet. A 0 determinisztikus, és a magasabb értékek nagyobb véletlenszerűséget vezetnek be.
top_p 1.0 Lebegés (0,1] A nukleusz mintavételezéséhez használt valószínűségi küszöbérték.
top_k null null, ami azt jelenti, hogy nincs korlát, vagy nullánál nagyobb egész szám Meghatározza a top-k szűréshez használt legvalószínűbb k token számát. Állítsa ezt az értéket 1 értékre a kimenetek determinisztikussá tétele érdekében.
stop [] Sztring vagy Lista[Sztring] A modell leállítja a további tokenek generálását, amikor a stop bármelyik sorozatát észleli.
n 1 Nullánál nagyobb egész szám Amikor meg van adva n, az API n független csevegési befejezéseket ad vissza. Olyan számítási feladatokhoz ajánlott, amelyek több befejezést hoznak létre ugyanazon a bemeneten a további következtetési hatékonyság és költségmegtakarítás érdekében. Csak kiosztott átviteli sebességű végpontokhoz érhető el.
tool_choice none Karakterlánc vagy ToolChoiceObject Csak a tools mezővel együtt használható. tool_choice számos kulcsszósztringet támogat, például auto, requiredés none. auto azt jelenti, hogy ön hagyja, hogy a modell döntse el, melyik (ha van ilyen) eszköz használható. Ha auto a modell nem hiszi, hogy a benne lévő tools eszközök relevánsak, a modell eszközhívás helyett egy szabványos segédüzenetet hoz létre. required azt jelenti, hogy a modell a tools legrelevánsabb eszközét választja ki, és eszközhívást kell létrehoznia. none azt jelenti, hogy a modell nem hoz létre eszközhívásokat, ehelyett szabványos segédüzenetet kell létrehoznia. Ha egy konkrét eszközt szeretne hívni, amelyet a toolshatároz meg, használja a ToolChoiceObject-et. Alapértelmezés szerint, ha a tools mező fel van töltve tool_choice = "auto". Máskülönben a tools mező alapértelmezés szerint tool_choice = "none" lesz.
tools null ToolObject A modell által meghívható tools listája. Jelenleg function az egyetlen támogatott tool típus, és legfeljebb 32 függvény támogatott.
response_format null Válaszformátum Objektum Egy objektum, amely megadja a modell által kiadandó formátumot. Az elfogadott típusok a következők: text, json_schema vagy json_object
A { "type": "json_schema", "json_schema": {...} } beállítása strukturált kimeneteket tesz lehetővé, amelyek biztosítják, hogy a modell kövesse a megadott JSON-sémát.
A { "type": "json_object" } beállítása biztosítja, hogy a modell által generált válaszok érvényes JSON-alapúak legyenek, de nem biztosítja, hogy a válaszok egy adott sémát kövessenek.
logprobs false logikai Ez a paraméter jelzi, hogy meg kell-e adni a token mintavételezésének logaritmikus valószínűségét.
top_logprobs null Egész szám Ez a paraméter szabályozza, hogy az egyes mintavételezési lépések során hány legvalószínűbb tokenjelölt logaritmikus valószínűségét adja vissza. Lehet 0-20. Ha ezt a mezőt használja, akkor a logprobs-nak true-nek kell lennie.
reasoning_effort "medium" Karakterlánc Szabályozza a modell által a válaszok generálásakor alkalmazandó érvelési erőfeszítést. Az elfogadott értékek a következők "low": , "medium"vagy "high". A nagyobb érvelési erőfeszítések átgondoltabb és pontosabb válaszokat eredményezhetnek, de növelhetik a késést és a tokenhasználatot. Ezt a paramétert csak korlátozott számú modell fogadja el, beleértve databricks-gpt-oss-120b és databricks-gpt-oss-20b.

ChatMessage

Mező Típus Leírás
role Karakterlánc Kötelező. Az üzenet szerzőjének szerepe. Lehet "system", "user", "assistant" vagy "tool".
content Karakterlánc Az üzenet tartalma. Eszközhívásokat nem tartalmazó csevegési feladatokhoz szükséges.
tool_calls ToolCall lista A modell által létrehozott tool_calls listája. role kell legyen "assistant", és nem lehet specifikáció megadva a content mezőhöz.
tool_call_id Karakterlánc Amikor role"tool", a ToolCall-hez társított azonosító, amelyre az üzenet válaszol. Más role beállítások esetében üresnek kell lennie.

A system szerepkör csak egyszer használható a beszélgetés első üzeneteként. Felülbírálja a modell alapértelmezett rendszerkérését.

ToolCall

Eszközhívási műveletjavaslat a modell szerint. Lásd: Függvényhívás az Azure Databricksben.

Mező Típus Leírás
id Karakterlánc Kötelező. Az eszköz hívási javaslatának egyedi azonosítója.
type Karakterlánc Kötelező. Csak "function" támogatott.
function FunctionCallCompletion Kötelező. A modell javasolta függvényhívás.
cache_control Karakterlánc Engedélyezi a kérés gyorsítótárazását. Ezt a paramétert csak a Databricks által üzemeltetett Claude-modellek fogadják el. Lásd: Gyorsítótárazás példát.

FunctionCallCompletion

Mező Típus Leírás
name Karakterlánc Szükséges. A modell által javasolt függvény neve.
arguments Tárgy Szükséges. A függvény argumentumai szerializált JSON-szótárként.

ToolChoiceObject

Lásd: Függvényhívás az Azure Databricksben.

Mező Típus Leírás
type Karakterlánc Kötelező. Az eszköz típusa. Jelenleg csak "function" támogatott.
function Tárgy Kötelező. Egy objektum, amely meghatározza, hogy melyik eszközt kell meghívni a {"type": "function", "function": {"name": "my_function"}} formában, ahol "my_function a FunctionObject neve a tools mezőben.

ToolObject

Lásd: Függvényhívás az Azure Databricksben.

Mező Típus Leírás
type Karakterlánc Kötelező. Az eszköz típusa. Jelenleg csak function támogatott.
function FunctionObject Kötelező. Az eszközhöz társított függvénydefiníció.

FunctionObject

Mező Típus Leírás
name Karakterlánc Kötelező. A meghívandó függvény neve.
description Tárgy Kötelező. A függvény részletes leírása. A modell ezt a leírást használja a függvény kérdésre való relevanciájának megértéséhez és az eszközhívások nagyobb pontosságú generálásához.
parameters Tárgy A függvény által elfogadott paraméterek érvényes JSON-séma objektumként vannak leírva. Az eszköz meghívása esetén az eszközhívás a megadott JSON-sémához igazodik. Paraméterek kihagyása paraméter nélküli függvényt határoz meg. A properties száma 15 kulcsra korlátozódik.
strict logikai A függvényhívás létrehozásakor engedélyezze-e a szigorú sémabetartást. Ha trueértékre van állítva, a modell a sémamezőben meghatározott sémát követi. Csak a JSON-séma egy részhalmaza támogatott, ha szigorú üzemmód true van beállítva.

ResponseFormatObject

Lásd: Strukturált kimenetek az Azure Databricks.

Mező Típus Leírás
type Karakterlánc Kötelező. A definiált válaszformátum típusa. Strukturálatlan szöveghez text, strukturálatlan JSON-objektumokhoz json_object, vagy egy adott sémához tartozó JSON-objektumok json_schema.
json_schema JsonSchemaObject Kötelező. A követendő JSON-séma, ha type értéke json_schema lesz.

JsonSchemaObject

Lásd: Strukturált kimenetek az Azure Databricks.

Mező Típus Leírás
name Karakterlánc Kötelező. A válaszformátum neve.
description Karakterlánc A válaszformátum célját leíró információ, amelyet a modell arra használ, hogy meghatározza, hogyan válaszoljon az adott formátumban.
schema Tárgy Kötelező. A válaszformátum sémája, amely JSON-sémaobjektumként van leírva.
strict logikai A kimenet létrehozásakor engedélyezze-e a szigorú sémabetartást. Ha trueértékre van állítva, a modell a sémamezőben meghatározott sémát követi. Csak a JSON-séma egy részhalmaza támogatott, ha szigorú üzemmód true van beállítva.

Csevegési válasz

A nem streamelt kérések esetén a válasz egyetlen csevegésbefejezési objektum. Streamelési kérelmek esetén a válasz egy text/event-stream, amelyben minden esemény egy befejező adattömb objektum. A befejezés és a chunk objektumok legfelső szintű struktúrája szinte azonos: csak choices más típusú.

Mező Típus Leírás
id Karakterlánc A csevegés befejezésének egyedi azonosítója.
choices List[ChatCompletionChoice] vagy List[ChatCompletionChunk] (streamelés) A csevegés befejező szövegeinek listája. n n paraméter megadása esetén a rendszer visszaadja a választási lehetőségeket.
object Karakterlánc Az objektum típusa. Megfelel "chat.completions"-nek nem streamelés esetén vagy "chat.completion.chunk"-nek streamelés esetén.
created Egész szám A csevegés befejezésének időpontja másodpercben adva.
model Karakterlánc A válasz létrehozásához használt modellverzió.
usage Használat Token használati metaadatai. Előfordulhat, hogy az adatfolyam válaszok nem jelennek meg.

ChatCompletionChoice

Mező Típus Leírás
index Egész szám A választott választás indexe a létrehozott választási lehetőségek listájában.
message ChatÜzenet A modell által visszaadott csevegésbefejezési üzenet. A szerepkör assistant lesz.
finish_reason Karakterlánc Az ok, amiért a modell leállította a tokenek létrehozását.
extra_fields Karakterlánc Külső modellszolgáltatók által védett modellek használata esetén a szolgáltató API-k további metaadatokat is tartalmazhatnak a válaszokban. A Databricks szűri ezeket a válaszokat, és csak a szolgáltató eredeti mezőinek egy részét adja vissza. A safetyRating az egyetlen további mező, amely jelenleg támogatott. További részletekért tekintse meg a Gemini dokumentációt.

ChatCompletionChunk

Mező Típus Leírás
index Egész szám A választott választás indexe a létrehozott választási lehetőségek listájában.
delta ChatÜzenet A modell által létrehozott, streamelt válaszok egyik csevegőüzenet része. Csak az első adattömb garantáltan tartalmazza a role értéket.
finish_reason Karakterlánc Az ok, amiért a modell leállította a tokenek létrehozását. Csak az utolsó adattömb lesz ily módon kitöltve.

befejezési feladat

A szövegkiegészítési feladatok egyetlen kérdésre adott válaszok létrehozására használhatók. A Csevegéssel ellentétben ez a feladat támogatja a kötegelt bemeneteket: több független kérés küldhető egyetlen kérelemben. Lásd POST /serving-endpoints/{name}/invocations a végpontparaméterek lekérdezéséhez.

Befejezési kérelem

Mező Alapértelmezett Típus Leírás
prompt Sztring vagy Lista[Sztring] Kötelező. A modell utasításai.
max_tokens null null, ami azt jelenti, hogy nincs korlát, vagy nullánál nagyobb egész szám A létrehozandó tokenek maximális száma.
stream true logikai A kérések részleges eredményének lehetővé tétele érdekében visszakérheti a válaszokat egy ügyfélnek. Ha ez a paraméter szerepel a kérelemben, a rendszer a válaszokat a kiszolgáló által küldött események standard használatával küldi el.
temperature 1.0 Lebegőpontos szám a [0,2] tartományban A mintavételi hőmérséklet. A 0 determinisztikus, és a magasabb értékek nagyobb véletlenszerűséget vezetnek be.
top_p 1.0 Lebegés (0,1] A nukleusz mintavételezéséhez használt valószínűségi küszöbérték.
top_k null null, ami azt jelenti, hogy nincs korlát, vagy nullánál nagyobb egész szám Meghatározza a top-k szűréshez használt legvalószínűbb k token számát. Állítsa ezt az értéket 1 értékre a kimenetek determinisztikussá tétele érdekében.
error_behavior "error" "truncate" vagy "error" Időtúllépések és a környezet hosszát túllépő hibák esetén. Az egyik: "truncate" (a lehető legtöbb tokeneket adja vissza) vagy "error" (hibát ad vissza). Ezt a paramétert csak tokenenkénti fizetésű végpontok fogadnak el.
n 1 Nullánál nagyobb egész szám Amikor meg van adva n, az API n független csevegési befejezéseket ad vissza. Olyan számítási feladatokhoz ajánlott, amelyek több befejezést hoznak létre ugyanazon a bemeneten a további következtetési hatékonyság és költségmegtakarítás érdekében. Csak kiosztott átviteli sebességű végpontokhoz érhető el.
stop [] Sztring vagy Lista[Sztring] A modell leállítja a további tokenek generálását, amikor a stop bármelyik sorozatát észleli.
suffix "" Karakterlánc Egy karakterlánc, amelyet minden befejezés végére hozzáfűznek.
echo false logikai A befejezéssel együtt adja vissza az utasítást.
use_raw_prompt false logikai Ha true, adja át a prompt közvetlenül a modellbe átalakítás nélkül.

Befejezési válasz

Mező Típus Leírás
id Karakterlánc A szövegkiegészítés egyedi azonosítója.
choices BefejezésVálasztása A szövegkiegészítések listája. Minden átadott kérés esetén n választási lehetőségek jönnek létre, ha n van megadva. Az alapértelmezett n 1.
object Karakterlánc Az objektum típusa. Egyenlő "text_completion"
created Egész szám A generálás befejezésének ideje másodpercekben.
usage Használat Token használati metaadatai.

CompletionChoice

Mező Típus Leírás
index Egész szám A kérésben lévő prompt indexe.
text Karakterlánc A generált befejezés.
finish_reason Karakterlánc Az ok, amiért a modell leállította a tokenek létrehozását.

beágyazási feladat

A feladatok beágyazása a bemeneti sztringeket beágyazási vektorokba alakítja. Számos input kötegelhető egyetlen kérésbe. Lásd POST /serving-endpoints/{name}/invocations a végpontparaméterek lekérdezéséhez.

Beágyazási kérelem

Mező Típus Leírás
input Sztring vagy Lista[Sztring] Kötelező. A beágyazandó bemeneti szöveg. Lehet karakterlánc vagy karakterlánclista.
instruction Karakterlánc Opcionális utasítás a beágyazási modellnek való továbbításhoz.

Az utasítások nem kötelezőek, és kifejezetten modellspecifikusak. A BGE-szerzők például nem javasolnak utasítást az adattömbök indexelésekor, és azt javasolják, hogy használja az utasítást "Represent this sentence for searching relevant passages:" a lekérdezések lekéréséhez. Más modellek, például Instructor-XL számos utasítási sztringet támogatnak.

Beágyazási válasz

Mező Típus Leírás
id Karakterlánc A beágyazás egyedi azonosítója.
object Karakterlánc Az objektum típusa. Egyenlő a következővel: "list".
model Karakterlánc A beágyazás létrehozásához használt beágyazási modell neve.
data BeágyazottObjektum A beágyazási objektum.
usage Használat Token használati metaadatai.

EmbeddingObject

Mező Típus Leírás
object Karakterlánc Az objektum típusa. Egyenlő a következővel: "embedding".
index Egész szám A beágyazás indexe a modell által létrehozott beágyazások listájában.
embedding Lista[float] A beágyazási vektor. Minden modell egy rögzített méretű vektort ad vissza (1024 BGE-Large)

További erőforrások

  • Last updated on