Referencia: Befejezések | Azure Machine Learning
Befejezést hoz létre a megadott parancssorhoz és paraméterekhez.
POST /completions?api-version=2024-04-01-preview
| Név | In | Kötelező | Típus | Leírás |
|---|---|---|---|---|
| api-verzió | Lekérdezés | Igaz | húr | Az API verziója "YYYY-MM-DD" vagy "YYYY-MM-DD-preview" formátumban. |
Kérelem fejléce
| Név | Kötelező | Típus | Leírás |
|---|---|---|---|
| extra paraméterek | húr | Az API viselkedése, amikor a hasznos adatok további paramétereket jeleznek. A használatával pass-through az API átadja a paramétert a mögöttes modellnek. Ezt az értéket akkor használja, ha olyan paramétereket szeretne átadni, amelyeket az alapul szolgáló modell támogat. Az API használatával ignore elveti a nem támogatott paramétereket. Ezt az értéket akkor használja, ha ugyanazokat a hasznos adatokat kell használnia a különböző modelleken, de az egyik extra paraméter miatt előfordulhat, hogy a modell hibát jelez, ha nem támogatott. A használatával error az API elutasítja a hasznos adatokban lévő további paramétereket. Csak az API-ban megadott paraméterek jelezhetők, vagy 400-es hiba jelenik meg. |
|
| azureml-model-deployment | húr | Annak az üzemelő példánynak a neve, amelyhez a kérést irányítani szeretné. Több üzembe helyezést támogató végpontok esetén támogatott. |
Kérelem törzse
| Név | Kötelező | Típus | Leírás |
|---|---|---|---|
| haladéktalan | Igaz | A rendszer kéri a befejezések létrehozására, sztringként kódolva, sztringek tömbjeként, jogkivonatok tömbjeként vagy tokentömbök tömbjeként. Vegye figyelembe, hogy <\|endoftext\|> ez a dokumentumelválasztó, amelyet a modell a betanítás során lát, így ha nincs megadva egy kérés, a modell úgy jön létre, mintha egy új dokumentum elejétől származna. |
|
| frequency_penalty | szám | A pozitív értékek a szövegben meglévő gyakoriságuk alapján büntetik az új jogkivonatokat, így csökken annak a valószínűsége, hogy a modell ugyanazt a sort szó szerint megismételi. | |
| max_tokens | egész szám | A befejezés során létrehozható jogkivonatok maximális száma. A prompt plus max_tokens tokenszáma nem haladhatja meg a modell környezethosszát. |
|
| presence_penalty | szám | A pozitív értékek büntetik az új jogkivonatokat attól függően, hogy az eddig megjelennek-e a szövegben, növelve a modell valószínűségét, hogy új témakörökről beszéljenek. | |
| mag | egész szám | Ha meg van adva, a modell mindent megtesz annak érdekében, hogy determinisztikus módon mintát adjon, így az azonos seed és paraméterekkel rendelkező ismétlődő kérelmeknek ugyanazt az eredményt kell visszaadnia.A determinizmus nem garantált, és a háttérrendszer változásainak figyeléséhez tekintse meg a system_fingerprint válaszparamétert. |
|
| állj | Olyan sorozatok, amelyekben az API leállítja a további jogkivonatok generálását. A visszaadott szöveg nem tartalmazza a leállítási sorozatot. | ||
| patak | Logikai | Azt határozza meg, hogy vissza szeretné-e streamelni a részleges előrehaladást. Ha be van állítva, a jogkivonatok csak a kiszolgáló által küldött eseményekként lesznek elküldve, amint elérhetővé válnak, és a streamet egy data: [DONE] üzenet leállítja. |
|
| hőmérséklet | szám | Milyen mintavételi hőmérsékletet kell használni, 0 és 2 között. A magasabb értékek, például a 0,8 véletlenszerűbbé teszik a kimenetet, míg az alacsonyabb értékek, például a 0,2, koncentráltabbá és determinisztikusabbá teszik a kimenetet. Általában azt javasoljuk, hogy módosítsa vagy temperature top_p ne mindkettőt. |
|
| top_p | szám | A hőmérséklettel történő mintavételezés alternatíva, az úgynevezett magmintavétel, ahol a modell a tokenek eredményeit top_p valószínűségi tömeggel veszi figyelembe. A 0.1 tehát csak a felső 10%-os valószínűségi tömeget tartalmazó jogkivonatokat jelenti. Általában azt javasoljuk, hogy módosítsa vagy top_p temperature ne mindkettőt. |
Válaszok
| Név | Típus | Leírás |
|---|---|---|
| 200 OK | CreateCompletionResponse | OK |
| 401 Nem engedélyezett | UnauthorizedError | A hozzáférési jogkivonat hiányzik vagy érvénytelen Fejlécek x-ms-error-code: sztring |
| 404 Nem található | NotFoundError | A modell nem támogatja a modalitást. Ellenőrizze a modell dokumentációját, hogy mely útvonalak érhetők el. Fejlécek x-ms-error-code: sztring |
| 422 Feldolgozhatatlan entitás | UnprocessableContentError | A kérelem feldolgozhatatlan tartalmat tartalmaz Fejlécek x-ms-error-code: sztring |
| 429 – Túl sok kérelem | TooManyRequestsError | Elérte a hozzárendelt sebességkorlátot, és a kérést tempóba kell helyeznie. Fejlécek x-ms-error-code: sztring |
| Egyéb állapotkódok | ContentFilterError | Hibás kérés Fejlécek x-ms-error-code: sztring |
Biztonság
Engedélyezés
A jogkivonat az Bearer: előtaggal, például: Bearer abcde12345
Típus: apiKey
In: header
AADToken
Azure Active Directory OAuth2-hitelesítés
Típus: oauth2
Folyamat: alkalmazás
Jogkivonat URL-címe: https://login.microsoftonline.com/common/oauth2/v2.0/token
Példák
Befejezést hoz létre a megadott parancssorhoz és paraméterekhez
Kérésminta
POST /completions?api-version=2024-04-01-preview
{
"prompt": "This is a very good text",
"frequency_penalty": 0,
"presence_penalty": 0,
"max_tokens": 256,
"seed": 42,
"stop": "<|endoftext|>",
"stream": false,
"temperature": 0,
"top_p": 1
}
Mintaválasz
Állapotkód: 200
{
"id": "1234567890",
"model": "llama2-7b",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"text": ", indeed it is a good one."
}
],
"created": 1234567890,
"object": "text_completion",
"usage": {
"prompt_tokens": 15,
"completion_tokens": 8,
"total_tokens": 23
}
}
Definíciók
| Név | Leírás |
|---|---|
| Választás | A csevegés befejezésének lehetőségeinek listája. |
| CompletionFinishReason | A modell leállította a jogkivonatok létrehozásának leállítását. Ez az, stop ha a modell egy természetes leállítási pontra vagy egy megadott leállítási sorozatra ütközik, length ha elérte a kérelemben megadott jogkivonatok maximális számát, content_filter ha a tartalom a tartalomszűrők egyik jelölője miatt kimaradt. |
| CompletionUsage | A befejezési kérelem használati statisztikái. |
| ContentFilterError | Az API-hívás meghiúsul, ha a parancssor a konfigurált tartalomszűrőt aktiválja. Módosítsa a kérést, és próbálkozzon újra. |
| CreateCompletionRequest | |
| CreateCompletionResponse | Az API befejezési válaszát jelöli. |
| Részlet | |
| TextCompletionObject | Az objektum típusa, amely mindig "text_completion" |
| UnprocessableContentError |
Choices
A csevegés befejezésének lehetőségeinek listája.
| Név | Típus | Leírás |
|---|---|---|
| finish_reason | CompletionFinishReason | A modell leállította a jogkivonatok létrehozásának leállítását. Ez az, stop ha a modell egy természetes leállítási pontra vagy egy megadott leállítási sorozatra ütközik, length ha elérte a kérelemben megadott jogkivonatok maximális számát, content_filter ha a tartalom a tartalomszűrők jelölője miatt kimaradt, tool_calls ha a modell eszközt hívott. |
| index | egész szám | A választás indexe a választási lehetőségek listájában. |
| text | húr | A létrehozott szöveg. |
CompletionFinishReason
A modell leállította a jogkivonatok létrehozásának leállítását. Ez az, stop ha a modell egy természetes leállítási pontra vagy egy megadott leállítási sorozatra ütközik, length ha elérte a kérelemben megadott jogkivonatok maximális számát, content_filter ha a tartalom a tartalomszűrők egyik jelölője miatt kimaradt.
| Név | Típus | Leírás |
|---|---|---|
| content_filter | húr | |
| length (hossz) | húr | |
| állj | húr |
CompletionUsage
A befejezési kérelem használati statisztikái.
| Név | Típus | Leírás |
|---|---|---|
| completion_tokens | egész szám | A létrehozott befejezésben lévő tokenek száma. |
| prompt_tokens | egész szám | A jogkivonatok száma a parancssorban. |
| total_tokens | egész szám | A kérelemben használt tokenek teljes száma (parancssor + befejezés). |
ContentFilterError
Az API-hívás meghiúsul, ha a parancssor a konfigurált tartalomszűrőt aktiválja. Módosítsa a kérést, és próbálkozzon újra.
| Név | Típus | Leírás |
|---|---|---|
| code | húr | A hibakód. |
| hiba | húr | A hiba leírása. |
| üzenet | húr | A hibaüzenet. |
| Param | húr | A tartalomszűrőt aktiváló paraméter. |
| status | egész szám | A HTTP-állapotkód. |
CreateCompletionRequest
| Név | Típus | Alapértelmezett érték | Leírás |
|---|---|---|---|
| frequency_penalty | szám | 0 | A pozitív értékek a szövegben meglévő gyakoriságuk alapján büntetik az új jogkivonatokat, így csökken annak a valószínűsége, hogy a modell ugyanazt a sort szó szerint megismételi. |
| max_tokens | egész szám | 256 | A befejezés során létrehozható jogkivonatok maximális száma. A prompt plus max_tokens tokenszáma nem haladhatja meg a modell környezethosszát. |
| presence_penalty | szám | 0 | A pozitív értékek büntetik az új jogkivonatokat attól függően, hogy az eddig megjelennek-e a szövegben, növelve a modell valószínűségét, hogy új témakörökről beszéljenek. |
| haladéktalan | <\|endoftext\|> |
A rendszer kéri a befejezések létrehozására, sztringként kódolva, sztringek tömbjeként, jogkivonatok tömbjeként vagy tokentömbök tömbjeként. Vegye figyelembe, hogy <\|endoftext\|> ez a dokumentumelválasztó, amelyet a modell a betanítás során lát, így ha nincs megadva egy kérés, a modell úgy jön létre, mintha egy új dokumentum elejétől származna. |
|
| mag | egész szám | Ha meg van adva, a rendszerünk mindent megtesz annak érdekében, hogy determinisztikus mintát hozzon létre, így az azonos seed és paraméterekkel rendelkező ismétlődő kérelmeknek ugyanazt az eredményt kell visszaadnia.A determinizmus nem garantált, és a háttérrendszer változásainak figyeléséhez tekintse meg a system_fingerprint válaszparamétert. |
|
| állj | Olyan sorozatok, amelyekben az API leállítja a további jogkivonatok generálását. A visszaadott szöveg nem tartalmazza a leállítási sorozatot. | ||
| patak | Logikai | Hamis | Azt határozza meg, hogy vissza szeretné-e streamelni a részleges előrehaladást. Ha be van állítva, a jogkivonatok csak a kiszolgáló által küldött eseményekként lesznek elküldve, amint elérhetővé válnak, és a streamet egy data: [DONE] üzenet leállítja. |
| hőmérséklet | szám | 0 | Milyen mintavételi hőmérsékletet kell használni, 0 és 2 között. A magasabb értékek, például a 0,8 véletlenszerűbbé teszik a kimenetet, míg az alacsonyabb értékek, például a 0,2, koncentráltabbá és determinisztikusabbá teszik a kimenetet. Általában azt javasoljuk, hogy módosítsa ezt vagy top_p mindkettőt, de nem mindkettőt. |
| top_p | szám | 0 | A hőmérséklettel történő mintavételezés alternatíva, az úgynevezett magmintavétel, ahol a modell a tokenek eredményeit top_p valószínűségi tömeggel veszi figyelembe. A 0.1 tehát csak a felső 10%-os valószínűségi tömeget tartalmazó jogkivonatokat jelenti. Általában azt javasoljuk, hogy módosítsa ezt vagy temperature mindkettőt, de nem mindkettőt. |
CreateCompletionResponse
Az API befejezési válaszát jelöli. Megjegyzés: a streamelt és a nem streamelt válaszobjektumok is ugyanazt az alakzatot adják meg (a csevegési végponttól eltérően).
| Név | Típus | Leírás |
|---|---|---|
| Választás | Választási lehetőségek[] | A bemeneti kéréshez létrehozott modell által létrehozott befejezési lehetőségek listája. |
| létrehozva | egész szám | A befejezés létrehozásának unix-időbélyege (másodpercben). |
| ID (Azonosító) | húr | A befejezés egyedi azonosítója. |
| modell | húr | A befejezéshez használt modell. |
| object | TextCompletionObject | Az objektum típusa, amely mindig "text_completion" |
| system_fingerprint | húr | Ez az ujjlenyomat azt a háttérkonfigurációt jelöli, amellyel a modell fut. A kérelemparaméterrel seed megérthető, hogy mikor történtek olyan háttérbeli módosítások, amelyek hatással lehetnek a determinizmusra. |
| használat | CompletionUsage | A befejezési kérelem használati statisztikái. |
Részlet
| Név | Típus | Leírás |
|---|---|---|
| Loc | sztring[] | A problémát okozó paraméter |
| Érték | húr | A problémát okozó paraméternek átadott érték. |
TextCompletionObject
Az objektum típusa, amely mindig "text_completion"
| Név | Típus | Leírás |
|---|---|---|
| text_completion | húr |
ListObject
Az objektum típusa, amely mindig "lista".
| Név | Típus | Leírás |
|---|---|---|
| list | húr |
NotFoundError
| Név | Típus | Leírás |
|---|---|---|
| hiba | húr | A hiba leírása. |
| üzenet | húr | A hibaüzenet. |
| status | egész szám | A HTTP-állapotkód. |
TooManyRequestsError
| Név | Típus | Leírás |
|---|---|---|
| hiba | húr | A hiba leírása. |
| üzenet | húr | A hibaüzenet. |
| status | egész szám | A HTTP-állapotkód. |
UnauthorizedError
| Név | Típus | Leírás |
|---|---|---|
| hiba | húr | A hiba leírása. |
| üzenet | húr | A hibaüzenet. |
| status | egész szám | A HTTP-állapotkód. |
UnprocessableContentError
| Név | Típus | Leírás |
|---|---|---|
| code | húr | A hibakód. |
| részlet | Részlet | |
| hiba | húr | A hiba leírása. |
| üzenet | húr | A hibaüzenet. |
| status | egész szám | A HTTP-állapotkód. |