Naslaginformatie: Voltooiingen | Azure AI Studio
Belangrijk
Sommige van de functies die in dit artikel worden beschreven, zijn mogelijk alleen beschikbaar in de preview-versie. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
Hiermee maakt u een voltooiing voor de opgegeven prompt en parameters.
POST /completions?api-version=2024-04-01-preview
| Naam | In | Vereist | Type | Description |
|---|---|---|---|---|
| api-versie | query | Waar | tekenreeks | De versie van de API in de indeling 'JJJJ-MM-DD' of 'JJJJ-MM-DD-preview'. |
Aanvraagkoptekst
| Naam | Vereist | Type | Description |
|---|---|---|---|
| extra parameters | tekenreeks | Het gedrag van de API wanneer extra parameters worden aangegeven in de nettolading. Als pass-through u de API gebruikt om de parameter door te geven aan het onderliggende model. Gebruik deze waarde als u parameters wilt doorgeven die u kent die door het onderliggende model kunnen worden ondersteund. Als u de API gebruikt ignore om een niet-ondersteunde parameter te verwijderen. Gebruik deze waarde wanneer u dezelfde nettolading voor verschillende modellen moet gebruiken, maar een van de extra parameters kan een model tot een fout maken als dit niet wordt ondersteund. Door de API te gebruiken error om eventuele extra parameters in de nettolading te weigeren. Alleen parameters die in deze API zijn opgegeven, kunnen worden aangegeven of er wordt een 400-fout geretourneerd. |
|
| azureml-model-deployment | tekenreeks | De naam van de implementatie waarnaar u de aanvraag wilt routeren. Ondersteund voor eindpunten die ondersteuning bieden voor meerdere implementaties. |
Aanvraagbody
| Naam | Vereist | Type | Description |
|---|---|---|---|
| vraag | Waar | De prompts voor het genereren van voltooiingen voor, gecodeerd als een tekenreeks, matrix van tekenreeksen, matrix van tokens of matrix van tokenmatrices. Let op: <\|endoftext\|> het documentscheidingsteken dat het model tijdens de training ziet, dus als er geen prompt is opgegeven, wordt het model gegenereerd alsof het vanaf het begin van een nieuw document wordt gegenereerd. |
|
| frequency_penalty | Nummer | Positieve waarden bestraffen nieuwe tokens op basis van hun bestaande frequentie in de tekst, waardoor de kans dat het model dezelfde regelzin herhaalt, afneemt. | |
| max_tokens | geheel getal | Het maximum aantal tokens dat kan worden gegenereerd in de voltooiing. Het tokenaantal van uw prompt plus max_tokens mag de contextlengte van het model niet overschrijden. |
|
| presence_penalty | Nummer | Positieve waarden bestraffen nieuwe tokens op basis van of ze tot nu toe worden weergegeven in de tekst, waardoor de kans op het model groter wordt om over nieuwe onderwerpen te praten. | |
| seed | geheel getal | Indien opgegeven, doet het model er alles aan om een steekproef deterministisch uit te voeren, zodat herhaalde aanvragen met hetzelfde seed resultaat moeten retourneren.Determinisme is niet gegarandeerd en u moet verwijzen naar de system_fingerprint antwoordparameter om wijzigingen in de back-end te controleren. |
|
| stoppen | Reeksen waarbij de API stopt met het genereren van verdere tokens. De geretourneerde tekst bevat niet de stopvolgorde. | ||
| stroom | boolean | Of gedeeltelijke voortgang moet worden gestreamd. Als deze optie is ingesteld, worden tokens verzonden als gebeurtenissen die alleen door de server worden verzonden zodra ze beschikbaar komen, waarbij de stream wordt beëindigd door een data: [DONE] bericht. |
|
| temperatuur | Nummer | Welke steekproeftemperatuur moet worden gebruikt, tussen 0 en 2. Hogere waarden zoals 0,8 zorgen ervoor dat de uitvoer willekeuriger wordt, terwijl lagere waarden zoals 0,2 ervoor zorgen dat de uitvoer meer gericht en deterministisch wordt. Over het algemeen raden we aan om beide temperature te wijzigen of top_p niet beide. |
|
| top_p | Nummer | Een alternatief voor steekproeven met temperatuur, zogenaamde kernsampling, waarbij het model rekening houdt met de resultaten van de tokens met top_p waarschijnlijkheidsmassa. 0,1 betekent dus dat alleen de tokens die de top 10% kansdichtheid omvatten, worden beschouwd. Over het algemeen raden we aan om beide top_p te wijzigen of temperature niet beide. |
Antwoorden
| Name | Type | Description |
|---|---|---|
| 200 OK | CreateCompletionResponse | OK |
| 401 Onbevoegd | UnauthorizedError | Toegangstoken ontbreekt of is ongeldig Kopteksten x-ms-error-code: tekenreeks |
| 404 Niet gevonden | NotFoundError | Modaliteit wordt niet ondersteund door het model. Raadpleeg de documentatie van het model om te zien welke routes beschikbaar zijn. Kopteksten x-ms-error-code: tekenreeks |
| 422 Niet-verwerkte entiteit | UnprocessableContentError | De aanvraag bevat niet-verwerkte inhoud Kopteksten x-ms-error-code: tekenreeks |
| 429 Te veel aanvragen | TooManyRequestsError | U hebt uw toegewezen frequentielimiet bereikt en uw aanvraag moet worden aangepast. Kopteksten x-ms-error-code: tekenreeks |
| Overige statuscodes | ContentFilterError | Ongeldige aanvraag Kopteksten x-ms-error-code: tekenreeks |
Beveiliging
Autorisatie
Het token met het Bearer: voorvoegsel, bijvoorbeeld Bearer abcde12345
Type: apiKey
In: koptekst
AADToken
Azure Active Directory OAuth2-verificatie
Type: oauth2
Stroom: toepassing
Token-URL: https://login.microsoftonline.com/common/oauth2/v2.0/token
Voorbeelden
Hiermee maakt u een voltooiing voor de opgegeven prompt en parameters
Voorbeeldaanvraag
POST /completions?api-version=2024-04-01-preview
{
"prompt": "This is a very good text",
"frequency_penalty": 0,
"presence_penalty": 0,
"max_tokens": 256,
"seed": 42,
"stop": "<|endoftext|>",
"stream": false,
"temperature": 0,
"top_p": 1
}
Voorbeeldantwoord
Statuscode: 200
{
"id": "1234567890",
"model": "llama2-7b",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"text": ", indeed it is a good one."
}
],
"created": 1234567890,
"object": "text_completion",
"usage": {
"prompt_tokens": 15,
"completion_tokens": 8,
"total_tokens": 23
}
}
Definities
| Name | Beschrijving |
|---|---|
| Keuzen | Een lijst met opties voor chatvoltooiing. |
| CompletionFinishReason | De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopreeks bereikt, length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt, content_filter als inhoud is weggelaten vanwege een vlag van onze inhoudsfilters. |
| CompletionUsage | Gebruiksstatistieken voor de voltooiingsaanvraag. |
| ContentFilterError | De API-aanroep mislukt wanneer de prompt een inhoudsfilter activeert zoals geconfigureerd. Wijzig de prompt en probeer het opnieuw. |
| CreateCompletionRequest | |
| CreateCompletionResponse | Vertegenwoordigt een voltooiingsantwoord van de API. |
| Detail | |
| TextCompletionObject | Het objecttype, dat altijd 'text_completion' is |
| UnprocessableContentError |
Keuzen
Een lijst met opties voor chatvoltooiing.
| Name | Type | Description |
|---|---|---|
| finish_reason | CompletionFinishReason | De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopreeks bereikt, length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt, content_filter als inhoud is weggelaten vanwege een vlag van onze inhoudsfilters, tool_calls als het model een hulpprogramma wordt genoemd. |
| index | geheel getal | De index van de keuze in de lijst met keuzes. |
| sms verzenden | tekenreeks | De gegenereerde tekst. |
CompletionFinishReason
De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopreeks bereikt, length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt, content_filter als inhoud is weggelaten vanwege een vlag van onze inhoudsfilters.
| Name | Type | Description |
|---|---|---|
| content_filter | tekenreeks | |
| length | tekenreeks | |
| stoppen | tekenreeks |
CompletionUsage
Gebruiksstatistieken voor de voltooiingsaanvraag.
| Name | Type | Description |
|---|---|---|
| completion_tokens | geheel getal | Aantal tokens in de gegenereerde voltooiing. |
| prompt_tokens | geheel getal | Aantal tokens in de prompt. |
| total_tokens | geheel getal | Het totale aantal tokens dat wordt gebruikt in de aanvraag (prompt + voltooiing). |
ContentFilterError
De API-aanroep mislukt wanneer de prompt een inhoudsfilter activeert zoals geconfigureerd. Wijzig de prompt en probeer het opnieuw.
| Name | Type | Description |
|---|---|---|
| code | tekenreeks | De foutcode. |
| error | tekenreeks | De foutbeschrijving. |
| bericht | tekenreeks | Het foutbericht. |
| param | tekenreeks | De parameter die het inhoudsfilter heeft geactiveerd. |
| status | geheel getal | De HTTP-statuscode. |
CreateCompletionRequest
| Name | Type | Standaardwaarde | Beschrijving |
|---|---|---|---|
| frequency_penalty | Nummer | 0 | Positieve waarden bestraffen nieuwe tokens op basis van hun bestaande frequentie in de tekst, waardoor de kans dat het model dezelfde regelzin herhaalt, afneemt. |
| max_tokens | geheel getal | 256 | Het maximum aantal tokens dat kan worden gegenereerd in de voltooiing. Het tokenaantal van uw prompt plus max_tokens mag de contextlengte van het model niet overschrijden. |
| presence_penalty | Nummer | 0 | Positieve waarden bestraffen nieuwe tokens op basis van of ze tot nu toe worden weergegeven in de tekst, waardoor de kans op het model groter wordt om over nieuwe onderwerpen te praten. |
| vraag | <\|endoftext\|> |
De prompts voor het genereren van voltooiingen voor, gecodeerd als een tekenreeks, matrix van tekenreeksen, matrix van tokens of matrix van tokenmatrices. Let op: <\|endoftext\|> het documentscheidingsteken dat het model tijdens de training ziet, dus als er geen prompt is opgegeven, wordt het model gegenereerd alsof het vanaf het begin van een nieuw document wordt gegenereerd. |
|
| seed | geheel getal | Indien opgegeven, zal ons systeem een best inspanning leveren om de steekproef deterministisch uit te voeren, zodat herhaalde aanvragen met hetzelfde seed en parameters hetzelfde resultaat moeten retourneren.Determinisme is niet gegarandeerd en u moet verwijzen naar de system_fingerprint antwoordparameter om wijzigingen in de back-end te controleren. |
|
| stoppen | Reeksen waarbij de API stopt met het genereren van verdere tokens. De geretourneerde tekst bevat niet de stopvolgorde. | ||
| stroom | boolean | Onwaar | Of gedeeltelijke voortgang moet worden gestreamd. Als deze optie is ingesteld, worden tokens verzonden als gebeurtenissen die alleen door de server worden verzonden zodra ze beschikbaar komen, waarbij de stream wordt beëindigd door een data: [DONE] bericht. |
| temperatuur | Nummer | 1 | Welke steekproeftemperatuur moet worden gebruikt, tussen 0 en 2. Hogere waarden zoals 0,8 zorgen ervoor dat de uitvoer willekeuriger wordt, terwijl lagere waarden zoals 0,2 ervoor zorgen dat de uitvoer meer gericht en deterministisch wordt. Over het algemeen raden we u aan dit of top_p niet beide te wijzigen. |
| top_p | Nummer | 1 | Een alternatief voor steekproeven met temperatuur, zogenaamde kernsampling, waarbij het model rekening houdt met de resultaten van de tokens met top_p waarschijnlijkheidsmassa. 0,1 betekent dus dat alleen de tokens die de top 10% kansdichtheid omvatten, worden beschouwd. Over het algemeen raden we u aan dit of temperature niet beide te wijzigen. |
CreateCompletionResponse
Vertegenwoordigt een voltooiingsantwoord van de API. Opmerking: zowel de gestreamde als niet-gestreamde antwoordobjecten delen dezelfde vorm (in tegenstelling tot het chateindpunt).
| Name | Type | Description |
|---|---|---|
| Keuzes | Keuzes[] | De lijst met voltooiingskeuzen die het model heeft gegenereerd voor de invoerprompt. |
| aangemaakt | geheel getal | De Unix-tijdstempel (in seconden) van het moment waarop de voltooiing is gemaakt. |
| Id | tekenreeks | Een unieke id voor de voltooiing. |
| model | tekenreeks | Het model dat wordt gebruikt voor voltooiing. |
| object | TextCompletionObject | Het objecttype, dat altijd 'text_completion' is |
| system_fingerprint | tekenreeks | Deze vingerafdruk vertegenwoordigt de back-endconfiguratie waarmee het model wordt uitgevoerd. Kan worden gebruikt met de seed aanvraagparameter om te begrijpen wanneer er back-endwijzigingen zijn aangebracht die van invloed kunnen zijn op determinisme. |
| gebruikt | CompletionUsage | Gebruiksstatistieken voor de voltooiingsaanvraag. |
Detail
| Name | Type | Description |
|---|---|---|
| LOC | tekenreeks[] | De parameter die het probleem veroorzaakt |
| waarde | tekenreeks | De waarde die is doorgegeven aan de parameter die problemen veroorzaakt. |
TextCompletionObject
Het objecttype, dat altijd 'text_completion' is
| Name | Type | Description |
|---|---|---|
| text_completion | tekenreeks |
ListObject
Het objecttype, dat altijd 'list' is.
| Name | Type | Omschrijving |
|---|---|---|
| lijst | tekenreeks |
NotFoundError
| Name | Type | Description |
|---|---|---|
| error | tekenreeks | De foutbeschrijving. |
| bericht | tekenreeks | Het foutbericht. |
| status | geheel getal | De HTTP-statuscode. |
TooManyRequestsError
| Name | Type | Description |
|---|---|---|
| error | tekenreeks | De foutbeschrijving. |
| bericht | tekenreeks | Het foutbericht. |
| status | geheel getal | De HTTP-statuscode. |
UnauthorizedError
| Name | Type | Description |
|---|---|---|
| error | tekenreeks | De foutbeschrijving. |
| bericht | tekenreeks | Het foutbericht. |
| status | geheel getal | De HTTP-statuscode. |
UnprocessableContentError
| Name | Type | Description |
|---|---|---|
| code | tekenreeks | De foutcode. |
| gedetailleerd | Detail | |
| error | tekenreeks | De foutbeschrijving. |
| bericht | tekenreeks | Het foutbericht. |
| status | geheel getal | De HTTP-statuscode. |