Delen via


Naslaginformatie: Voltooiingen van chat | Azure AI Studio

Belangrijk

Sommige van de functies die in dit artikel worden beschreven, zijn mogelijk alleen beschikbaar in de preview-versie. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek.

POST /chat/completions?api-version=2024-04-01-preview

URI-parameters

Naam In Vereist Type Description
api-versie query Waar tekenreeks De versie van de API in de indeling 'JJJJ-MM-DD' of 'JJJJ-MM-DD-preview'.

Aanvraagkoptekst

Naam Vereist Type Description
extra parameters tekenreeks Het gedrag van de API wanneer extra parameters worden aangegeven in de nettolading. Als pass-through u de API gebruikt om de parameter door te geven aan het onderliggende model. Gebruik deze waarde als u parameters wilt doorgeven die u kent die door het onderliggende model kunnen worden ondersteund. Als u de API gebruikt ignore om een niet-ondersteunde parameter te verwijderen. Gebruik deze waarde wanneer u dezelfde nettolading voor verschillende modellen moet gebruiken, maar een van de extra parameters kan een model tot een fout maken als dit niet wordt ondersteund. Door de API te gebruiken error om eventuele extra parameters in de nettolading te weigeren. Alleen parameters die in deze API zijn opgegeven, kunnen worden aangegeven of er wordt een 400-fout geretourneerd.
azureml-model-deployment tekenreeks De naam van de implementatie waarnaar u de aanvraag wilt routeren. Ondersteund voor eindpunten die ondersteuning bieden voor meerdere implementaties.

Aanvraagbody

Naam Vereist Type Description
messages Waar ChatCompletionRequestMessage Een lijst met berichten die tot nu toe bestaan uit het gesprek. Retourneert een 422-fout als ten minste sommige berichten niet kunnen worden begrepen door het model.
frequency_penalty Nummer Helpt herhalingen van woorden te voorkomen door de kans te verminderen dat een woord wordt geselecteerd als het al is gebruikt. Hoe hoger de frequentiestraf, hoe minder waarschijnlijk het model is om dezelfde woorden in de uitvoer te herhalen. Retourneert een 422-fout als de waarde of parameter niet wordt ondersteund door het model.
max_tokens geheel getal Het maximum aantal tokens dat kan worden gegenereerd in de voltooiing van de chat.

De totale lengte van invoertokens en gegenereerde tokens wordt beperkt door de contextlengte van het model. Het doorgeven van null zorgt ervoor dat het model de maximale contextlengte gebruikt.
presence_penalty Nummer Helpt voorkomen dat dezelfde onderwerpen worden herhaald door een woord te straffen als het al bestaat in de voltooiing, zelfs maar één keer. Retourneert een 422-fout als de waarde of parameter niet wordt ondersteund door het model.
response_format ChatCompletionResponseFormat
seed geheel getal Indien opgegeven, zal ons systeem een best inspanning leveren om de steekproef deterministisch uit te voeren, zodat herhaalde aanvragen met hetzelfde seed en parameters hetzelfde resultaat moeten retourneren. Determinisme is niet gegarandeerd en u moet verwijzen naar de system_fingerprint antwoordparameter om wijzigingen in de back-end te controleren.
stoppen Reeksen waarbij de API stopt met het genereren van verdere tokens.
stroom boolean Indien ingesteld, worden gedeeltelijke berichtdelta's verzonden. Tokens worden verzonden als door de server verzonden gegevens wanneer ze beschikbaar zijn, waarbij de stream wordt beëindigd door een data: [DONE] bericht.
temperatuur Nummer Niet-negatief getal. Retourneert 422 als de waarde niet wordt ondersteund door het model.
tool_choice ChatCompletionToolChoiceOption Hiermee bepaalt u welke functie (indien aanwezig) wordt aangeroepen door het model. none betekent dat het model geen functie aanroept en in plaats daarvan een bericht genereert. auto betekent dat het model kan kiezen tussen het genereren van een bericht of het aanroepen van een functie. Als u een bepaalde functie opgeeft via dwingt {"type": "function", "function": {"name": "my_function"}} u het model om die functie aan te roepen.

none is de standaardinstelling wanneer er geen functies aanwezig zijn. auto is de standaardinstelling als er functies aanwezig zijn. Retourneert een 422-fout als het hulpprogramma niet wordt ondersteund door het model.
tools ChatCompletionTool[] Een lijst met hulpprogramma's die het model kan aanroepen. Op dit moment worden alleen functies ondersteund als hulpprogramma. Gebruik dit om een lijst met functies op te geven waarvoor het model JSON-invoer kan genereren. Retourneert een 422-fout als het hulpprogramma niet wordt ondersteund door het model.
top_p Nummer Een alternatief voor steekproeven met temperatuur, zogenaamde kernsampling, waarbij het model rekening houdt met de resultaten van de tokens met top_p waarschijnlijkheidsmassa. 0,1 betekent dus dat alleen de tokens die de top 10% kansdichtheid omvatten, worden beschouwd.

Over het algemeen raden we u aan dit of temperature niet beide te wijzigen.

Antwoorden

Name Type Description
200 OK CreateChatCompletionResponse OK
401 Onbevoegd UnauthorizedError Toegangstoken ontbreekt of is ongeldig

Kopteksten

x-ms-error-code: tekenreeks
404 Niet gevonden NotFoundError Modaliteit wordt niet ondersteund door het model. Raadpleeg de documentatie van het model om te zien welke routes beschikbaar zijn.

Kopteksten

x-ms-error-code: tekenreeks
422 Niet-verwerkte entiteit UnprocessableContentError De aanvraag bevat niet-verwerkte inhoud

Kopteksten

x-ms-error-code: tekenreeks
429 Te veel aanvragen TooManyRequestsError U hebt uw toegewezen frequentielimiet bereikt en uw aanvraag moet worden aangepast.

Kopteksten

x-ms-error-code: tekenreeks
Overige statuscodes ContentFilterError Ongeldige aanvraag

Kopteksten

x-ms-error-code: tekenreeks

Beveiliging

Autorisatie

Het token met het Bearer: voorvoegsel, bijvoorbeeld Bearer abcde12345

Type: apiKey
In: koptekst

AADToken

Azure Active Directory OAuth2-verificatie

Type: oauth2
Stroom: toepassing
Token-URL: https://login.microsoftonline.com/common/oauth2/v2.0/token

Voorbeelden

Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek

Voorbeeldaanvraag

POST /chat/completions?api-version=2024-04-01-preview

{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant"
    },
    {
      "role": "user",
      "content": "Explain Riemann's conjecture"
    },
    {
      "role": "assistant",
      "content": "The Riemann Conjecture is a deep mathematical conjecture around prime numbers and how they can be predicted. It was first published in Riemann's groundbreaking 1859 paper. The conjecture states that the Riemann zeta function has its zeros only at the negative even integers and complex numbers with real part 1/21. Many consider it to be the most important unsolved problem in pure mathematics. The Riemann hypothesis is a way to predict the probability that numbers in a certain range are prime that was also devised by German mathematician Bernhard Riemann in 18594."
    },
    {
      "role": "user",
      "content": "Ist it proved?"
    }
  ],
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "max_tokens": 256,
  "seed": 42,
  "stop": "<|endoftext|>",
  "stream": false,
  "temperature": 0,
  "top_p": 1,
  "response_format": { "type": "text" }
}

Voorbeeldantwoord

Statuscode: 200

{
  "id": "1234567890",
  "model": "llama2-70b-chat",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "No, it has never been proved"
      }
    }
  ],
  "created": 1234567890,
  "object": "chat.completion",
  "usage": {
    "prompt_tokens": 205,
    "completion_tokens": 5,
    "total_tokens": 210
  }
}

Definities

Name Beschrijving
ChatCompletionRequestMessage
ChatCompletionMessageContentPart
ChatCompletionMessageContentPartType
ChatCompletionToolChoiceOption Hiermee bepaalt u welke functie (indien aanwezig) wordt aangeroepen door het model. none betekent dat het model geen functie aanroept en in plaats daarvan een bericht genereert. auto betekent dat het model kan kiezen tussen het genereren van een bericht of het aanroepen van een functie. Als u een bepaalde functie opgeeft via dwingt {"type": "function", "function": {"name": "my_function"}} u het model om die functie aan te roepen.

none is de standaardinstelling wanneer er geen functies aanwezig zijn. auto is de standaardinstelling als er functies aanwezig zijn. Retourneert een 422-fout als het hulpprogramma niet wordt ondersteund door het model.
ChatCompletionFinishReason De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopvolgorde bereikt, length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt, content_filter als inhoud wordt weggelaten vanwege een vlag van onze inhoudsfilters, tool_calls als het model een hulpprogramma wordt genoemd.
ChatCompletionMessageToolCall
ChatCompletionObject Het objecttype, dat altijd chat.completionis.
ChatCompletionResponseFormat De antwoordindeling voor het modelantwoord. Instelling voor json_object het inschakelen van de JSON-modus, wat garandeert dat het bericht dat het model genereert geldige JSON is. Wanneer u de JSON-modus gebruikt, moet u ook het model instrueren om zelf JSON te produceren via een systeem- of gebruikersbericht. Houd er ook rekening mee dat de inhoud van het bericht gedeeltelijk kan worden afgekapt als finish_reason="length", wat aangeeft dat de generatie is overschreden max_tokens of het gesprek de maximale contextlengte heeft overschreden.
ChatCompletionResponseFormatType Het type antwoordindeling.
ChatCompletionResponseMessage Een chatvoltooiingsbericht gegenereerd door het model.
ChatCompletionTool
ChatMessageRole De rol van de auteur van dit bericht.
Keuzen Een lijst met opties voor chatvoltooiing.
CompletionUsage Gebruiksstatistieken voor de voltooiingsaanvraag.
ContentFilterError De API-aanroep mislukt wanneer de prompt een inhoudsfilter activeert zoals geconfigureerd. Wijzig de prompt en probeer het opnieuw.
CreateChatCompletionRequest
CreateChatCompletionResponse Vertegenwoordigt een antwoord op voltooiing van een chat dat wordt geretourneerd door het model, op basis van de opgegeven invoer.
Detail Details voor de fout UnprocessableContentError .
Functie De functie die het model heeft aangeroepen.
FunctionObject Definitie van een functie waar het model toegang toe heeft.
ImageDetail Hiermee geeft u het detailniveau van de afbeelding op.
NotFoundError De route is niet geldig voor het geïmplementeerde model.
ToolType Het type hulpprogramma. Momenteel wordt alleen function ondersteund.
TooManyRequestsError U hebt uw toegewezen frequentielimiet bereikt en uw aanvragen moeten worden aangepast.
UnauthorizedError Verificatie ontbreekt of is ongeldig.
UnprocessableContentError De aanvraag bevat niet-verwerkte inhoud. De fout wordt geretourneerd wanneer de aangegeven nettolading geldig is volgens deze specificatie. Sommige instructies die in de nettolading worden aangegeven, worden echter niet ondersteund door het onderliggende model. Gebruik de details sectie om inzicht te hebben in de offendingparameter.

ChatCompletionFinishReason

De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopvolgorde bereikt, length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt, content_filter als inhoud wordt weggelaten vanwege een vlag van onze inhoudsfilters, tool_calls als het model een hulpprogramma wordt genoemd.

Name Type Description
content_filter tekenreeks
length tekenreeks
stoppen tekenreeks
tool_calls tekenreeks

ChatCompletionMessageToolCall

Name Type Beschrijving
function Functie De functie die het model heeft aangeroepen.
Id tekenreeks De id van de aanroep van het hulpprogramma.
type ToolType Het type hulpprogramma. Momenteel wordt alleen function ondersteund.

ChatCompletionObject

Het objecttype, dat altijd chat.completionis.

Name Type Description
chat.completion tekenreeks

ChatCompletionResponseFormat

De antwoordindeling voor het modelantwoord. Instelling voor json_object het inschakelen van de JSON-modus, wat garandeert dat het bericht dat het model genereert geldige JSON is. Wanneer u de JSON-modus gebruikt, moet u ook het model instrueren om zelf JSON te produceren via een systeem- of gebruikersbericht. Houd er ook rekening mee dat de inhoud van het bericht gedeeltelijk kan worden afgekapt als finish_reason="length", wat aangeeft dat de generatie is overschreden max_tokens of het gesprek de maximale contextlengte heeft overschreden.

Name Type Description
type ChatCompletionResponseFormatType Het type antwoordindeling.

ChatCompletionResponseFormatType

Het type antwoordindeling.

Name Type Description
json_object tekenreeks
sms verzenden tekenreeks

ChatCompletionResponseMessage

Een chatvoltooiingsbericht gegenereerd door het model.

Name Type Omschrijving
content tekenreeks De inhoud van het bericht.
role ChatMessageRole De rol van de auteur van dit bericht.
tool_calls ChatCompletionMessageToolCall[] De hulpprogramma-aanroepen die door het model worden gegenereerd, zoals functie-aanroepen.

ChatCompletionTool

Name Type Beschrijving
function FunctionObject
type ToolType Het type hulpprogramma. Momenteel wordt alleen function ondersteund.

ChatMessageRole

De rol van de auteur van dit bericht.

Name Type Description
assistent tekenreeks
systeem tekenreeks
werktuig tekenreeks
Gebruiker tekenreeks

Keuzen

Een lijst met opties voor chatvoltooiing. Kan meer dan één zijn als n deze groter is dan 1.

Name Type Description
finish_reason ChatCompletionFinishReason De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopvolgorde bereikt, length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt, content_filter als inhoud wordt weggelaten vanwege een vlag van onze inhoudsfilters, tool_calls als het model een hulpprogramma wordt genoemd.
index geheel getal De index van de keuze in de lijst met keuzes.
bericht ChatCompletionResponseMessage Een chatvoltooiingsbericht gegenereerd door het model.

CompletionUsage

Gebruiksstatistieken voor de voltooiingsaanvraag.

Name Type Description
completion_tokens geheel getal Aantal tokens in de gegenereerde voltooiing.
prompt_tokens geheel getal Aantal tokens in de prompt.
total_tokens geheel getal Het totale aantal tokens dat wordt gebruikt in de aanvraag (prompt + voltooiing).

ContentFilterError

De API-aanroep mislukt wanneer de prompt een inhoudsfilter activeert zoals geconfigureerd. Wijzig de prompt en probeer het opnieuw.

Name Type Description
code tekenreeks De foutcode.
error tekenreeks De foutbeschrijving.
bericht tekenreeks Het foutbericht.
param tekenreeks De parameter die het inhoudsfilter heeft geactiveerd.
status geheel getal De HTTP-statuscode.

CreateChatCompletionRequest

Name Type Standaardwaarde Beschrijving
frequency_penalty Nummer 0 Helpt herhalingen van woorden te voorkomen door de kans te verminderen dat een woord wordt geselecteerd als het al is gebruikt. Hoe hoger de frequentiestraf, hoe minder waarschijnlijk het model is om dezelfde woorden in de uitvoer te herhalen. Retourneert een 422-fout als de waarde of parameter niet wordt ondersteund door het model.
max_tokens geheel getal Het maximum aantal tokens dat kan worden gegenereerd in de voltooiing van de chat.

De totale lengte van invoertokens en gegenereerde tokens wordt beperkt door de contextlengte van het model. Het doorgeven van null zorgt ervoor dat het model de maximale contextlengte gebruikt.
messages ChatCompletionRequestMessage[] Een lijst met berichten die tot nu toe bestaan uit het gesprek. Retourneert een 422-fout als ten minste sommige berichten niet kunnen worden begrepen door het model.
presence_penalty Nummer 0 Helpt voorkomen dat dezelfde onderwerpen worden herhaald door een woord te straffen als het al bestaat in de voltooiing, zelfs maar één keer. Retourneert een 422-fout als de waarde of parameter niet wordt ondersteund door het model.
response_format ChatCompletionResponseFormat sms verzenden
seed geheel getal Indien opgegeven, zal ons systeem een best inspanning leveren om de steekproef deterministisch uit te voeren, zodat herhaalde aanvragen met hetzelfde seed en parameters hetzelfde resultaat moeten retourneren. Determinisme is niet gegarandeerd en u moet verwijzen naar de system_fingerprint antwoordparameter om wijzigingen in de back-end te controleren.
stoppen Reeksen waarbij de API stopt met het genereren van verdere tokens.
stroom boolean Onwaar Indien ingesteld, worden gedeeltelijke berichtdelta's verzonden. Tokens worden verzonden als door de server verzonden gegevens wanneer ze beschikbaar zijn, waarbij de stream wordt beëindigd door een data: [DONE] bericht.
temperatuur Nummer 1 Niet-negatief getal. Retourneert 422 als de waarde niet wordt ondersteund door het model.
tool_choice ChatCompletionToolChoiceOption Hiermee bepaalt u welke functie (indien aanwezig) wordt aangeroepen door het model. none betekent dat het model geen functie aanroept en in plaats daarvan een bericht genereert. auto betekent dat het model kan kiezen tussen het genereren van een bericht of het aanroepen van een functie. Als u een bepaalde functie opgeeft via dwingt {"type": "function", "function": {"name": "my_function"}} u het model om die functie aan te roepen.

none is de standaardinstelling wanneer er geen functies aanwezig zijn. auto is de standaardinstelling als er functies aanwezig zijn. Retourneert een 422-fout als het hulpprogramma niet wordt ondersteund door het model.
tools ChatCompletionTool[] Een lijst met hulpprogramma's die het model kan aanroepen. Op dit moment worden alleen functies ondersteund als hulpprogramma. Gebruik dit om een lijst met functies op te geven waarvoor het model JSON-invoer kan genereren. Retourneert een 422-fout als het hulpprogramma niet wordt ondersteund door het model.
top_p Nummer 1 Een alternatief voor steekproeven met temperatuur, zogenaamde kernsampling, waarbij het model rekening houdt met de resultaten van de tokens met top_p waarschijnlijkheidsmassa. 0,1 betekent dus dat alleen de tokens die de top 10% kansdichtheid omvatten, worden beschouwd.

Over het algemeen raden we u aan dit of temperature niet beide te wijzigen.

ChatCompletionRequestMessage

Name Type Omschrijving
content tekenreeks of ChatCompletionMessageContentPart[] De inhoud van het bericht.
role ChatMessageRole De rol van de auteur van dit bericht.
tool_calls ChatCompletionMessageToolCall[] De hulpprogramma-aanroepen die door het model worden gegenereerd, zoals functie-aanroepen.

ChatCompletionMessageContentPart

Name Type Omschrijving
content tekenreeks Een URL van de afbeelding of de met base64 gecodeerde afbeeldingsgegevens.
gedetailleerd ImageDetail Hiermee geeft u het detailniveau van de afbeelding op.
type ChatCompletionMessageContentPartType Het type inhoudsonderdeel.

ChatCompletionMessageContentPartType

Name Type Beschrijving
sms verzenden tekenreeks
image tekenreeks
image_url tekenreeks

ChatCompletionToolChoiceOption

Hiermee bepaalt u welke (indien van toepassing) hulpprogramma's worden aangeroepen door het model.

Name Type Description
Geen tekenreeks Het model roept geen hulpprogramma aan en genereert in plaats daarvan een bericht.
auto tekenreeks Het model kan kiezen tussen het genereren van een bericht of het aanroepen van een of meer hulpprogramma's.
vereist tekenreeks Het model moet een of meer hulpprogramma's aanroepen.
tekenreeks Het opgeven van een bepaald hulpprogramma via {"type": "function", "function": {"name": "my_function"}} dwingt het model om dat hulpprogramma aan te roepen.

ImageDetail

Hiermee geeft u het detailniveau van de afbeelding op.

Name Type Description
auto tekenreeks
 Beperkt tekenreeks
hoog tekenreeks

CreateChatCompletionResponse

Vertegenwoordigt een antwoord op voltooiing van een chat dat wordt geretourneerd door het model, op basis van de opgegeven invoer.

Name Type Description
Keuzes Keuzes[] Een lijst met opties voor chatvoltooiing. Kan meer dan één zijn als n deze groter is dan 1.
geschapen geheel getal De Unix-tijdstempel (in seconden) van het moment waarop de chat is voltooid.
Id tekenreeks Een unieke id voor het voltooien van de chat.
model tekenreeks Het model dat wordt gebruikt voor het voltooien van de chat.
object ChatCompletionObject Het objecttype, dat altijd chat.completionis.
system_fingerprint tekenreeks Deze vingerafdruk vertegenwoordigt de back-endconfiguratie waarmee het model wordt uitgevoerd.

Kan worden gebruikt in combinatie met de seed aanvraagparameter om te begrijpen wanneer er back-endwijzigingen zijn aangebracht die van invloed kunnen zijn op determinisme.
gebruikt CompletionUsage Gebruiksstatistieken voor de voltooiingsaanvraag.

Detail

Details voor de fout UnprocessableContentError .

Name Type Description
LOC tekenreeks[] De parameter die het probleem veroorzaakt
waarde tekenreeks De waarde die is doorgegeven aan de parameter die problemen veroorzaakt.

Functie

De functie die het model heeft aangeroepen.

Name Type Description
Argumenten tekenreeks De argumenten waarmee de functie moet worden aangeroepen, zoals gegenereerd door het model in JSON-indeling. Houd er rekening mee dat het model niet altijd geldige JSON genereert en mogelijk onjuiste parameters genereert die niet zijn gedefinieerd door uw functieschema. Valideer de argumenten in uw code voordat u de functie aanroept.
naam tekenreeks De naam van de functie die moet worden aangeroepen.

FunctionObject

Definitie van een functie waar het model toegang toe heeft.

Name Type Description
beschrijving tekenreeks Een beschrijving van wat de functie doet, die door het model wordt gebruikt om te kiezen wanneer en hoe de functie moet worden aangeroepen.
naam tekenreeks De naam van de functie die moet worden aangeroepen. Moet a-z, A-Z, 0-9 of onderstrepingstekens en streepjes bevatten, met een maximale lengte van 64.
parameters object De parameters die door de functies worden geaccepteerd, worden beschreven als een JSON-schemaobject. Als u parameters weglaat, wordt een functie met een lege parameterlijst gedefinieerd.

NotFoundError

Name Type Description
error tekenreeks De foutbeschrijving.
bericht tekenreeks Het foutbericht.
status geheel getal De HTTP-statuscode.

ToolType

Het type hulpprogramma. Momenteel wordt alleen function ondersteund.

Name Type Beschrijving
function tekenreeks

TooManyRequestsError

Name Type Description
error tekenreeks De foutbeschrijving.
bericht tekenreeks Het foutbericht.
status geheel getal De HTTP-statuscode.

UnauthorizedError

Name Type Description
error tekenreeks De foutbeschrijving.
bericht tekenreeks Het foutbericht.
status geheel getal De HTTP-statuscode.

UnprocessableContentError

De aanvraag bevat niet-verwerkte inhoud. De fout wordt geretourneerd wanneer de aangegeven nettolading geldig is volgens deze specificatie. Sommige instructies die in de nettolading worden aangegeven, worden echter niet ondersteund door het onderliggende model. Gebruik de details sectie om inzicht te hebben in de offendingparameter.

Name Type Description
code tekenreeks De foutcode.
gedetailleerd Detail
error tekenreeks De foutbeschrijving.
bericht tekenreeks Het foutbericht.
status geheel getal De HTTP-statuscode.