Delen via

Azure AI-modeldeductie (preview)

Modeldeductie-API voor modellen die zijn geïmplementeerd in Azure AI en Azure ML met serverloze en zelf-hostende eindpunten.

Deze connector is beschikbaar in de volgende producten en regio's:

Dienst klasse Regio's
Logic-apps Standard Alle Logic Apps-regio's , met uitzondering van het volgende:
     - Azure Government-regio's
     - Azure China-regio's
     - Us Department of Defense (DoD)
contact opnemen met
Naam Microsoft
URL https://support.microsoft.com
Connectormetagegevens
Publisher Microsoft Copilot Studio
Privacybeleid https://privacy.microsoft.com/privacystatement
Website https://learn.microsoft.com/en-us/azure/ai-studio/reference/reference-model-inference-api
Categorieën AI

Met de Azure AI-deductieconnector kunt u verbinding maken met uw eigen model vanuit Azure AI Studio

Vereiste voorwaarden

  • Een model dat is geïmplementeerd in Azure AI Studio

Uw referenties ophalen

Als u uw API-aanvragen wilt verifiëren, hebt u het eindpunt en de API-sleutel van uw model nodig.

Navigeer naar uw resource in Azure open ai Studio -> implementaties. Onder Eindpunt is het eindpunt de doel-URI en de sleutel bevindt zich onder Sleutel.

Ondersteunde bewerkingen

De Azure AI-deductieconnector ondersteunt de volgende bewerkingen:

  1. GetModelInfo : retourneert de informatie over het model dat is geïmplementeerd onder het eindpunt

Vereiste parameters:

* `api-version` - The version of the Inference API
  1. GetChatCompletions - Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek

Vereiste parameters:

* `api-version` - The version of the Inference API
* `messages` - The chat conversation to be completed
* `model` - The Deployment name of the model, Required only for openai models

Standaardwaarden van optionele parameters:

* `frequency_penalty` - 0
* `presence_penalty` - 0
* `temperature` - 0.7
* `top_p` - 1

Een verbinding maken

De connector ondersteunt de volgende verificatietypen:
standaard Parameters voor het maken van verbinding. Alle regio's Niet deelbaar

Verstek

Van toepassing: Alle regio's

Parameters voor het maken van verbinding.

Dit is geen deelbare verbinding. Als de power-app wordt gedeeld met een andere gebruiker, wordt een andere gebruiker gevraagd om expliciet een nieuwe verbinding te maken.

Naam Typ Beschrijving Verplicht
Azure-modeleindpunt-URL string Voer de URL in van het geïmplementeerde modeleindpunt. Bijvoorbeeld: https://resource.openai.azure.com Klopt
API-sleutel beveiligde string Autorisatie voor deze API Klopt

Beperkingslimieten

Name Aanroepen Verlengingsperiode
API-aanroepen per verbinding 100 60 seconden

Acties

Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek

Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek.
Retourneert de informatie over het model dat is geïmplementeerd onder het eindpunt

Retourneert informatie over het AI-model. De methode maakt een REST API-aanroep naar de /info route op het opgegeven eindpunt. Deze methode werkt alleen wanneer u een serverloze API of managed compute-eindpunt gebruikt. Het werkt niet voor gitHub Models-eindpunt of Azure OpenAI-eindpunt.

Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek

Bewerkings-id:
GetChatCompletions

Hiermee maakt u een modelantwoord voor het opgegeven chatgesprek.

Parameters

Name Sleutel Vereist Type Description
inhoud
 content True string

De inhoud van het systeembericht.
rol
 role True string

De rol van de auteur van berichten, in dit geval system.
naam
 name string

Een optionele naam voor de deelnemer. Biedt de modelinformatie om onderscheid te maken tussen deelnemers van dezelfde rol.
frequency_penalty (frequentiebestraffing)
 frequency_penalty float

Een waarde die van invloed is op de kans dat gegenereerde tokens worden weergegeven op basis van hun cumulatieve frequentie in gegenereerde tekst. Positieve waarden zorgen ervoor dat tokens minder waarschijnlijk worden weergegeven als hun frequentie toeneemt en de kans vermindert dat het model dezelfde exacte instructies herhaalt. Ondersteund bereik is [-2, 2].
beek
 stream boolean

Een waarde die aangeeft of chatvoltooiingen moeten worden gestreamd voor deze aanvraag.
aanwezigheid_boete
 presence_penalty float

Een waarde die de kans beïnvloedt dat gegenereerde tokens worden weergegeven op basis van hun bestaande aanwezigheid in gegenereerde tekst. Met positieve waarden worden tokens minder waarschijnlijk weergegeven wanneer ze al bestaan en vergroten de kans dat het model nieuwe onderwerpen uitvoert. Ondersteund bereik is [-2, 2].
temperatuur
 temperature float

De steekproeftemperatuur die moet worden gebruikt om de schijnbare creativiteit van gegenereerde voltooiingen te regelen. Hogere waarden zorgen ervoor dat uitvoer willekeuriger wordt, terwijl lagere waarden resultaten meer gericht en deterministisch maken. Het wordt niet aanbevolen om temperatuur en top_p te wijzigen voor dezelfde voltooiingsaanvraag als de interactie van deze twee instellingen is moeilijk te voorspellen. Ondersteund bereik is [0, 1].
top_p
 top_p float

Een alternatief voor steekproeven met temperatuur genaamd kernsampling. Deze waarde zorgt ervoor dat het model rekening houdt met de resultaten van tokens met de opgegeven waarschijnlijkheidsmassa. Een voorbeeld: een waarde van 0,15 zorgt ervoor dat alleen de tokens die de top 15% van waarschijnlijkheidsmassa bevatten, worden overwogen. Het wordt niet aanbevolen om temperatuur en top_p te wijzigen voor dezelfde voltooiingsaanvraag als de interactie van deze twee instellingen is moeilijk te voorspellen. Ondersteund bereik is [0, 1].
maximaal_aantal_tokens
 max_tokens integer

Het maximum aantal tokens dat moet worden gegenereerd.
soort
 type string

Moet een van text of json_object.
stop
 stop array of string

Een verzameling tekstreeksen die het genereren van voltooiingen beëindigen.
soort
 type True string

Het type hulpprogramma. Op dit moment wordt alleen function ondersteund.
beschrijving
 description string

Een beschrijving van wat de functie doet. Het model gebruikt deze beschrijving bij het selecteren van de functie en het interpreteren van de parameters.
naam
 name True string

De naam van de functie die moet worden aangeroepen.
parameters
 parameters object

De parameters die door de functies worden geaccepteerd, worden beschreven als een JSON-schemaobject.
seed
 seed integer

Indien opgegeven, doet het systeem er alles aan om een steekproef te nemen op een deterministische wijze, zodat herhaalde aanvragen met dezelfde seed en parameters hetzelfde resultaat moeten retourneren. Determinisme is niet gegarandeerd.
model
 model string

Id van het specifieke AI-model dat moet worden gebruikt, als er meer dan één model beschikbaar is op het eindpunt.
De versie van de API in de indeling 'JJJJ-MM-DD' of 'JJJJ-MM-DD-preview'.
 api-version True string

De versie van de API in de indeling 'JJJJ-MM-DD' of 'JJJJ-MM-DD-preview'.
Hiermee bepaalt u wat er gebeurt als een onbekende parameter wordt doorgegeven.
 extra-parameters string

Hiermee bepaalt u wat er gebeurt als extra parameters, die niet zijn gedefinieerd door de REST API, worden doorgegeven in de nettolading van de JSON-aanvraag. Hiermee stelt u de HTTP-aanvraagheader extra-parametersin. fout: de service treedt op als er extra parameters zijn gedetecteerd in de nettolading van de aanvraag. Dit is de standaardservice. drop: de service negeert extra parameters (drop) in de nettolading van de aanvraag. Hiermee worden alleen de bekende parameters doorgegeven aan het AI-model van de back-end. pass-through: de service geeft extra parameters door aan het AI-model van de back-end.
De naam van de implementatie waarnaar u de aanvraag wilt routeren.
 azureml-model-deployment string

De naam van de implementatie waarnaar u de aanvraag wilt routeren. Ondersteund voor eindpunten die ondersteuning bieden voor meerdere implementaties.

Retouren

Vertegenwoordigt een antwoord op voltooiing van een chat dat wordt geretourneerd door het model, op basis van de opgegeven invoer.

Body
CreateChatCompletionResponse

Retourneert de informatie over het model dat is geïmplementeerd onder het eindpunt

Bewerkings-id:
GetModelInfo

Retourneert informatie over het AI-model. De methode maakt een REST API-aanroep naar de /info route op het opgegeven eindpunt. Deze methode werkt alleen wanneer u een serverloze API of managed compute-eindpunt gebruikt. Het werkt niet voor gitHub Models-eindpunt of Azure OpenAI-eindpunt.

Parameters

Name Sleutel Vereist Type Description
De versie van de API in de indeling 'JJJJ-MM-DD' of 'JJJJ-MM-DD-preview'.
 api-version True string

De versie van de API in de indeling 'JJJJ-MM-DD' of 'JJJJ-MM-DD-preview'.
De naam van de implementatie waarnaar u de aanvraag wilt routeren.
 azureml-model-deployment string

De naam van de implementatie waarnaar u de aanvraag wilt routeren. Ondersteund voor eindpunten die ondersteuning bieden voor meerdere implementaties.

Retouren

Vertegenwoordigt enkele basisinformatie over het AI-model.

Body
ModelInfo

Definities

Modelinformatie

Vertegenwoordigt enkele basisinformatie over het AI-model.

Name Pad Type Description
model_name
 model_name string

De naam van het AI-model.
model_type string

Het type AI-model. Een unieke id voor het profiel.
model_provider_name
 model_provider_name string

De naam van de modelprovider.
capabilities
 capabilities

ChatCompletionMessageToolCalls

De hulpprogramma-aanroepen die door het model worden gegenereerd, zoals functie-aanroepen.

Name Pad Type Description
Artikelen
 ChatCompletionMessageToolCall

ChatCompletionMessageToolCall

Name Pad Type Description
identiteitskaart
 id string

De ID van de aanroep van het hulpprogramma.
soort
 type string

Het type hulpprogramma. Op dit moment wordt alleen function ondersteund.
naam
 function.name string

De naam van de functie die moet worden aangeroepen.
Argumenten
 function.arguments string

De argumenten waarmee de functie moet worden aangeroepen, zoals gegenereerd door het model in JSON-indeling. Houd er rekening mee dat het model niet altijd geldige JSON genereert en parameters die niet door uw functieschema zijn gedefinieerd, halluvalideert. Valideer de argumenten in uw code voordat u de functie aanroept.

ChatCompletionResponseMessage

Een chatvoltooiingsbericht gegenereerd door het model.

Name Pad Type Description
inhoud
 content string

De inhoud van het bericht.
tool_calls
 tool_calls ChatCompletionMessageToolCalls

De hulpprogramma-aanroepen die door het model worden gegenereerd, zoals functie-aanroepen.
rol
 role string

De rol van de auteur van dit bericht.

CreateChatCompletionResponse

Vertegenwoordigt een antwoord op voltooiing van een chat dat wordt geretourneerd door het model, op basis van de opgegeven invoer.

Name Pad Type Description
identiteitskaart
 id string

Een unieke id die aan deze chat is gekoppeld, reageert.
choices
 choices array of object

Een lijst met opties voor chatvoltooiing. Kan meer dan één zijn als n deze groter is dan 1.
choices.finish_reason string

De reden waarom het model geen tokens meer genereert. Dit is stop als het model een natuurlijk stoppunt of een opgegeven stopvolgorde bereikt,length als het maximum aantal tokens dat is opgegeven in de aanvraag is bereikt,content_filter als inhoud wordt weggelaten vanwege een vlag van onze inhoudsfilters,tool_calls als het model een hulpprogramma wordt genoemd.
content_filter_result
 choices.content_filter_result
index
 choices.index integer

De geordende index die is gekoppeld aan deze chat-voltooiingskeuze.
message
 choices.message ChatCompletionResponseMessage

Een chatvoltooiingsbericht gegenereerd door het model.
created
 created integer

De eerste tijdstempel die is gekoppeld aan de generatieactiviteit voor dit voltooiingsantwoord, weergegeven als seconden sinds het begin van het Unix-epoch van 00:00 op 1 januari 1970.
model
 model string

Het model dat wordt gebruikt voor het voltooien van de chat.
object
 object string

Het objecttype, dat altijd chat.completionis.
usage
 usage CompletionUsage

Weergave van het aantal tokens dat is verwerkt voor een voltooiingsaanvraag. Aantallen houden rekening met alle tokens voor prompts, keuzes, keuze-alternatieven, best_of generaties en andere consumenten.

CompletionUsage

Weergave van het aantal tokens dat is verwerkt voor een voltooiingsaanvraag. Aantallen houden rekening met alle tokens voor prompts, keuzes, keuze-alternatieven, best_of generaties en andere consumenten.

Name Pad Type Description
completion_tokens
 completion_tokens integer

Het aantal tokens dat wordt gegenereerd voor alle voltooiingsemissies.
prompt_tokens
 prompt_tokens integer

Het aantal tokens in de opgegeven prompts voor de voltooiingsaanvraag.
total_tokens
 total_tokens integer

Het totale aantal tokens dat is verwerkt voor de voltooiingsaanvraag en het antwoord.