Share via

Api voor Azure OpenAI Assistants (preview)

  • Artikel

Assistenten, een nieuwe functie van Azure OpenAI Service, zijn nu beschikbaar in openbare preview. Dankzij de API voor assistenten kunnen ontwikkelaars eenvoudiger toepassingen maken met geavanceerde copilot-achtige ervaringen die gegevens kunnen doorzoeken, oplossingen kunnen voorstellen en taken kunnen automatiseren.

  • Assistenten kunnen de modellen van Azure OpenAI aanroepen met specifieke instructies om hun persoonlijkheid en mogelijkheden af te stemmen.
  • Assistenten hebben parallel toegang tot meerdere hulpprogramma's. Dit kunnen zowel door Azure OpenAI gehoste hulpprogramma's zijn, zoals code-interpreter en bestandszoekopdrachten, of hulpprogramma's die u bouwt, host en toegang via functie-aanroepen.
  • Assistenten hebben toegang tot permanente threads. Threads vereenvoudigen de ontwikkeling van AI-toepassingen door de berichtgeschiedenis op te slaan en af te kapen wanneer het gesprek te lang wordt voor de contextlengte van het model. U maakt eenmaal een thread en voegt berichten eraan toe terwijl uw gebruikers reageren.
  • Assistenten hebben toegang tot bestanden in verschillende indelingen. Ofwel als onderdeel van hun creatie of als onderdeel van Threads tussen assistenten en gebruikers. Wanneer u hulpprogramma's gebruikt, kunnen assistenten ook bestanden (zoals afbeeldingen of spreadsheets) maken en bestanden citeren waarnaar ze verwijzen in de berichten die ze maken.

Overzicht

Voorheen moesten het bouwen van aangepaste AI-assistenten veel werk doen, zelfs voor ervaren ontwikkelaars. Hoewel de API voor het voltooien van chats lichtgewicht en krachtig is, is het inherent staatloos, wat betekent dat ontwikkelaars de gespreksstatus en chatthreads, hulpprogramma-integraties, documenten en indexen moesten beheren en code handmatig moesten uitvoeren.

De Assistants-API, als de stateful evolutie van de API voor chatvoltooiing, biedt een oplossing voor deze uitdagingen. Api voor assistenten ondersteunt permanente automatisch beheerde threads. Dit betekent dat u als ontwikkelaar geen beheersystemen voor gespreksstatus meer hoeft te ontwikkelen en de contextvensterbeperkingen van een model omzeilt. De Assistants-API verwerkt automatisch de optimalisaties om de thread onder het maximale contextvenster van het gekozen model te houden. Zodra u een thread hebt gemaakt, kunt u er gewoon nieuwe berichten aan toevoegen wanneer gebruikers reageren. Assistenten hebben indien nodig ook toegang tot meerdere hulpprogramma's. Tot deze hulpmiddelen behoren onder meer:

Tip

Er zijn geen extra prijzen of quota voor het gebruik van assistenten, tenzij u de code-interpreter of hulpprogramma's voor het zoeken van bestanden gebruikt.

De API voor assistenten is gebaseerd op dezelfde mogelijkheden als het GPT-product van OpenAI. Enkele mogelijke use cases variëren van door AI aangedreven productbeveelaar, app voor verkoopanalisten, coderingsassistent, Q&A-chatbot voor werknemers en meer. Begin met bouwen op de speeltuin zonder code-assistenten in Azure AI Studio of begin met bouwen met de API.

Belangrijk

Als u niet-vertrouwde gegevens opvragen met functieaanroepen, code-interpreter of bestandszoekopdrachten met bestandsinvoer en assistentthreads, kan dit de beveiliging van uw assistent of de toepassing die gebruikmaakt van de assistent, in gevaar komen. Hier vindt u meer informatie over risicobeperkingsmethoden.

Speeltuin voor assistenten

We bieden een overzicht van de assistentspeeltuin in onze quickstartgids. Dit biedt een omgeving zonder code om de mogelijkheden van assistenten te testen.

Onderdelen van assistenten

Een diagram met de onderdelen van een assistent.

Onderdeel Beschrijving
Assistent Aangepaste AI die gebruikmaakt van Azure OpenAI-modellen in combinatie met hulpprogramma's.
Draad Een gesprekssessie tussen een assistent en een gebruiker. Threads slaan berichten op en verwerken automatisch afkapping zodat inhoud in de context van een model past.
Bericht Een bericht dat is gemaakt door een assistent of een gebruiker. Berichten kunnen tekst, afbeeldingen en andere bestanden bevatten. Berichten worden opgeslagen als een lijst op de thread.
Rennen Activering van een assistent om te beginnen met uitvoeren op basis van de inhoud van de thread. De assistent gebruikt de configuratie en de berichten van de thread om taken uit te voeren door modellen en hulpprogramma's aan te roepen. Als onderdeel van een uitvoering voegt de assistent berichten toe aan de thread.
Stap uitvoeren Een gedetailleerde lijst met stappen die de assistent heeft uitgevoerd als onderdeel van een uitvoering. Een assistent kan hulpprogramma's aanroepen of berichten maken tijdens de uitvoering. Als u de uitvoeringsstappen bekijkt, kunt u begrijpen hoe de assistent de uiteindelijke resultaten krijgt.

Gegevenstoegang voor assistenten

Momenteel zijn assistenten, threads, berichten en bestanden die zijn gemaakt voor assistenten, binnen het bereik van azure OpenAI-resourceniveau. Daarom kan iedereen met toegang tot de Azure OpenAI-resource of API-sleuteltoegang assistenten, threads, berichten en bestanden lezen/schrijven.

We raden de volgende besturingselementen voor gegevenstoegang ten zeerste aan:

  • Autorisatie implementeren. Voordat u lees- of schrijfbewerkingen uitvoert op assistenten, threads, berichten en bestanden, moet u ervoor zorgen dat de eindgebruiker hiervoor gemachtigd is.
  • Toegang tot Azure OpenAI-resources en API-sleutels beperken. Overweeg zorgvuldig wie toegang heeft tot Azure OpenAI-resources waar assistenten worden gebruikt en bijbehorende API-sleutels.
  • Controleer regelmatig welke accounts/personen toegang hebben tot de Azure OpenAI-resource. API-sleutels en toegang op resourceniveau maken een breed scala aan bewerkingen mogelijk, waaronder het lezen en wijzigen van berichten en bestanden.
  • Schakel diagnostische instellingen in om het activiteitenlogboek van de Azure OpenAI-resource op lange termijn bij te houden.

Parameters

De Assistants-API biedt ondersteuning voor verschillende parameters waarmee u de uitvoer van de assistenten kunt aanpassen. tool_choice Met de parameter kunt u afdwingen dat de assistent een opgegeven hulpprogramma gebruikt. U kunt ook berichten maken met de assistant rol om aangepaste gespreksgeschiedenissen te maken in Threads. temperatureresponse_format, top_pkunt u antwoorden verder afstemmen. Zie de referentiedocumentatie voor meer informatie.

Contextvensterbeheer

Assistenten kapen tekst automatisch af om ervoor te zorgen dat deze binnen de maximale contextlengte van het model blijft. U kunt dit gedrag aanpassen door de maximumtokens op te geven die u wilt gebruiken voor een uitvoering en/of het maximum aantal recente berichten dat u wilt opnemen in een uitvoering.

Maximum aantal voltooiings- en maximumprompttokens

Als u het tokengebruik in één run wilt beheren, stelt u in max_prompt_tokens en max_completion_tokens wanneer u de uitvoering maakt. Deze limieten zijn van toepassing op het totale aantal tokens dat wordt gebruikt in alle voltooiingen gedurende de levenscyclus van de uitvoering.

Als u bijvoorbeeld een run max_prompt_tokens met een waarde instelt op 500 en max_completion_tokens op 1000 instelt, wordt de thread eerst afgekapt tot 500 tokens en wordt de uitvoer bij 1000 tokens afgekapt. Als er slechts 200 prompttokens en 300 voltooiingstokens worden gebruikt bij de eerste voltooiing, heeft de tweede voltooiing de beschikbare limieten van 300 prompttokens en 700 voltooiingstokens.

Als een voltooiing de max_completion_tokens limiet bereikt, wordt de uitvoering beëindigd met de status Onvolledig en worden details opgegeven in het incomplete_details veld van het object Uitvoeren.

Wanneer u het hulpprogramma Bestand zoeken gebruikt, wordt u aangeraden de max_prompt_tokens instelling in te stellen op niet minder dan 20.000. Voor langere gesprekken of meerdere interacties met Bestandszoekopdrachten kunt u overwegen deze limiet te verhogen tot 50.000, of idealiter de limieten te verwijderen max_prompt_tokens om de hoogste kwaliteitsresultaten te verkrijgen.

Strategie voor afkapping

U kunt ook een afkappingsstrategie opgeven om te bepalen hoe uw thread moet worden weergegeven in het contextvenster van het model. Als u een afkappingsstrategie van het type auto gebruikt, wordt de standaardkappingsstrategie van OpenAI gebruikt. Met behulp van een afkappingsstrategie van het type last_messages kunt u het aantal meest recente berichten opgeven dat in het contextvenster moet worden opgenomen.

Zie ook