Vanliga frågor och svar om Azure OpenAI Service

Azure OpenAI använder inte kunddata för att träna om modeller. Mer information finns i Guide till data, sekretess och säkerhet i Azure OpenAI.

Azure OpenAI stöds av den senaste versionen av OpenAI Python-biblioteket (version>=1.0). Det är dock viktigt att observera att migrering av din kodbas med inte openai migrate stöds och fungerar inte med kod som riktar sig mot Azure OpenAI.

GPT-4 Turbo Preview är gpt-4 modellen (1106-preview). Om du vill distribuera den här modellen under Distributioner väljer du modell gpt-4. För Modellversion väljer du 1106-preview. Om du vill kontrollera vilka regioner den här modellen är tillgänglig kan du gå till sidan modeller.

Azure OpenAI stöder de senaste GPT-4-modellerna. Den stöder både GPT-4 och GPT-4-32K.

Azure OpenAI Service ger kunderna avancerad språk-AI med OpenAI GPT-3-, Codex- och DALL-E-modeller med säkerhet och företagslöfte för Azure. Azure OpenAI utvecklar API:erna tillsammans med OpenAI, vilket säkerställer kompatibilitet och en smidig övergång från en till en annan.

Med Azure OpenAI får kunderna säkerhetsfunktionerna i Microsoft Azure när de kör samma modeller som OpenAI.

Ja, som en del av Azure AI-tjänster stöder Azure OpenAI virtuella nätverk och privata slutpunkter. Mer information finns i vägledningen för virtuella nätverk i Azure AI-tjänster.

Nej, GPT-4 har utformats av OpenAI för att vara multimodal, men för närvarande stöds endast textinmatning och utdata.

Tidigare krävde processen för att lägga till nya användningsfall att kunderna skulle ansöka om tjänsten igen. Nu släpper vi en ny process som gör att du snabbt kan lägga till nya användningsfall i din användning av tjänsten. Den här processen följer den etablerade processen för begränsad åtkomst i Azure AI-tjänster. Befintliga kunder kan intyga alla nya användningsfall här. Observera att detta krävs när du vill använda tjänsten för ett nytt användningsfall som du inte ursprungligen ansökte om.

Det här felet uppstår vanligtvis när du försöker skicka en batch med text för att bädda in i en enda API-begäran som en matris. För närvarande stöder Azure OpenAI endast matriser med inbäddningar med flera indata för text-embedding-ada-002 version 2-modellen. Den här modellversionen stöder en matris som består av upp till 16 indata per API-begäran. Matrisen kan vara upp till 8 191 token lång när du använder modellen text-embedding-ada-002 (version 2).

Kolla in vår introduktion till prompt engineering. Även om dessa modeller är kraftfulla är deras beteende också mycket känsligt för de uppmaningar de får från användaren. Detta gör promptkonstruktionen till en viktig färdighet att utveckla. När du har slutfört introduktionen kan du läsa vår artikel om avancerade tekniker för snabbteknik.

Detta är förväntat när du använder standardinloggningsmiljön för Azure OpenAI Studio.

Så här får du åtkomst till Azure OpenAI Studio från ett gästkonto som har beviljats åtkomst till en Azure OpenAI-resurs:

1. Öppna en privat webbläsarsession och navigera sedan till https://oai.azure.com.
2. I stället för att omedelbart ange dina autentiseringsuppgifter för gästkontot väljer du i stället Sign-in options
3. Välj nu Logga in på en organisation
4. Ange domännamnet för den organisation som gav gästkontot åtkomst till Azure OpenAI-resursen.
5. Logga nu in med dina autentiseringsuppgifter för gästkontot.

Nu bör du kunna komma åt resursen via Azure OpenAI Studio.

Om du är inloggad på Azure-portalen från Azure OpenAI-resursens översiktsfönster kan du välja Gå till Azure OpenAI Studio för att automatiskt logga in med lämplig organisationskontext.

Azure OpenAI-modeller (inklusive GPT-4) kan inte korrekt identifiera vilken modell som körs är förväntat beteende.

Varför händer det här?

I slutändan utför modellen nästa tokenförutsägelse som svar på din fråga. Modellen har ingen inbyggd möjlighet att fråga vilken modellversion som körs för närvarande för att besvara din fråga. För att besvara den här frågan kan du alltid gå till Azure OpenAI Studio>Management>Deployments> och läsa kolumnen modellnamn för att bekräfta vilken modell som för närvarande är associerad med ett visst distributionsnamn.

Frågorna "Vilken modell kör du?" eller "Vilken är den senaste modellen från OpenAI?" ger liknande kvalitetsresultat för att fråga modellen vad vädret kommer att bli idag. Det kan returnera rätt resultat, men enbart av en slump. På egen hand har modellen ingen annan verklig information än vad som ingick i dess tränings-/träningsdata. När det gäller GPT-4 går de underliggande träningsdata från och med augusti 2023 endast fram till september 2021. GPT-4 släpptes inte förrän i mars 2023, så om inte OpenAI släpper en ny version med uppdaterade träningsdata, eller en ny version som är finjusterad för att besvara dessa specifika frågor, är det förväntat beteende för GPT-4 att svara på att GPT-3 är den senaste modellversionen från OpenAI.

Om du vill hjälpa en GPT-baserad modell att korrekt svara på frågan "vilken modell kör du?", skulle du behöva tillhandahålla den informationen till modellen via tekniker som snabb teknik för modellens systemmeddelande, Retrieveal Augmented Generation (RAG) som är den teknik som används av Azure OpenAI på dina data där uppdaterad information matas in till systemmeddelandet vid frågetillfället, eller via finjustering där du kan finjustera specifika versioner av modellen för att besvara den frågan på ett visst sätt baserat på modellversionen.

Om du vill veta mer om hur GPT-modeller tränas och fungerar rekommenderar vi att du tittar på Andrej Karpathys samtal från build 2023 om gpt-tillståndet.

Det här beteendet är förväntat. Modellerna kan inte svara på frågor om sig själva. Om du vill veta när kunskapsavstängningen för modellens träningsdata är kan du läsa sidan modeller.

Det här beteendet är förväntat. Först finns det ingen garanti för att varje händelse nyligen var en del av modellens träningsdata. Och även när information var en del av träningsdata, utan att använda ytterligare tekniker som Rag (Retrieval Augmented Generation) för att hjälpa till att jorda modellens svar finns det alltid en chans att ogrundade svar inträffar. Både Azure OpenAI:s användning av din datafunktion och Bing Chat använder Azure OpenAI-modeller i kombination med hämtningsförhöjd generation för att hjälpa till med ytterligare markmodellsvar.

Frekvensen som en viss information visades i träningsdata kan också påverka sannolikheten för att modellen svarar på ett visst sätt.

Att fråga den senaste GPT-4 Turbo Preview-modellen om något som nyligen ändrades som "Vem är Nya Zeelands premiärminister?", kommer sannolikt att resultera i det fabricerade svaret Jacinda Ardern. Men frågar modellen "När avgick Jacinda Ardern som premiärminister?" Tenderar att ge ett korrekt svar som visar kunskap om träningsdata som går till åtminstone januari 2023.

Så även om det är möjligt att avsöka modellen med frågor för att gissa dess kunskapsskärning för träningsdata, är modellens sida det bästa stället att kontrollera en modells kunskapsskärning.

Äldre prisinformation är tillgänglig via en nedladdningsbar PDF-fil. För alla andra modeller, se den officiella prissättningssidan.

Du kan minimera förekomsten av dessa fel genom att sänka temperaturen för dina frågor till mindre än 1 och se till att du använder en klient med logik för återförsök. Om du försöker igen resulterar det ofta i ett lyckat svar.

Om tjänsten utför bearbetningen debiteras du även om statuskoden inte lyckas (inte 200). Vanliga exempel på detta är ett 400-fel på grund av ett innehållsfilter eller en indatagräns eller ett 408-fel på grund av en tidsgräns. Avgifter inträffar också när en status 200 tas emot med en finish_reason av content_filter. I det här fallet hade uppmaningen inga problem, men slutförandet som genererades av modellen upptäcktes bryta mot reglerna för innehållsfiltrering, vilket resulterar i att slutförandet filtreras. Om tjänsten inte utför bearbetningen debiteras du inte. Till exempel ett 401-fel på grund av autentisering eller ett 429-fel på grund av att hastighetsgränsen överskrids.

Åtkomsten är för närvarande begränsad eftersom vi har hög efterfrågan, kommande produktförbättringar och Microsofts engagemang för ansvarsfull AI. För tillfället arbetar vi med kunder med ett befintligt partnerskap med Microsoft, användningsfall med lägre risk och de som har åtagit sig att implementera åtgärder. Använd här för inledande åtkomst: Använd nu

Vi tillhandahåller för närvarande inte någon tidslinje för åtkomstgodkännande.

För månatliga uppdateringar, se vår nyheter sida.

Se vår introduktion till Azure OpenAI-utbildningskursen.

• Vi rekommenderar att du skickar frågor om Microsoft Q&A.
• Du kan också ställa frågor om Stack Overflow.

Azure OpenAI är en del av Azure AI-tjänster. Du kan lära dig mer om alla supportalternativ för Azure AI-tjänster i support- och hjälpguiden.

Läs tillgänglighetsguiden för Azure OpenAI-modellen.

Läs Guiden för tillgänglighet av Azure OpenAI-modellen för att se regionens tillgänglighet.

För att få åtkomst till finjusteringen behöver du Cognitive Services OpenAI-deltagare tilldelad. Även personer med behörigheter som tjänstadministratör på hög nivå skulle behöva det här kontot uttryckligen inställt för att få åtkomst till finjustering. Mer information finns i vägledningen för rollbaserad åtkomstkontroll.

En basmodell är en modell som inte har anpassats eller finjusterats för ett specifikt användningsfall. Finjusterade modeller är anpassade versioner av basmodeller där en modells vikter tränas på en unik uppsättning frågor. Med finjusterade modeller kan du uppnå bättre resultat på ett bredare antal uppgifter utan att behöva ange detaljerade exempel för kontextinlärning som en del av slutförandeprompten. Mer information finns i vår finjusteringsguide.

100

Vi har inte något definierat serviceavtal för API-svarstid (SLA) för tillfället. Mer information om serviceavtalet för Azure OpenAI-tjänsten finns på sidan Servicenivåavtal (SLA) för onlinetjänster.

Om en anpassad (finjusterad) modell distribueras i mer än 15 dagar under vilka inga slutföranden eller samtal om chattavslut görs till den, tas distributionen bort automatiskt (och inga ytterligare värdavgifter debiteras för den distributionen). Den underliggande anpassade modellen är fortfarande tillgänglig och kan distribueras om när som helst. Mer information finns i artikeln om hur du gör.

Det finns för närvarande två olika REST-API:er som tillåter modelldistribution. För de senaste modelldistributionsfunktionerna, till exempel möjligheten att ange en modellversion under distributionen för modeller som textinbäddning-ada-002 version 2, använder du anropet Distributioner – Skapa eller uppdatera REST API.

Nej, TPM-allokering (kvottoken per minut) är inte relaterad till maxgränsen för indatatoken för en modell. Tokenbegränsningar för modellindata definieras i modelltabellen och påverkas inte av ändringar i TPM.

Nej, vi stöder inte finjustering av bildfunktionerna i GPT-4 just nu.

Nej, du kan använda dall-e-3 för att generera bilder och gpt-4-visual-preview förstå bilder.

Vi stöder för närvarande PNG (.png), JPEG (.jpeg och .jpg), WEBP (.webp) och icke-animerad GIF (.gif).

Ja, vi begränsar bilduppladdningar till 20 MB per bild.

Nej, vi tar bort avbildningen åt dig automatiskt när den har bearbetats av modellen.

Vi bearbetar bilder på tokennivå, så varje bild som vi bearbetar räknas mot din TPM-gräns (token per minut). Mer information om formeln som används för att fastställa antalet token per bild finns i avsnittet Bildtoken i Översikt.

Nej, modellen tar inte emot bildmetadata.

Om en bild är tvetydig eller oklar gör modellen sitt bästa för att tolka den. Resultaten kan dock vara mindre exakta. En bra tumregel är att om en genomsnittlig människa inte kan se informationen i en bild i de upplösningar som används i låg/hög res-läge kan modellen inte heller göra det.

Se avsnittet begränsningar i konceptguiden GPT-4 Turbo with Vision.

Ja. Till skillnad från API för chattslutsättning är Azure OpenAI Assistants ett tillståndskänsligt API, vilket innebär att det behåller data. Det finns två typer av data som lagras i ASSISTENT-API:et:

• Tillståndskänsliga entiteter: Trådar, meddelanden och körningar som skapats under assistentanvändning.
• Filer: Laddas upp under assistentkonfigurationen eller som en del av ett meddelande.

Data lagras i ett säkert, Microsoft-hanterat lagringskonto som är logiskt avgränsat.

Alla data som används bevaras i det här systemet om du inte uttryckligen tar bort dessa data. Använd borttagningsfunktionen med tråd-ID:t för den tråd som du vill ta bort. Om du rensar Run in the Assistants Playground tas inte trådar bort, men om du tar bort dem med hjälp av borttagningsfunktionen visas de inte på trådsidan.

Nej. För närvarande stöder Assistenter endast lokala filer som laddats upp till den assistenthanterade lagringen. Du kan inte använda ditt privata lagringskonto med assistenter.

Nej. Data används inte för Microsoft som inte används för träningsmodeller. Mer information finns i dokumentationen om ansvarsfull AI.

Azure OpenAI Assistants-slutpunkter är regionala och data lagras i samma region som slutpunkten. Mer information finns i dokumentationen om Azure-datahemvist.

När du använder API för assistenter debiteras du för närvarande för följande:

• Slutsatsdragningskostnad (indata och utdata) för den basmodell som du använder för varje assistent (till exempel gpt-4-0125). Om du har skapat flera assistenter debiteras du för basmodellen som är kopplad till varje assistent.
• Om du har aktiverat kodtolkarverktyget. Om din assistent till exempel anropar kodtolkaren samtidigt i två olika trådar skulle detta skapa två kodtolkarsessioner, som var och en skulle debiteras. Varje session är aktiv som standard i en timme, vilket innebär att du bara betalar den här avgiften en gång om användaren fortsätter att ge instruktioner till kodtolkaren i samma tråd i upp till en timme.

Mer information, se prissidan.

Nej. Alla kvoter gäller för användning av modeller med assistenter.

Api för assistenter stöder endast Azure OpenAI-modeller.

API:et assistenter är för närvarande i offentlig förhandsversion. Håll dig informerad om våra senaste produktuppdateringar genom att regelbundet besöka sidan Nyheter .

Mer information om hur du kommer igång och använder assistenter finns i artiklarna Konceptuell, snabbstart och instruktioner. Du kan också kolla in kodexempel för Azure OpenAI Assistants på GitHub.

Du kan anpassa din publicerade webbapp i Azure-portalen. Källkoden för den publicerade webbappen finns på GitHub, där du hittar information om hur du ändrar appens klientdel samt instruktioner för att skapa och distribuera appen.

Din appkod skrivs inte över när du uppdaterar din app. Appen uppdateras för att använda Azure OpenAI-resursen, Azure AI Search-indexet (om du använder Azure OpenAI på dina data) och modellinställningarna som valts i Azure OpenAI Studio utan att ändra utseendet eller funktionerna.

Azure OpenAI för dina data är en funktion i Azure OpenAI Services som hjälper organisationer att generera anpassade insikter, innehåll och sökningar med hjälp av sina avsedda datakällor. Den fungerar med funktionerna i OpenAI-modellerna i Azure OpenAI för att ge mer exakta och relevanta svar på användarfrågor på naturligt språk. Azure OpenAI på dina data kan integreras med kundens befintliga program och arbetsflöden, ger insikter om viktiga prestandaindikatorer och kan interagera sömlöst med användare.

Alla Azure OpenAI-kunder kan använda Azure OpenAI på dina data via Azure AI Studio och Rest API.

Azure OpenAI på dina data stöder inmatning från Azure AI Search, Azure Blob Storage och uppladdning av lokala filer. Du kan lära dig mer om Azure OpenAI på dina data från den konceptuella artikeln och snabbstarten.

När du använder Azure OpenAI på dina data medför du kostnader när du använder Azure AI Search, Azure Blob Storage, Azure Web App Service, semantisk sökning och OpenAI-modeller. Det finns ingen extra kostnad för att använda funktionen "dina data" i Azure AI Studio.

Du kan förbereda indexet själv med hjälp av ett skript som tillhandahålls på GitHub. Med det här skriptet skapas ett Azure AI Search-index med all information som behövs för att bättre använda dina data, med dina dokument uppdelade i hanterbara segment. Mer information om hur du kör den finns i README-filen med koden för dataförberedelse.

Du kan schemalägga en automatisk indexuppdatering eller ladda upp ytterligare data till din Azure Blob Container och använda den som datakälla när du skapar ett nytt index. Det nya indexet innehåller alla data i containern.

Mer information om filtyper som stöds finns i Använda dina data .

Ja, Azure OpenAI för dina data är en del av Azure OpenAI-tjänsten och fungerar med de modeller som är tillgängliga i Azure OpenAI. Funktionerna för innehållsfiltrering och övervakning av missbruk i Azure OpenAI gäller fortfarande. Mer information finns i översikten över ansvarsfulla AI-metoder för Azure OpenAI-modeller och Transparency Note för Azure OpenAI för extra vägledning om hur du använder Azure OpenAI på dina data på ett ansvarsfullt sätt.

Ja, tokengränsen för systemmeddelandet är 400. Om systemmeddelandet är mer än 400 token ignoreras resten av token utöver de första 400. Den här begränsningen gäller endast för Azure OpenAI för din datafunktion.

Azure OpenAI för dina data stöder för närvarande inte funktionsanrop.

Du måste skicka frågor på samma språk som dina data. Dina data kan finnas på något av de språk som stöds av Azure AI Search.

När du väljer "Azure AI Search" som datakälla kan du välja att tillämpa semantisk sökning. Om du väljer "Azure Blob Container" eller "Upload files" (Ladda upp filer) som datakälla kan du skapa indexet som vanligt. Efteråt skulle du ändra data med hjälp av alternativet "Azure AI Search" för att välja samma index och tillämpa semantisk sökning. Sedan är du redo att chatta med dina data med semantisk sökning tillämpad.

När du väljer "Azure Blob Container", "Azure AI Search" eller "Upload files" (Ladda upp filer) som datakälla kan du även välja en Ada-inbäddningsmodelldistribution som ska användas när du matar in dina data. Då skapas ett Azure AI Search-index med vektorinbäddningar.

Det går inte att skapa index när du lägger till inbäddningar i ditt index om hastighetsgränsen för distributionen av Ada-inbäddningsmodellen är för låg eller om du har en mycket stor uppsättning dokument. Du kan använda det här skriptet på GitHub för att skapa indexet med inbäddningar manuellt.

Kundens upphovsrättsåtagande är en bestämmelse som ska ingå i Microsofts produktvillkor den 1 december 2023 som beskriver Microsofts skyldighet att försvara kunder mot vissa immateriella anspråk från tredje part som rör utdatainnehåll. Om anspråkets ämne är Utdatainnehåll som genererats från Azure OpenAI-tjänsten (eller någon annan täckt produkt som gör det möjligt för kunder att konfigurera säkerhetssystemen) måste kunden ha implementerat alla åtgärder som krävs av Dokumentationen för Azure OpenAI Service i erbjudandet som levererade utdatainnehållet. De åtgärder som krävs dokumenteras här och uppdateras kontinuerligt. För nya tjänster, funktioner, modeller eller användningsfall publiceras nya CCC-krav och börjar gälla vid eller efter lanseringen av en sådan tjänst, funktion, modell eller användningsfall. Annars har kunderna sex månader på sig från publiceringstillfället att implementera nya åtgärder för att upprätthålla täckningen enligt CCC. Om en kund lämnar in ett anspråk måste kunden visa att de relevanta kraven uppfylls. Dessa åtgärder krävs för täckta produkter som gör det möjligt för kunder att konfigurera säkerhetssystemen, inklusive Azure OpenAI Service. de påverkar inte täckningen för kunder som använder andra täckta produkter.

Nästa steg

• Kvoter och gränser för Azure OpenAI
• Nyheter i Azure OpenAI
• Azure OpenAI-snabbstarter