Vanliga frågor och svar om hur du använder Azure AI-tjänster för nystartade företag.
Kolla in generativ AI för nybörjare på GitHub. Det är en instruktionsuppsättning på 18 lektioner som introducerar alla de viktigaste Azure OpenAI-funktionerna och visar hur du skapar program med dem.
Använd Azure AI Studio för att testa en mängd olika AI-funktioner, inklusive distribution av Azure OpenAI-modeller och tillämpning av con tältläge rationstjänster.
Olika Azure OpenAI-modeller är begränsade till olika regioner. En fullständig lista finns i tabellen för modelltillgänglighet .
Effekten är minimal, såvida du inte använder strömningsfunktionen. Svarstiden för modellens eget svar har en mycket större effekt på svarstiden än regionskillnader.
Valet att använda en dedikerad Azure OpenAI-server jämfört med betala per användning-plan har också en större inverkan på prestanda.
Se Hantera Azure OpenAI-tjänstkvot för att förstå hur kvotgränser fungerar och hur du hanterar dem.
För kunder som använder modellen betala per användning (vanligast) kan du läsa sidan Hantera Azure OpenAI-tjänstkvot . För kunder som använder en dedikerad Azure OpenAI-server kan du läsa avsnittet om kvoter i den relaterade guiden.
Överväg att kombinera flera Azure OpenAI-distributioner i en avancerad arkitektur för att skapa ett system som levererar fler token per minut till fler användare.
När ska jag använda en dedikerad Azure OpenAI-server (PTU) i stället för modellen betala per användning?
Du bör överväga att byta från betala per användning till etablerat dataflöde när du har väldefinierade, förutsägbara dataflödeskrav. Detta är vanligtvis fallet när programmet är redo för produktion eller redan har distribuerats i produktion och det finns en förståelse för den förväntade trafiken. Detta gör det möjligt för användare att korrekt prognostisera den kapacitet som krävs och undvika oväntad fakturering.
Hur gör jag för att hantera hög trafik och se till att mitt Azure OpenAI-program förblir responsivt?
Skapa en lastbalanserare för ditt program.
Se exemplet för belastningsutjämning om du använder modellen betala per användning. Om du använder en dedikerad Azure OpenAI-server kan du läsa PTU-guiden för information om belastningsutjämning.
Skapa en onlinedistribution med hjälp av promptflöde i Azure AI Studio. Testa sedan genom att ange värden i formulärredigeraren eller JSON-redigeraren.
I guiden Utvärderings- och övervakningsmått finns information om hur du spårar risk- och säkerhetsmått samt ett antal mått för svarskvalitet.
Använd övervakningsfunktionen i Azure OpenAI Studio. Den innehåller en instrumentpanel som spårar prestandamåtten för dina modeller över tid.
Se referensarkitekturen för Azure OpenAI-chatt för bästa praxis för att distribuera ett standardchattprogram.
Se communityforumet för artificiell intelligens och maskininlärning .
Mer information finns i Microsoft för nystartade företag.