Veelgestelde vragen over het gebruik van Azure AI-services voor start-ups.
Bekijk de Generatieve AI voor beginnerscursus op GitHub. Het is een instructieset van 18 lessen die alle belangrijkste Azure OpenAI-functies introduceert en laat zien hoe u hiermee toepassingen bouwt.
Gebruik Azure AI Studio om verschillende AI-mogelijkheden te testen, waaronder het implementeren van Azure OpenAI-modellen en het toepassen van con tentmodus rationservices.
Verschillende Azure OpenAI-modellen zijn beperkt tot verschillende regio's. Zie de beschikbaarheidstabel van het model voor een volledige lijst.
De impact is minimaal, tenzij u de streamingfunctie gebruikt. De latentie van het eigen antwoord van het model heeft een veel groter effect op latentie dan regioverschillen.
De keuze voor het gebruik van een toegewezen Azure OpenAI-server versus een betalen per gebruik-abonnement heeft ook een grotere invloed op de prestaties.
Zie Quotum voor Azure OpenAI-service beheren om te begrijpen hoe quotumlimieten werken en hoe u deze beheert.
Zie de pagina Azure OpenAI Service-quotum beheren voor klanten die gebruikmaken van het model voor betalen per gebruik (meest voorkomend). Zie de sectie quotum van de gerelateerde handleiding voor klanten die een toegewezen Azure OpenAI-server gebruiken.
Overweeg om meerdere Azure OpenAI-implementaties in een geavanceerde architectuur te combineren om een systeem te bouwen dat meer tokens per minuut levert aan meer gebruikers.
Wanneer moet ik een toegewezen Azure OpenAI-server (PTU) gebruiken in plaats van het model betalen per gebruik?
Overweeg om over te schakelen van betalen per gebruik naar ingerichte doorvoer wanneer u goed gedefinieerde, voorspelbare doorvoervereisten hebt. Dit is meestal het geval wanneer de toepassing gereed is voor productie of al in productie is geïmplementeerd en er inzicht is in het verwachte verkeer. Hierdoor kunnen gebruikers de vereiste capaciteit nauwkeurig voorspellen en onverwachte facturering voorkomen.
Hoe kan ik veel verkeer beheren en ervoor zorgen dat mijn Azure OpenAI-toepassing responsief blijft?
Maak een load balancer voor uw toepassing.
Zie het voorbeeld van taakverdeling als u het model betalen per gebruik gebruikt. Als u een toegewezen Azure OpenAI-server gebruikt, raadpleegt u de PTU-handleiding voor informatie over taakverdeling.
Maak een onlineimplementatie met behulp van een promptstroom in Azure AI Studio. Test het vervolgens door waarden in te voeren in de formuliereditor of JSON-editor.
Zie de handleiding met metrische gegevens voor evaluatie en bewaking voor informatie over het bijhouden van metrische gegevens over risico's en veiligheid, evenals een aantal metrische gegevens over de responskwaliteit.
Welke hulpprogramma's kan ik gebruiken om de prestaties van mijn Azure OpenAI-eindpunten te bewaken?
Gebruik de bewakingsfunctie van Azure OpenAI Studio. Het biedt dashboards waarmee de metrische prestatiegegevens van uw modellen in de loop van de tijd worden bijgehouden.
Wat zijn enkele aanbevolen procedures voor het implementeren van OpenAI-toepassingen in Azure in productie?
Zie de referentiearchitectuur voor Azure OpenAI-chats voor aanbevolen procedures voor het implementeren van een standaardchattoepassing.
Zie Microsoft voor Startups voor meer informatie.