Gyakori kérdések az Azure AI-szolgáltatások startupokhoz való használatával kapcsolatban.
Tekintse meg a Generative AI kezdőknek szóló tanfolyamát a GitHubon. Ez egy 18 leckéből álló utasításkészlet, amely bemutatja az Azure OpenAI összes fő funkcióját, és bemutatja, hogyan hozhat létre alkalmazásokat velük.
Az Azure AI Studióval számos AI-képességet tesztelhet, beleértve az Azure OpenAI-modellek üzembe helyezését és a con sátormód ration-szolgáltatások alkalmazását.
A különböző Azure OpenAI-modellek különböző régiókra korlátozódnak. A teljes listát a modell rendelkezésre állási táblázatában találja.
A hatás minimális, kivéve, ha a streamelési funkciót használja. A modell saját válaszának késése sokkal nagyobb hatással van a késésre, mint a régióbeli különbségekre.
A dedikált Azure OpenAI-kiszolgáló és a használatalapú fizetéses csomag használata is nagyobb hatással van a teljesítményre.
Az Azure OpenAI-szolgáltatáskvóta kezelése című témakörből megtudhatja, hogyan működnek a kvótakorlátok, és hogyan kezelheti őket.
A használatalapú fizetéses modellt (a leggyakoribb) használó ügyfelek esetében tekintse meg az Azure OpenAI szolgáltatás kvótakezelése oldalt. A dedikált Azure OpenAI-kiszolgálót használó ügyfelek számára lásd a kapcsolódó útmutató kvótaszakaszát .
Fontolja meg több Azure OpenAI-üzemelő példány kombinálását egy fejlett architektúrában egy olyan rendszer létrehozásához, amely percenként több jogkivonatot biztosít több felhasználónak.
Mikor érdemes használatalapú fizetéses modell helyett dedikált Azure OpenAI-kiszolgálót (PTU-t) használni?
Érdemes megfontolnia a használatalapú fizetésről a kiosztott átviteli sebességre való váltást, ha jól meghatározott, kiszámítható átviteli sebességre vonatkozó követelményekkel rendelkezik. Ez általában akkor fordul elő, ha az alkalmazás készen áll az éles üzemre, vagy már üzembe helyezték az éles környezetben, és tisztában van a várt forgalommal. Így a felhasználók pontosan előre jelezhetik a szükséges kapacitást, és elkerülhetik a váratlan számlázást.
Hogyan kezelni a nagy forgalmat, és gondoskodni arról, hogy az Azure OpenAI-alkalmazásom rugalmas maradjon?
Hozzon létre egy terheléselosztót az alkalmazáshoz.
Ha használatalapú fizetéses modellt használ, tekintse meg a terheléselosztási mintát. Ha dedikált Azure OpenAI-kiszolgálót használ, a terheléselosztással kapcsolatos információkért tekintse meg a PTU-útmutatót .
Online üzembe helyezés létrehozása parancssori folyamattal az Azure AI Studióban. Ezután tesztelje az űrlapszerkesztőben vagy a JSON-szerkesztőben lévő értékek bevitelével.
A kockázat- és biztonsági metrikák nyomon követésével, valamint a válaszminőségi metrikákkal kapcsolatos információkért tekintse meg a kiértékelési és monitorozási metrikákat ismertető útmutatót.
Használja az Azure OpenAI Studio monitorozási funkcióját . Olyan irányítópultokat biztosít, amelyek nyomon követik a modellek teljesítménymetrikáit az idő függvényében.
Milyen ajánlott eljárások vannak az OpenAI-alkalmazások üzembe helyezéséhez az Azure-ban éles környezetben?
A standard csevegőalkalmazások üzembe helyezéséhez ajánlott eljárásokért tekintse meg az Azure OpenAI csevegési referenciaarchitektúrát .
Tekintse meg a mesterséges intelligencia és a gépi tanulás technikai közösségi fórumát.
További információ: Microsoft for Startups.