Az Azure OpenAI üzembehelyezési típusai

Cikk
05/21/2024

Az Azure OpenAI az üzleti és használati mintáknak megfelelő üzemeltetési struktúrával kapcsolatos lehetőségeket biztosít az ügyfelek számára. A szolgáltatás két fő üzembe helyezési típust kínál: standard és kiépített. A Standard egy globális üzembe helyezési lehetőséggel érhető el, amely globálisan irányítja a forgalmat, hogy nagyobb átviteli sebességet biztosítson. Minden üzembe helyezés pontosan ugyanazokat a következtetési műveleteket hajthatja végre, azonban a számlázás, a skálázás és a teljesítmény lényegesen eltérő. A megoldástervezés részeként két kulcsfontosságú döntést kell meghoznia:

Adattárolási igények: globális és regionális erőforrások
Híváskötet: standard és kiépített

Globális és regionális üzembehelyezési típusok

Standard üzemelő példányok esetén kétféle konfigurációt választhat az erőforráson belül – globális vagy regionális. A globális szabvány a fejlesztés és a kísérletezés ajánlott kiindulópontja. A globális üzemelő példányok az Azure globális infrastruktúráját használják, dinamikusan irányítva az ügyfélforgalmat az adatközpontba, a legjobb rendelkezésre állással az ügyfél következtetési kérelmeihez. A globális üzemelő példányok esetében magasabb a kezdeti átviteli sebességkorlát, bár a késés magas használati szinteken változhat. Azoknak az ügyfeleknek, akik nagyobb számítási feladatok használata esetén alacsonyabb késési eltérést igényelnek, javasoljuk a kiosztott átviteli sebesség megvásárlását.

A globális üzemelő példányok lesznek az összes új modell és funkció első helye. A nagyon nagy átviteli sebességre vonatkozó követelményekkel rendelkező ügyfeleknek érdemes megfontolni a kiépített üzembe helyezési ajánlatunkat.

Üzembehelyezési típusok

Az Azure OpenAI háromféle üzembe helyezést kínál. Ezek különböző szintű képességeket biztosítanak, amelyek kompromisszumot biztosítanak az átviteli sebesség, az SLA-k és az ár tekintetében. Az alábbiakban összefoglaljuk a lehetőségeket, majd az egyes lehetőségek részletesebb leírását.

Kínál	Global-Standard¹	Standard	Kiépítve
A legjobban a	Olyan alkalmazások, amelyek nem igényelnek adattárolást. Ajánlott kezdőhely az ügyfelek számára.	Adattárolási követelményekkel rendelkező ügyfelek számára. Alacsony és közepes kötetre optimalizálva.	Valós idejű pontozás nagy konzisztens kötetekhez. A legmagasabb kötelezettségvállalásokat és korlátokat tartalmazza.
Működési elv	A forgalom a világ bármely pontjára irányítható
Bevezetés	Modell üzembe helyezése	Modell üzembe helyezése	Üzembe helyezés kiépítve
Költségek	Alapvonal	Regionális díjszabás	Költségmegtakarítást tapasztalhat a konzisztens használat érdekében
Mit kap?	Egyszerű hozzáférés az összes új modellhez a legmagasabb alapértelmezett hívásonkénti fizetési korlátokkal. A nagy mennyiségű használattal rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak	Könnyű hozzáférés az SLA-val a rendelkezésre álláshoz. Alacsony és közepes méretű, nagy kapacitású számítási feladatokhoz optimalizálva. A nagy konzisztens kötettel rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak.	Regionális hozzáférés nagyon magas és kiszámítható átviteli sebességgel. PTU-nkénti átviteli sebesség meghatározása a megadott kapacitáskalkulátor használatával
Amit nem kap meg	❌Adattárolási garanciák	❌Nagy mennyiségű w/konzisztens alacsony késés	❌Hívásonkénti fizetés rugalmassága
Hívásonkénti késés	Valós idejű híváshoz és alacsony és közepes kötethasználathoz optimalizálva. A nagy mennyiségű használattal rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak. Modellenkénti küszöbérték-beállítás	Valós idejű híváshoz és alacsony és közepes kötethasználathoz optimalizálva. A nagy mennyiségű használattal rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak. Modellenkénti küszöbérték-beállítás	Valós idejűre optimalizálva.
Termékváltozat neve a kódban	`GlobalStandard`	`Standard`	`ProvisionedManaged`
Számlázási modell	Jogkivonatonkénti fizetés	Jogkivonatonkénti fizetés	Havi kötelezettségvállalások

¹ A globális szabvány szerinti üzembe helyezési típus jelenleg előzetes verzióban érhető el.

Kiépítve

A kiépített üzemelő példányok lehetővé teszik az üzembe helyezéshez szükséges átviteli sebesség megadását. A szolgáltatás ezután lefoglalja a szükséges modellfeldolgozási kapacitást, és biztosítja, hogy készen áll az Ön számára. Az átviteli sebesség a kiosztott átviteli egységek (PTU) szempontjából van definiálva, amely az üzembe helyezés átviteli sebességének normalizált módja. Az egyes modellverzió-párok üzembe helyezéséhez és PTU-nként eltérő átviteli sebesség biztosításához különböző mennyiségű PTU szükséges. További információ a kiosztott átviteli sebesség fogalmairól szóló cikkünkből.

Standard

A standard üzemelő példányok hívásonkénti számlázási modellt biztosítanak a kiválasztott modellen. Az első lépések leggyorsabb módja, mivel csak a felhasznált mennyiségért kell fizetnie. Az egyes régiókban elérhető modellek és az átviteli sebesség korlátozott lehet.

A standard üzembe helyezéseket alacsony és közepes méretű, nagy kapacitású számítási feladatokhoz optimalizáljuk. A nagy konzisztens kötettel rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak.

Globális szabvány (előzetes verzió)

A globális üzemelő példányok ugyanabban az Azure OpenAI-erőforrásokban érhetők el, mint a nem globális ajánlatok, de lehetővé teszik az Azure globális infrastruktúrájának kihasználását, hogy dinamikusan irányíthassa a forgalmat az adatközpontba az egyes kérések legjobb rendelkezésre állása mellett. A globális szabvány biztosítja az új modellek legmagasabb alapértelmezett kvótáit, és szükségtelenné teszi a terheléselosztást több erőforrás között.

Az üzembe helyezés típusa alacsony és közepes méretű, nagy kapacitású számítási feladatokhoz van optimalizálva. A nagy konzisztens kötettel rendelkező ügyfelek nagyobb késési variabilitást tapasztalhatnak. A küszöbérték modellenként van beállítva. További információt a kvóták oldalán talál.

Azoknak az ügyfeleknek, akik nagyobb számítási feladatok használata esetén alacsonyabb késési eltérést igényelnek, javasoljuk a kiosztott átviteli sebesség megvásárlását.

Globális központi telepítésekhez való hozzáférés letiltása az előfizetésben

Az Azure Policy segít a szervezeti szabványok betartatásában és a megfelelőségi követelmények nagy léptékű kiértékelésében. A megfelelőségi irányítópulton keresztül egy összesített nézetet biztosít a környezet általános állapotának kiértékeléséhez, amely lehetővé teszi az erőforrások és szabályzatok szintjén történő részletes elemzést is. Ezenfelül segít biztosítani az erőforrások megfelelőségét a meglévő erőforrások tömeges, illetve az új erőforrások automatikus szervizelésével. További információ az Azure Policyról és az AI-szolgáltatások speciális beépített vezérlőiről.

Az alábbi szabályzattal letilthatja az Azure OpenAI globális standard üzemelő példányaihoz való hozzáférést.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Modellek üzembe helyezése

Az erőforrások létrehozásáról és a modellek üzembe helyezéséről az erőforrás-létrehozási útmutatóban olvashat.

Megosztás a következőn keresztül: