A Microsoft Foundry modellek üzembe helyezési típusai

Amikor Microsoft Foundryben helyez üzembe egy modellt, a következőt meghatározó üzembe helyezési típust kell választania:

  • Az adatok feldolgozásának helye (globális, adatzóna vagy Azure földrajzi hely)
  • Fizetés (tokenenkénti fizetés vagy a fenntartott kapacitás)
  • Teljesítményjellemzők (késési variancia, átviteli sebességkorlátok)

Ezek az üzembe helyezési típusok a Kiszolgáló nélküli API üzembe helyezési lehetőségére vonatkoznak. A felügyelt számítást használó nyílt forráskódú és egyéni modellek nem használják ezeket a típusokat. A beállítások eltérőségéről az Microsoft Öntödei modellek üzembe helyezési áttekintésében olvashat.

A szolgáltatás három fő kategóriát kínál: standard (jogkivonatonkénti fizetés), kiépített (fenntartott kapacitás) és köteg (kedvezményes aszinkron feldolgozás). A fejlesztői típus a modell finomhangolásához is elérhető. A standard és kiépített kategóriákon belül a megfelelőségi követelmények alapján globális, adatzónás vagy földrajzi alapú feldolgozást választhat.

Tipp

Nem kell mindig telepítést létrehozni. Az azonnali hozzáféréssel (előzetes verzió) név szerint hívhatja meg a támogatott modelleket, és azonnal megkezdheti a következtetés futtatását – nincs szükség üzembe helyezésre.

Képernyőkép az Foundry portál üzembe helyezési párbeszédpaneléről, amelyen az üzembe helyezési típus kijelölési mezője látható, amelyen a Global Standard van kiválasztva.

Fontos

Adat-tartózkodási hely az összes üzembe helyezési típushoz: A inaktív állapotban tárolt adatok a kijelölt Azure földrajzi helyen maradnak. A következtetési adatok feldolgozása azonban az alábbiak szerint történik:

  • Global típusok: Bármely Azure régióban feldolgozható
  • Adatzóna-típusok: A szolgáltatás csak a Microsoft megadott adatzónán (USA, EU vagy Ázsia csendes-óceáni régiója (APAC) belül dolgozza fel az adatokat.
  • Standard és regionális kiosztott típusok: A kérések és válaszok az ügyfél által megadott Azure földrajzi helyen vannak feldolgozva, és működési célból az adott földrajzi régió régiói között feldolgozhatók.

További információ az adatrezidenciáról.

Kezdés a Global Standard használatával

A legtöbb számítási feladat esetében a Global Standard használatával kell kezdeni. Először egy új modell megjelenésekor indul el, a legalacsonyabb az ára, és a legtágabb régiós lefedettséget nyújtja. Csak akkor váltson másik üzembe helyezési típusra, ha erre konkrét oka van, például adatrezidencia, lefoglalt átviteli kapacitás vagy aszinkron kötegelt feldolgozás.

Az új üzembehelyezési típusok meghatározott sorrendben válnak elérhetővé: globális, majd adatzóna, majd földrajzi alapú. A földrajzi alapú üzembehelyezési típusok utoljára érkeznek, nincs garantált rendelkezésre állási dátumuk, és a régebbi modellek kivonása során felszabadított kapacitástól függenek. A mérvadó indítási sorrendről a Modellindítás és a rendelkezésre állás című témakörben olvashat.

Üzembehelyezési típus összehasonlítása

Az azonnali modellek lehetővé teszik a következtetés futtatását üzembe helyezés létrehozása nélkül, így ezek nem központi telepítési típusok. A modellek azonnali kipróbálásához tekintse meg a modellek azonnali elérését.

Üzembe helyezés típusa Termékváltozat kódja Adatfeldolgozás Számlázás Legjobb
Global Standard GlobalStandard Bármely Azure régió Fizetés tokenenként Általános munkaterhelések, legmagasabb kvóta
Globálisan előkészítve GlobalProvisionedManaged Bármely Azure régió Fenntartott PTU Kiszámítható nagy átviteli sebesség
Globális csomag GlobalBatch Bármely Azure régió 50% kedvezmény, 24 órás Nagy aszinkron feladatok
Adatzóna Szabvány DataZoneStandard Adatzónán belül Fizetés tokenenként EU/US/APAC adatzóna-megfelelőség
Kiépített adatzóna DataZoneProvisionedManaged Adatzónán belül Fenntartott PTU Adatzóna + kiszámítható átviteli sebesség
Adatzóna kötege DataZoneBatch Adatzónán belül 50% kedvezmény Nagy aszinkron feladatok adatzónával
Standard Standard Az Azure-geográfián belül Fizetés tokenenként Földrajzi megfelelőség, alacsony mennyiség
Regionális előállított ProvisionedManaged Az Azure földrajzi területén belül Fenntartott PTU Földrajzi megfelelőség + átviteli sebesség
Fejlesztő DeveloperTier Bármely Azure régió Fizetés tokenenként Csak finomhangolt modellértékelés (24 órás élettartam, nincs SLA vagy adattárolási garancia)

Megjegyzés

Nem minden modell támogatja az összes üzembe helyezési típust. Ellenőrizze az Azure által értékesített Foundry-modelleket a modellek üzembehelyezési típus és régió szerinti elérhetőségéhez.

Az SLA-garanciák az üzembe helyezés típusától függően változnak. A kiépített típusok garantált átviteli sebességet és alacsonyabb késési varianciát biztosítanak. A standard típusok mindent megtesznek a szolgáltatásért. A fejlesztői telepítések nem tartalmaznak SLA-t. A részletekért lásd az Azure OpenAI Service Azure SLA-ját.

Tipp

A részletes díjszabásért lásd: Azure OpenAI Service díjszabás.

Válassza ki a megfelelő üzembehelyezési típust

A gyors javaslathoz használja az alábbi táblázatot, majd finomítsa az alábbi feltételekkel.

Követelmény Ajánlott szint
Alapértelmezett: legújabb modellek, legalacsonyabb ár, legszélesebb régiók Global Standard
Fenntartott, kiszámítható átviteli sebesség Globális ellátás
A feldolgozás maradjon egy adatzónán belül Szabványos adatzóna vagy kiépített adatzóna
Adatrezidencia és fenntartott átviteli teljesítmény Kiépített adatzóna
A feldolgozás megőrzése egy Azure-földrajzi területen belül Standard vagy regionális kiépítés (ahol támogatott)
Nagy aszinkron feladatok alacsonyabb költséggel Globális kötegelt feldolgozás vagy adatzóna-kötegelt feldolgozás (ha támogatott)
Finomhangolt modell kiértékelése (ideiglenes, SLA nélkül) fejlesztő

Adattárolási követelmény szerint

  • Nincs korlátozás: Globális Standard vagy Globális Provisioned használata
  • EU, USA vagy APAC adatzóna: Az adatzóna standard vagy az adott adatzónán belüli régióban kiépített adatzóna használata
  • Azure-földrajzi terület: Használjon standard vagy regionálisan kiépített típust

Az egyes adatzónák pontos régióiról az adatzónák üzembe helyezéséről olvashat.

Terhelésmintázat szerint

  • Gyors üzembe helyezés, prototípus-készítés vagy új modell kipróbálása: Azonnali hozzáférés (előzetes verzió) használata (nincs szükség üzembe helyezésre)
  • Változó, kiugró forgalom: Standard vagy Global Standard (jogkivonatonkénti fizetés) használata
  • Konzisztens nagy mennyiség: Kiépített típusok használata (fenntartott kapacitás)
  • Nagyméretű kötegelt feladatok (nem időkritikusak): Használja a Global Batch vagy a Data Zone Batch szolgáltatást (50%-os költségmegtakarítás)
  • Finomhangolt modell kiértékelése: Fejlesztőeszközök használata (nincs SLA, legalacsonyabb költség)

Késési követelmény szerint

  • Kis késési eltérés szükséges: Kiépített típusok használata
  • Elfogadható késési variancia: Standard típusok használata
  • Finomhangolt modell kiértékelése: Fejlesztő használata (nincs SLA; nem a késésre érzékeny számítási feladatokhoz készült).

Adatfeldolgozási helyek

A standard és a kiépített üzembe helyezések egyaránt három adatfeldolgozási lehetőséget kínálnak: globális, adatzónás és Azure-földrajzi terület. A Global Standard a legtöbb számítási feladat gyakori kiindulópontja.

Globális telepítések

Az Azure globális infrastruktúrája révén a globális telepítések dinamikusan a forgalmat az elérhető adatközpontokhoz irányítják. A globális telepítések a legmagasabb kezdeti átviteli korlátokat és a legtöbb modell elérhetőségét kínálják.

A nagy mennyiségű számítási feladatok esetében előfordulhat, hogy nagyobb késési eltérést tapasztal. Ha kisebb késési varianciára van szüksége nagy méretekben, használjon kiépített üzembe helyezési típusokat.

A globális telepítések először új modelleket és funkciókat kapnak.

Adatzónák üzembe helyezései

Globális üzembe helyezési típusok esetén a szolgáltatás feldolgozhatja a kéréseket és a válaszokat bármely olyan földrajzi helyen, ahol a modell üzembe van helyezve. Adatzóna-telepítési típusok esetén a szolgáltatás csak a megadott adatzónán belül dolgozza fel a kéréseket és a válaszokat:

  • Egyesült Államok: A szolgáltatás az Usa bármely pontján feldolgozza az adatokat.
  • Európai Unió: A szolgáltatás az eu adathatárán belül dolgozza fel az adatokat az Azure.
  • Asia Pacific: A szolgáltatás az APAC adatzónán belül dolgozza fel az adatokat.

Az EU adatzónája az EU adathatárának Azure követi, amely az eu-tagállamok mellett az Európai Szabadkereskedelmi Szövetség (EFTA) országait és régióit, például Norvégiát és Svájcot is magában foglalhatja. Az APAC-adatzóna több ázsiai csendes-óceáni régiót is lefed. Microsoft előzetes értesítés nélkül adhat hozzá régiókat bármelyik adatzónához a kapacitás és a rendelkezésre állás javítása érdekében. Az aktuális régiónkénti bontásért tekintse meg a Azure által értékesített Foundry-modellek "Modellrégió rendelkezésre állása üzembe helyezési típus szerint" című szakaszát.

Megjegyzés

A Global Standard és a Data Zone Standard üzembe helyezési típusai esetén, ha az elsődleges régió szolgáltatáskimaradást tapasztal, a rendszer az eredetileg ebbe a régióba irányított összes forgalmat érinti. További információ: magas rendelkezésre állás és vészhelyreállítási útmutató.

Global Standard

  • Termékváltozat neve a kódban: GlobalStandard

A globális standard üzemelő példányok a Azure globális infrastruktúráját használják a forgalom dinamikus átirányítására az elérhető adatközpontokhoz. Ez az üzembe helyezési típus biztosítja a legmagasabb alapértelmezett kvótát, és nincs szükség több erőforrás terheléselosztására.

A nagy mennyiségű és konzisztens forgalommal rendelkező ügyfelek nagyobb késleltetési ingadozást tapasztalhatnak. A küszöbérték modellenként van beállítva. További információkért tekintse meg a Kvóták oldalt. Az olyan alkalmazások esetében, amelyek kisebb késési varianciát igényelnek nagy számítási feladatok használata esetén, fontolja meg a kiosztott átviteli sebességet.

A Global Standard használatalapú fizetéses alapon támogatja a prioritási feldolgozást a gyorsabb válaszidő érdekében. További információ: Az Öntödei modellek prioritási feldolgozása.

Globális ellátás

  • Termékváltozat neve a kódban: GlobalProvisionedManaged

A globálisan kiépített telepítések az Azure globális infrastruktúráját használják, hogy dinamikusan irányítsák a forgalmat az elérhető adatközpontokhoz. Ez az üzembe helyezési típus fenntartott modellfeldolgozási kapacitást biztosít a kiszámítható átviteli sebességhez, kombinálva a globális útválasztást a garantált kapacitással.

A kiosztott átviteli sebességgel rögzített számú kiosztott átviteli egységeket (PTU-kat) vásárolhat, amelyek garantálják a feldolgozási kapacitás meghatározott szintjét. Ez az üzembe helyezési típus alacsonyabb és konzisztensebb késést biztosít, mint a Global Standard. További információ: Kiépített átviteli sebesség fogalmai.

Globális adag

  • Termékváltozat neve a kódban: GlobalBatch

A Global Batch nagy léptékű és nagy mennyiségű feldolgozási feladatokat kezel. A kérések aszinkron csoportjait külön kvótával és 24 órás célfordulóval dolgozhatja fel, 50% költséggel kevesebbet, mint a Global Standard. Kötegelt feldolgozás esetén ahelyett, hogy egyszerre egy kérést küldene, nagy számú kérést küldhet egyetlen fájlba. A globális Batch-kérelmek külön sorba állított token kvótával rendelkeznek, így elkerülhetők az online munkaterhelések zavarai.

Gyakori használati esetek:

  • Nagy léptékű adatfeldolgozás: Az adathalmazok párhuzamos elemzése.
  • Tartalomgenerálás: Nagy mennyiségű szöveg, például termékleírások vagy cikkek létrehozása.
  • Dokumentum áttekintése és összegzése: Hosszú dokumentumok feldolgozása és összegzése.
  • Ügyfélszolgálat automatizálása: Egyszerre több lekérdezést is kezel.
  • Adatkinyerés és -elemzés: Adatok kinyerése és elemzése nagy mennyiségű strukturálatlan adatból.
  • Természetes nyelvfeldolgozási (NLP-) feladatok: Hangulatelemzés vagy fordítás végrehajtása nagy adathalmazokon.

Megjegyzés

A kötegelt telepítések a valós idejű válaszkészség feláldozásával járnak a költségek megtakarítása érdekében. A Batch-kérelmek nem rendelkeznek valós idejű SLA-val – 24 órán belül célba veszik a befejezést, de hosszabb ideig tarthatnak.

Adatzóna Standard

  • Termékváltozat neve a kódban: DataZoneStandard

A Data Zone Standard üzemelő példányai dinamikusan irányítják a forgalmat a Microsoft-definiált adatzónán (USA, EU vagy APAC) belüli adatközpontokhoz. Ez az üzembe helyezési típus magasabb alapértelmezett kvótákat biztosít, mint a földrajzi alapú üzembe helyezési típusok, miközben az adatok a megadott zónán belül maradnak.

A nagy mennyiségű és konzisztens forgalommal rendelkező ügyfelek nagyobb késleltetési ingadozást tapasztalhatnak. A küszöbérték modellenként van beállítva. További információkért tekintse meg a kvótákat és a korlátokat ismertető oldalt. Azoknál a feladatoknál, amelyek nagy mennyiségű forgalmat és alacsony késési eltérést igényelnek, fontolja meg a dedikált üzembe helyezési típusokat.

A Data Zone Standard használatalapú fizetéses alapon támogatja a prioritás-feldolgozást a gyorsabb válaszidő érdekében. További információ: Az Öntödei modellek prioritási feldolgozása.

Kiépített adatzóna

  • Termékváltozat neve a kódban: DataZoneProvisionedManaged

A kiépített adatzónák dinamikusan irányítják a forgalmat a Microsoft megadott adatzónán belül (USA, EU vagy APAC), miközben fenntartott modellfeldolgozási kapacitást biztosítanak. Ez az üzembe helyezési típus egyesíti az adatzónák megfelelőségét a magas és kiszámítható átviteli sebességgel.

Adatzóna köteg

  • Termékváltozat neve a kódban: DataZoneBatch

A Data Zone Batch üzembe helyezései ugyanazokat a funkciókat biztosítják, mint a Global Batch, beleértve az 50% költségmegtakarítást és a 24 órás turnaroundot. A forgalom csak a Microsoft-definiált adatzónán (USA, EU vagy APAC) belüli adatközpontokra van irányítva.

Standard

  • Termékváltozat neve a kódban: Standard

A standard telepítések token alapon való számlázást használnak. Csak azért fizet, amit fogyaszt. Az egyes régiókban és átviteli sebességben elérhető modellek korlátozottak lehetnek.

A standard telepítések alacsony-közepes volumenű feladatokhoz alkalmasak, magas löketszerű terhelés esetén. A nagy mennyiségű és konzisztens forgalommal rendelkező ügyfelek nagyobb késleltetési ingadozást tapasztalhatnak.

Regionális telepített

  • Termékváltozat neve a kódban: ProvisionedManaged

A regionálisan ellátott üzemelő példányok lehetővé teszik az üzembe helyezéshez szükséges átviteli sebesség megadását. A szolgáltatás ezután lefoglalja a szükséges modellfeldolgozási kapacitást, és biztosítja, hogy készen áll az Ön számára. Az átviteli sebesség a kiosztott átviteli egységek (PTU-k) alapján van definiálva, amely az üzembe helyezés átviteli sebességének normalizált módja. Minden modell-verzió pár üzembe helyezéséhez különböző mennyiségű PTU szükséges, és PTU-nként eltérő átviteli sebességet biztosít. A minimális PTU-követelmények modellenként változnak. Az aktuális minimális értékekről és a rendelkezésre álló kapacitásról lásd a kiosztott átviteli sebesség fogalmait.

Fejlesztő (finomhangolt modellekhez)

  • Termékváltozat neve a kódban: DeveloperTier

A fejlesztői üzembehelyezési típus csak a modell finomhangolt kiértékelésére lett kialakítva. Az egyéni modellek költséghatékony tesztelését teszi lehetővé, de nem tartalmaz adattárolási garanciákat vagy SLA-t. A fejlesztői üzemelő példányok élettartama rögzített, 24 órás, és a lejárat után automatikusan törlődnek. A fejlesztői üzembe helyezés típusával kapcsolatos további információkért tekintse meg a finomhangolási útmutatót.

Üzembehelyezési problémák elhárítása

Általános problémák a kiépítések létrehozásakor vagy használatakor:

Kérdés Okoz Felbontás
Az üzembe helyezés típusa nem érhető el A modell nem támogatja a kijelölt típust Modell rendelkezésre állásának ellenőrzése üzembe helyezési típus szerint
Kvóta túllépve Az percenkénti tokenek előfizetési korlátja elérve Kvótanövelés kérése Azure portálon vagy másik régió használata
A régió nem érhető el A modell nincs üzembe helyezve a kijelölt régióban Válasszon ki egy régiót a modell rendelkezésre állási listájából
A kiépített kapacitás nem érhető el Nincs PTU-kapacitás a régióban Próbáljon ki egy másik régiót, vagy használja a Global Provisioned szolgáltatást a szélesebb körű rendelkezésre álláshoz

A kvótakorlátokat az üzembe helyezés típusa szerint az Öntödei modellek kvótái és korlátai című témakörben találja.

Az üzembe helyezési típusok korlátozása az Azure Policyvel

Azure Policy segít a szervezeti szabványok betartatásában és a megfelelőség nagy léptékű értékelésében. A megfelelőségi irányítópulton kiértékelheti a környezet általános állapotát, és lehatolást végezhet az erőforrásonkénti, szabályzatonkénti részletességre. Azure Policy támogatja a meglévő erőforrások tömeges szervizelését és az új erőforrások automatikus szervizelését is. A Foundry Tools Azure Policy és speciális beépített vezérlőiről bővebben is olvashat.

Az alábbi szabályzattal letilthatja a hozzáférést egy adott Foundry üzembehelyezési típushoz. Cserélje le GlobalStandard a korlátozni kívánt üzembe helyezési típus termékváltozatának nevét.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Kapcsolódó tartalom

  • Last updated on