Megosztás a következőn keresztül:

Üzembehelyezési típusok az Azure AI Foundry-modellekhez

Az Azure AI Foundry Models az Azure AI Foundry Services (korábbi nevén Azure AI-szolgáltatások) modellterjesztési koncepciója alapján teszi elérhetővé a modelleket. A modelltelepítések szintén Azure-erőforrások, és létrehozásukkor bizonyos konfigurációkban hozzáférést biztosítanak egy adott modellhez. Az ilyen konfiguráció magában foglalja a kérések feldolgozásához szükséges infrastruktúrát.

Az Azure AI Foundry-modellek az üzleti és használati mintáknak megfelelő üzemeltetési struktúrával kapcsolatos lehetőségeket biztosítanak az ügyfelek számára. Ezeket a beállításokat a rendszer különböző üzembehelyezési típusokra (vagy termékváltozatokra) fordítja le, amelyek az Azure AI Foundry-erőforrás modelltelepítési idején érhetők el. A szolgáltatás két fő üzembe helyezési típust kínál: standard és kiépített. Egy adott üzembe helyezési típus esetében az ügyfelek egy Azure-beli földrajzi ( vagy ), Microsoft által megadott adatzóna (StandardProvisioned-Managed vagy DataZone-Standard) vagy DataZone Provisioned-Managedglobális (Global-Standard vagy Global Provisioned-Managed) feldolgozási lehetőség kiválasztásával igazíthatják számítási feladataikat az adatfeldolgozási követelményeikhez.

A finomhangolt modellek esetében egy további Developer üzembehelyezési típus költséghatékony módot biztosít az egyéni modellek kiértékelésének, de adattárolás nélkül.

Minden üzemelő példány pontosan ugyanazokat a következtetési műveleteket hajthatja végre, azonban a számlázás, a skálázás és a teljesítmény lényegesen eltérő. A megoldástervezés részeként két kulcsfontosságú döntést kell meghoznia:

  • Adatfeldolgozás helye
  • Hívások mennyisége

Az Azure AI Foundry üzembehelyezési adatfeldolgozási helyei

A standard üzemelő példányok esetében három üzembehelyezési típus közül választhat: globális, adatzóna és Azure-földrajz. Előre konfigurált üzembehelyezések esetében két üzembehelyezési típus közül választhat: globális és Azure régió. A globális szabvány az ajánlott kiindulópont.

Az Azure globális infrastruktúráját kihasználva a globális üzemeltetési példányok dinamikusan irányítják az ügyfélforgalmat a legjobb rendelkezésre állású adatközpontba az ügyfél adatigénylési kérelmei kiszolgálására. Ez azt jelenti, hogy a legmagasabb kezdeti átviteli sebességkorlátokat és a legjobb modell rendelkezésre állást fogja kapni a Globális szolgáltatással, miközben továbbra is biztosítja az üzemidős SLA-t és az alacsony késést. A standard és globális szabványokban megadott használati szintek fölötti nagy mennyiségű számítási feladatok esetében nagyobb késési eltérést tapasztalhat. Azoknak az ügyfeleknek, akik nagyobb számítási feladatok használata esetén az alacsonyabb késési varianciát igénylik, javasoljuk, hogy használja ki a kiépített üzembehelyezési típusokat.

A globális telepítések lesznek az összes új modell és funkció első helyszíne. A hívás mennyiségétől függően a nagy mennyiségű és alacsony késésű varianciával rendelkező ügyfeleknek figyelembe kell venniük a kiépített üzembehelyezési típusokat.

Az adatzónák üzembe helyezései az Azure globális infrastruktúráját használják az ügyfélforgalom dinamikus átirányítására az adatközpontba a Microsoft által meghatározott adatzónán belül az ügyfél következtetési kérelmeinek legjobb rendelkezésre állásával. Az Azure-beli földrajzi hely és a globális üzembe helyezési ajánlatok között elhelyezkedő adatzónák üzembe helyezése emelt szintű kvótakorlátokat biztosít, miközben az adatfeldolgozás a Microsoft által megadott adatzónán belül marad. A inaktív adatok továbbra is az Azure AI Foundry-erőforrás földrajzi területén maradnak (például a Svédország középső Azure-régiójában létrehozott AI Foundry-erőforrás esetében az Azure földrajzi területe Svédország).

Ha a Data Zone üzembe helyezéséhez használt Azure AI Foundry-erőforrás az Egyesült Államokban található, az adatok feldolgozása az Egyesült Államokban történik. Ha az Adatzóna üzembe helyezéséhez használt Azure AI Foundry-erőforrás egy Európai Unió tagállamában található, az adatok az Európai Unió tagállamának földrajzi régióiban lesznek feldolgozva. Az Összes Azure AI Foundry-üzembe helyezési típus esetében a inaktív adatok továbbra is az Azure AI Foundry-erőforrás földrajzi területén maradnak. Az Azure-beli adatfeldolgozási és megfelelőségi kötelezettségvállalások továbbra is érvényesek maradnak.

A "Globális" címkével ellátott üzembe helyezési típusok esetén a kérések és válaszok bármely olyan földrajzi helyen feldolgozhatók, ahol a vonatkozó Azure AI Foundry-modell üzembe van helyezve (további információ a modellek régiónkénti elérhetőségéről). A "DataZone" címkével ellátott üzembehelyezési típusok esetén a kérések és válaszok a Microsoft által meghatározott adatzónán belül bármely földrajzi helyen feldolgozhatók. Ha az Egyesült Államokban található Azure AI Foundry-erőforrásban hoz létre DataZone-üzemelő példányt, a kérések és válaszok az Egyesült Államok bármely pontján feldolgozhatók. Ha Egy Európai Unió tagállamában található Azure AI Foundry-erőforrásban hoz létre DataZone-üzembe helyezést, a kérések és válaszok feldolgozhatók az adott vagy bármely más európai uniós tagállamban. Mind a globális, mind a DataZone üzembe helyezési típusok esetében a nyugalmi állapotban tárolt adatok, például a feltöltött adatok, az ügyfél által kijelölt földrajzi területen vannak tárolva. Csak a feldolgozás helyét érinti, ha az ügyfél globális üzembe helyezési típust vagy DataZone-üzembe helyezési típust használ az Azure AI Foundry-erőforrásban; Az Azure-beli adatfeldolgozási és megfelelőségi kötelezettségvállalások továbbra is érvényesek maradnak.

Megjegyzés:

A globális szabvány és az adatzóna szabványos üzembe helyezési típusai esetén, ha az elsődleges régió szolgáltatáskimaradást tapasztal, a rendszer az eredetileg ebbe a régióba irányított összes forgalmat érinti. További információ: üzletmenet-folytonossági és vészhelyreállítási útmutató.

Globális szabvány

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adatok tárolási helyéről.

Termékváltozat neve a kódban:GlobalStandard

A globális üzemelő példányok ugyanazokban az Azure AI Foundry-erőforrásokban érhetők el, mint a nem globális üzembe helyezési típusok, de lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat az adatközpontba, és minden kéréshez a lehető legjobb rendelkezésre állást biztosíthassa. A globális szabvány a legmagasabb alapértelmezett kvótát biztosítja, és szükségtelenné teszi a terheléselosztást több erőforrás között.

A nagy és következetes forgalommal rendelkező ügyfelek nagyobb késleltetés változékonyságát tapasztalhatják. A küszöbérték modellenként van beállítva. További információt a kvóták oldalán talál. Az olyan alkalmazások esetében, amelyek nagyobb számítási feladatok használata esetén alacsonyabb késési eltérést igényelnek, javasoljuk a kiosztott átviteli sebesség megvásárlását.

Globálisan biztosított

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adatok tárolási helyéről.

Termékváltozat neve a kódban:GlobalProvisionedManaged

A globális üzemelő példányok ugyanazokban az Azure AI Foundry-erőforrásokban érhetők el, mint a nem globális üzembe helyezési típusok, de lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat az adatközpontba, és minden kéréshez a lehető legjobb rendelkezésre állást biztosíthassa. Az előkészített globális telepítések fenntartott modellfeldolgozási kapacitást biztosítanak a magas és kiszámítható átviteli sebességhez az Azure globális infrastruktúrájának révén.

Globális tétel

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adatok tárolási helyéről.

A globális köteg nagy léptékű és nagy mennyiségű feldolgozási feladatok hatékony kezelésére lett kialakítva. A kérések aszinkron csoportjainak feldolgozása külön kvótával, 24 órás célfordulással, 50%-kal kevesebb költséggel, mint a globális szabvány. Kötegelt feldolgozás esetén ahelyett, hogy egyszerre egy kérést küldené el, nagy számú kérést küldhet egyetlen fájlban. A globális kötegkérelmek külön sorba állított token kvótával rendelkeznek, ami segít elkerülni az online munkaterhek megzavarását.

Termékváltozat neve a kódban:GlobalBatch

Főbb használati esetek:

  • Nagy léptékű adatfeldolgozás: A kiterjedt adathalmazok gyors elemzése párhuzamosan.

  • Tartalomgenerálás: Nagy mennyiségű szöveget, például termékleírásokat vagy cikkeket hozhat létre.

  • Dokumentum áttekintése és összegzése: Automatizálja a hosszadalmas dokumentumok áttekintését és összegzését.

  • Ügyfélszolgálati automatizálás: Számos lekérdezés egyidejű kezelése a gyorsabb válaszok érdekében.

  • Adatkinyerés és -elemzés: Adatok kinyerése és elemzése nagy mennyiségű strukturálatlan adatból.

  • Természetes nyelvi feldolgozással (NLP) kapcsolatos feladatok: Olyan feladatokat hajthat végre, mint a hangulatelemzés vagy a fordítás nagy adathalmazokon.

  • Marketing és személyre szabás: Személyre szabott tartalmak és javaslatok létrehozása nagy méretekben.

Adatzóna szabvány

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig a Microsoft által megadott adatzónán belüli bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adatok tárolási helyéről.

Termékváltozat neve a kódban:DataZoneStandard

Az adatzóna standard üzemelő példányai ugyanabban az Azure AI Foundry-erőforrásban érhetők el, mint az összes többi Azure AI Foundry üzembe helyezési típus, de lehetővé teszi az Azure globális infrastruktúrájának használatát, hogy dinamikusan átirányítsa a forgalmat a Microsoft által meghatározott adatzónán belüli adatközpontba, a lehető legjobb rendelkezésre állással az egyes kérésekhez. Az adatzóna-szabvány magasabb alapértelmezett kvótákat biztosít, mint az Azure földrajzi alapú üzembe helyezési típusai.

A nagy és következetes forgalommal rendelkező ügyfelek nagyobb késleltetés változékonyságát tapasztalhatják. A küszöbérték modellenként van beállítva. További információért tekintse meg a Kvóták és korlátok lapot. Azokban az esetekben, amikor a munkaterhelés nagy mennyiségű és kis eltérést igényel a késleltetésben, javasoljuk az előre telepített megoldások kihasználását.

Kiépített adatzóna

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig a Microsoft által megadott adatzónán belüli bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adattárolásról.

Termékváltozat neve a kódban:DataZoneProvisionedManaged

Az adatzóna kiépített üzemelő példányai ugyanabban az Azure AI Foundry-erőforrásban érhetők el, mint az összes többi Azure AI Foundry-üzembe helyezési típus, de lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat a Microsoft által megadott adatzónán belüli adatközpontba, a lehető legjobb rendelkezésre állással az egyes kérésekhez. Az adatzóna kiépített üzembe helyezései fenntartott modellfeldolgozási kapacitást biztosítanak a magas és kiszámítható átviteli sebességhez a Microsoft által megadott adatzónán belüli Azure-infrastruktúra használatával.

Adatterület csomag

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig a Microsoft által megadott adatzónán belüli bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adatok tárolási helyéről.

Termékváltozat neve a kódban:DataZoneBatch

Az adatzónák kötegtelepítései ugyanazokat a funkciókat biztosítják, mint a globális kötegtelepítések , ugyanakkor lehetővé teszik az Azure globális infrastruktúrájának használatát, hogy dinamikusan irányíthassa a forgalmat csak a Microsoft által meghatározott adatzónán belüli adatközpontokhoz, és minden kéréshez a legjobb rendelkezésre állással rendelkezik.

Standard

Termékváltozat neve a kódban:Standard

A standard telepítések hívásonkénti számlázási modellt kínálnak a kiválasztott modellen. Az első lépések leggyorsabb módja, mivel csak a felhasznált mennyiségért kell fizetnie. Az egyes régiókban elérhető modellek és az átviteli sebesség korlátozott lehet.

A standard üzembe helyezések alacsony vagy közepes mennyiségű, nagy kiugrási igényű terhelésekhez vannak optimalizálva. A nagy és következetes forgalommal rendelkező ügyfelek nagyobb késleltetés változékonyságát tapasztalhatják.

Regionálisan biztosított

Termékváltozat neve a kódban:ProvisionedManaged

A regionális hálózati üzemeltetések lehetővé teszik, hogy megadja a telepítéshez szükséges átviteli sebesség mértékét. A szolgáltatás ezután lefoglalja a szükséges modellfeldolgozási kapacitást, és biztosítja, hogy készen áll az Ön számára. Az átviteli sebesség a kiosztott átviteli egységek (PTU) szempontjából van definiálva, amely az üzembe helyezés átviteli sebességének normalizált módja. Az egyes modellverzió-párok üzembe helyezéséhez és PTU-nként eltérő átviteli sebesség biztosításához különböző mennyiségű PTU szükséges. További információ a kiosztott átviteli sebesség fogalmairól szóló cikkünkből.

Globális központi telepítésekhez való hozzáférés letiltása az előfizetésben

Az Azure Policy segít a szervezeti szabványok betartatásában és a megfelelőségi követelmények nagy léptékű kiértékelésében. A megfelelőségi irányítópulton keresztül egy összesített nézetet biztosít a környezet általános állapotának kiértékeléséhez, amely lehetővé teszi az erőforrások és szabályzatok szintjén történő részletes elemzést is. Ezenfelül segít biztosítani az erőforrások megfelelőségét a meglévő erőforrások tömeges, illetve az új erőforrások automatikus szervizelésével. További információ az Azure Policyról és az AI-szolgáltatások speciális beépített vezérlőiről.

Az alábbi szabályzattal letilthatja az Azure AI Foundry bármely üzembehelyezési típushoz való hozzáférését. Ha le szeretné tiltani egy adott telepítési típushoz való hozzáférést, cserélje le a GlobalStandard-t arra a termékváltozatra (SKU név), amelyhez le szeretné tiltani a hozzáférést.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Fejlesztő (finomhangolt modellekhez)

Fontos

A inaktív állapotban tárolt adatok a kijelölt Azure-beli földrajzi helyen maradnak, az adatok pedig bármely Azure AI Foundry-helyen történő következtetés céljából feldolgozhatók. További információ az adatok tárolási helyéről.

Termékváltozat neve a kódban:Developer

A finomhangolt modellek támogatják a kifejezetten az egyéni modellek kiértékelését támogató fejlesztői üzembe helyezést. Nem nyújt adattárolási garanciát, és nem kínál SLA-t sem. A fejlesztői üzembe helyezés típusával kapcsolatos további információkért tekintse meg a finomhangolási útmutatót.

Modellek üzembe helyezése

Az Azure AI Foundry portál modelltelepítési párbeszédpaneljének képernyőképe három üzembe helyezési típus kiemelésével.

Az erőforrások létrehozásáról és a modellek üzembe helyezéséről az erőforrás-létrehozási útmutatóban olvashat.

Lásd még