Modellek üzembe helyezése kiszolgáló nélküli API-végpontként
Ebből a cikkből megtudhatja, hogyan helyezhet üzembe egy modellt a modellkatalógusból kiszolgáló nélküli API-ként használatalapú jogkivonatalapú számlázással.
A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-ként használatalapú számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.
Ez a cikk egy Meta Llama-modell üzembe helyezését használja illusztrációként. Ugyanezekkel a lépésekkel azonban üzembe helyezheti a modellkatalógusban a kiszolgáló nélküli API üzembe helyezéséhez elérhető modelleket.
Előfeltételek
Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .
Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. További információ az engedélyekről: Szerepköralapú hozzáférés-vezérlés az Azure Machine Learningben.
Az Azure Machine Learning használatához telepítenie kell a következő szoftvert:
Bármely kompatibilis webböngészővel navigálhat az Azure Machine Learningben.
A modell és a modellazonosító megkeresése a modellkatalógusban
Az Azure Marketplace-en keresztül kínált modellek esetében győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Developer szerepkörrel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek.
A nem Microsoft-szolgáltatók által kínált modellek (például Láma- és Mistral-modellek) számlázása az Azure Marketplace-en keresztül történik. Ilyen modellek esetén elő kell fizetnie a munkaterületet az adott modellajánlatra. A Microsoft által kínált modellek (például Phi-3 modellek) nem rendelkeznek ezzel a követelménysel, mivel a számlázás másképp történik. A modellek kiszolgáló nélküli üzembe helyezésének számlázásáról a modellkatalógusban a kiszolgáló nélküli API-k számlázása című témakörben olvashat.
Lépjen a munkaterülethez. A kiszolgáló nélküli API-modell üzembe helyezési ajánlatának használatához a munkaterületnek azon régiók egyikéhez kell tartoznia, amelyek támogatják a kiszolgáló nélküli üzembe helyezést az üzembe helyezni kívánt modellhez.
A bal oldali oldalsávon válassza a Modellkatalógus lehetőséget, és keresse meg az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy Meta-Llama-3-8B-Instruct modellt választ ki.
- Ha a modellt az Azure CLI, a Python SDK vagy az ARM használatával helyezi üzembe, másolja ki a modell azonosítóját.
Fontos
A modellazonosító másolásakor ne adja meg a verziót. A kiszolgáló nélküli API-végpontok mindig a modell legújabb elérhető verzióját telepítik. Például a modellazonosítóhoz
azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3
másolja a vágólapraazureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
.
A következő szakasz a munkaterület modellajánlatra való felosztásának lépéseit ismerteti. Ha Microsoft-modellt helyez üzembe, kihagyhatja ezt a szakaszt, és a modell kiszolgáló nélküli API-végponton való üzembe helyezéséhez léphet.
A munkaterület előfizetése a modellajánlatra
A kiszolgáló nélküli API-végpontok a Microsoft és a nem Microsoft által kínált modelleket is üzembe helyezhetik. Microsoft-modellek (például Phi-3-modellek) esetében nem kell Azure Marketplace-előfizetést létrehoznia, és közvetlenül a kiszolgáló nélküli API-végpontokon is üzembe helyezheti őket az előrejelzések felhasználásához. Nem Microsoft-modellek esetén először létre kell hoznia az előfizetést. Ha először helyezi üzembe a modellt a munkaterületen, elő kell fizetnie a munkaterületet az adott modellajánlatra az Azure Marketplace-ről. Minden munkaterület saját előfizetéssel rendelkezik a modell adott Azure Marketplace-ajánlatához, amely lehetővé teszi a költségek szabályozását és monitorozását.
Feljegyzés
Az Azure Marketplace-en keresztül kínált modellek a kiszolgáló nélküli API-végpontokon való üzembe helyezéshez érhetők el adott régiókban. Ellenőrizze a régiók rendelkezésre állását a kiszolgáló nélküli API-végpontok modelljeinél , hogy ellenőrizze, mely modellek és régiók érhetők el. Ha a szükséges nem szerepel a listában, egy támogatott régióban lévő munkaterületen telepítheti, majd használhat kiszolgáló nélküli API-végpontokat egy másik munkaterületről.
Hozza létre a modell marketplace-előfizetését. Előfizetés létrehozásakor elfogadja a modellajánlathoz tartozó feltételeket és feltételeket. Ne feledje, hogy ezt a lépést nem kell végrehajtania a Microsoft által kínált modellek (például a Phi-3) esetében.
A modell Részletek lapján válassza az Üzembe helyezés lehetőséget. Ekkor megnyílik egy üzembe helyezési lehetőségek ablaka, amely lehetővé teszi a kiszolgáló nélküli API üzembe helyezése és a felügyelt számítással történő üzembe helyezés közötti választást.
Feljegyzés
Az olyan modellek esetében, amelyek csak kiszolgáló nélküli API-telepítéssel telepíthetők, a kiszolgáló nélküli API központi telepítési varázslója közvetlenül azután nyílik meg, hogy a modell részletes lapján az Üzembe helyezés lehetőséget választja.
Válassza a Kiszolgáló nélküli API-t az Azure AI Content Safety (előzetes verzió) használatával a kiszolgáló nélküli API üzembe helyezési varázslójának megnyitásához.
Jelölje be a jelölőnégyzetet a Microsoft vásárlási szabályzatának nyugtázásához.
Ha azt a megjegyzést látja, hogy már rendelkezik Azure Marketplace-előfizetéssel ehhez a munkaterülethez, nem kell létrehoznia az előfizetést, mivel már rendelkezik ilyen előfizetéssel. Folytathatja a modell kiszolgáló nélküli API-végponton való üzembe helyezését.
Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről. A kiválasztott modell díjszabásáról a Díjszabás és a feltételek lapon is tájékozódhat.
Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást a használati feltételek további megismeréséhez. A Marketplace ajánlat részletei lapjára kattintva megismerheti a kiválasztott modell díjszabását.
Válassza a Feliratkozás és üzembe helyezés lehetőséget.
Miután előfizetett a munkaterületre az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezései ugyanazon a munkaterületen nem igényelnek újra előfizetést.
Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a munkaterület jelenleg előfizetett:
Nyissa meg az Azure Portalt
Lépjen arra az erőforráscsoportra, amelyhez a munkaterület tartozik.
A Típus szűrőben válassza az SaaS lehetőséget.
Láthatja az összes ajánlatot, amelyre jelenleg előfizetett.
Válassza ki bármelyik erőforrást a részletek megtekintéséhez.
A modell üzembe helyezése kiszolgáló nélküli API-végponton
Miután létrehozott egy előfizetést egy nem Microsoft-modellhez, üzembe helyezheti a társított modellt egy kiszolgáló nélküli API-végponton. Microsoft-modellek (például Phi-3-modellek) esetén nem kell előfizetést létrehoznia.
A kiszolgáló nélküli API-végpont lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemeltetné őket, miközben a vállalati biztonsági és megfelelőségi szervezeteknek is szükségük van rájuk. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.
Ebben a szakaszban egy meta-llama3-8b-qwerty nevű végpontot hoz létre.
Kiszolgáló nélküli végpont létrehozása
Ha olyan Microsoft-modellt szeretne üzembe helyezni, amely nem igényel előfizetést egy modellajánlatra, válassza az Üzembe helyezés lehetőséget, majd válassza a Kiszolgáló nélküli API és az Azure AI Content Safety (előzetes verzió) lehetőséget az üzembe helyezési varázsló megnyitásához.
Másik lehetőségként egy modell-előfizetést igénylő, nem Microsoft-modell esetében, ha az előző szakaszban a munkaterületre feliratkozott a modellajánlatra, válassza az Üzembe helyezés lehetőséget. Másik lehetőségként válassza az Üzembe helyezés folytatása lehetőséget (ha az üzembe helyezési varázslóban szerepel az a megjegyzés , hogy Már rendelkezik Azure Marketplace-előfizetéssel ehhez a munkaterülethez).
Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.
Tipp.
A Tartalomszűrő (előzetes verzió) beállítás alapértelmezés szerint engedélyezve van. Hagyja meg a szolgáltatás alapértelmezett beállítását olyan káros tartalmak észlelésére, mint a gyűlölet, az önkárosítás, a szexuális és az erőszakos tartalmak. A tartalomszűrésről (előzetes verzió) további információt a kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek tartalombiztonsága című témakörben talál.
Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés készen áll, és a rendszer átirányítja a Központi telepítések lapra.
Bármikor láthatja a munkaterületen üzembe helyezett végpontokat:
A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az alábbi lépésekkel lekérheti az adott végponthoz társított kulcsokat.
- Az üzembe helyezés lapjára való visszatéréshez válassza ki a végpont nevét a kiszolgáló nélküli végpontok listájából.
- Figyelje meg a végpont cél URI-ját és kulcsát. Ezekkel meghívhatja az üzembe helyezést, és előrejelzéseket hozhat létre.
Feljegyzés
Az Azure Portal használatakor a kiszolgáló nélküli API-végpontok alapértelmezés szerint nem jelennek meg az erőforráscsoporton. A Rejtett típusok megjelenítése beállítással megjelenítheti őket az erőforráscsoportban.
Ezen a ponton a végpont készen áll a használatra.
Ha ezt az üzemelő példányt egy másik munkaterületről szeretné felhasználni, vagy intelligens alkalmazások létrehozásához parancssori folyamatot szeretne használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha tudni szeretné, hogyan konfigurálhat egy meglévő kiszolgáló nélküli API-végpontot egy új munkaterületen vagy központban, olvassa el az üzembe helyezett kiszolgáló nélküli API-végpontok felhasználása egy másik munkaterületről vagy a parancssori folyamatból.
Tipp.
Ha a parancssori folyamatot ugyanabban a munkaterületen használja, ahol az üzembe helyezést üzembe helyezték, akkor is létre kell hoznia a kapcsolatot.
A kiszolgáló nélküli API-végpont használata
A Kiszolgáló nélküli API-végpontokon az Azure Machine Learningben és az Azure AI Studióban üzembe helyezett modellek támogatják az Azure AI Model Inference API-t , amely az alapszintű modellek általános képességeit teszi elérhetővé, és amelyeket a fejlesztők egységes és egységes módon használhatnak fel különböző modellek előrejelzéseihez.
Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.
Végpontok és előfizetések törlése
A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlésével a társított végpontok nem megfelelőek és használhatatlanok lesznek.
Kiszolgáló nélküli API-végpont törlése:
Nyissa meg az Azure Machine Learning Studiót.
Válassza a Végpontok lehetőséget a bal oldali oldalsávon.
Válassza a Kiszolgáló nélküli végpontok lapot a kiszolgáló nélküli API-végpontok megjelenítéséhez.
Nyissa meg a törölni kívánt végpontot.
Válassza a Törlés lehetőséget.
A társított modell-előfizetés törlése:
Nyissa meg az Azure Portalt
Lépjen arra az erőforráscsoportra, amelyhez a munkaterület tartozik.
A Típus szűrőben válassza az SaaS lehetőséget.
Válassza ki a törölni kívánt előfizetést.
Válassza a Törlés lehetőséget.
A kiszolgáló nélküli API-végpontként üzembe helyezett modellek költség- és kvótaalapú szempontjai
A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként egy üzembe helyezést korlátozunk munkaterületenként. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.
A Microsoft-modellek költsége
A microsoftos modellek (például Phi-3-modellek) kiszolgáló nélküli API-végpontokként való üzembe helyezésekor az üzembe helyezési varázsló Díjszabás és feltételek lapján találja meg a díjszabással kapcsolatos információkat.
Nem Microsoft-modellek költsége
A kiszolgáló nélküli API-végpontként üzembe helyezett nem Microsoft-modellek az Azure Marketplace-en keresztül érhetők el, és az Azure AI Studióval integrálva használhatók. A modellek üzembe helyezésekor vagy finomhangolásakor megtalálja az Azure Marketplace díjszabását.
Minden alkalommal, amikor egy munkaterület előfizet egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez és finomhangoláshoz kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.
A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.
A modellajánlatokra való feliratkozáshoz szükséges engedélyek
Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure-előfizetés tulajdonosi, közreműködői vagy Azure AI-fejlesztői szerepkörét. Másik lehetőségként a fiókhoz a következő engedélyekkel rendelkező egyéni szerepkör rendelhető hozzá:
Az Azure-előfizetésben – a munkaterületnek az Azure Marketplace-ajánlatra való előfizetése érdekében, munkaterületenként egyszer, ajánlatonként:
Microsoft.MarketplaceOrdering/agreements/offers/plans/read
Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
Microsoft.SaaS/register/action
Az erőforráscsoporton – az SaaS-erőforrás létrehozása és használata érdekében:
Microsoft.SaaS/resources/read
Microsoft.SaaS/resources/write
A munkaterületen – végpontok üzembe helyezése érdekében (az Azure gépi tanulás adattudós szerepkör már tartalmazza ezeket az engedélyeket):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
Az engedélyekről további információt az Azure gépi tanulás munkaterülethez való hozzáférés kezelése témakörnél talál.