Megosztás a következőn keresztül:


Modellek üzembe helyezése kiszolgáló nélküli API-végpontként

Ebből a cikkből megtudhatja, hogyan helyezhet üzembe egy modellt a modellkatalógusból kiszolgáló nélküli API-ként használatalapú jogkivonatalapú számlázással.

A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-ként használatalapú számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Ez a cikk egy Meta Llama-modell üzembe helyezését használja illusztrációként. Ugyanezekkel a lépésekkel azonban üzembe helyezheti a modellkatalógusban a kiszolgáló nélküli API üzembe helyezéséhez elérhető modelleket.

Előfeltételek

  • Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .

  • Egy Azure Machine Learning-munkaterület.

  • Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. További információ az engedélyekről: Szerepköralapú hozzáférés-vezérlés az Azure Machine Learningben.

  • Az Azure Machine Learning használatához telepítenie kell a következő szoftvert:

    Bármely kompatibilis webböngészővel navigálhat az Azure Machine Learningben.

A modell és a modellazonosító megkeresése a modellkatalógusban

  1. Bejelentkezés az Azure Machine Learning Studióba

  2. Az Azure Marketplace-en keresztül kínált modellek esetében győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Developer szerepkörrel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek.

    A nem Microsoft-szolgáltatók által kínált modellek (például Láma- és Mistral-modellek) számlázása az Azure Marketplace-en keresztül történik. Ilyen modellek esetén elő kell fizetnie a munkaterületet az adott modellajánlatra. A Microsoft által kínált modellek (például Phi-3 modellek) nem rendelkeznek ezzel a követelménysel, mivel a számlázás másképp történik. A modellek kiszolgáló nélküli üzembe helyezésének számlázásáról a modellkatalógusban a kiszolgáló nélküli API-k számlázása című témakörben olvashat.

  3. Lépjen a munkaterülethez. A kiszolgáló nélküli API-modell üzembe helyezési ajánlatának használatához a munkaterületnek azon régiók egyikéhez kell tartoznia, amelyek támogatják a kiszolgáló nélküli üzembe helyezést az üzembe helyezni kívánt modellhez.

  4. A bal oldali oldalsávon válassza a Modellkatalógus lehetőséget, és keresse meg az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy Meta-Llama-3-8B-Instruct modellt választ ki.

    1. Ha a modellt az Azure CLI, a Python SDK vagy az ARM használatával helyezi üzembe, másolja ki a modell azonosítóját.

    Fontos

    A modellazonosító másolásakor ne adja meg a verziót. A kiszolgáló nélküli API-végpontok mindig a modell legújabb elérhető verzióját telepítik. Például a modellazonosítóhoz azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3másolja a vágólapra azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

    Képernyőkép a modell részletes lapjáról.

A következő szakasz a munkaterület modellajánlatra való felosztásának lépéseit ismerteti. Ha Microsoft-modellt helyez üzembe, kihagyhatja ezt a szakaszt, és a modell kiszolgáló nélküli API-végponton való üzembe helyezéséhez léphet.

A munkaterület előfizetése a modellajánlatra

A kiszolgáló nélküli API-végpontok a Microsoft és a nem Microsoft által kínált modelleket is üzembe helyezhetik. Microsoft-modellek (például Phi-3-modellek) esetében nem kell Azure Marketplace-előfizetést létrehoznia, és közvetlenül a kiszolgáló nélküli API-végpontokon is üzembe helyezheti őket az előrejelzések felhasználásához. Nem Microsoft-modellek esetén először létre kell hoznia az előfizetést. Ha először helyezi üzembe a modellt a munkaterületen, elő kell fizetnie a munkaterületet az adott modellajánlatra az Azure Marketplace-ről. Minden munkaterület saját előfizetéssel rendelkezik a modell adott Azure Marketplace-ajánlatához, amely lehetővé teszi a költségek szabályozását és monitorozását.

Feljegyzés

Az Azure Marketplace-en keresztül kínált modellek a kiszolgáló nélküli API-végpontokon való üzembe helyezéshez érhetők el adott régiókban. Ellenőrizze a régiók rendelkezésre állását a kiszolgáló nélküli API-végpontok modelljeinél , hogy ellenőrizze, mely modellek és régiók érhetők el. Ha a szükséges nem szerepel a listában, egy támogatott régióban lévő munkaterületen telepítheti, majd használhat kiszolgáló nélküli API-végpontokat egy másik munkaterületről.

  1. Hozza létre a modell marketplace-előfizetését. Előfizetés létrehozásakor elfogadja a modellajánlathoz tartozó feltételeket és feltételeket. Ne feledje, hogy ezt a lépést nem kell végrehajtania a Microsoft által kínált modellek (például a Phi-3) esetében.

    1. A modell Részletek lapján válassza az Üzembe helyezés lehetőséget. Ekkor megnyílik egy üzembe helyezési lehetőségek ablaka, amely lehetővé teszi a kiszolgáló nélküli API üzembe helyezése és a felügyelt számítással történő üzembe helyezés közötti választást.

      Feljegyzés

      Az olyan modellek esetében, amelyek csak kiszolgáló nélküli API-telepítéssel telepíthetők, a kiszolgáló nélküli API központi telepítési varázslója közvetlenül azután nyílik meg, hogy a modell részletes lapján az Üzembe helyezés lehetőséget választja.

    2. Válassza a Kiszolgáló nélküli API-t az Azure AI Content Safety (előzetes verzió) használatával a kiszolgáló nélküli API üzembe helyezési varázslójának megnyitásához.

    3. Jelölje be a jelölőnégyzetet a Microsoft vásárlási szabályzatának nyugtázásához.

      Képernyőkép a modell kiszolgáló nélküli API-val való üzembe helyezéséről.

    4. Ha azt a megjegyzést látja, hogy már rendelkezik Azure Marketplace-előfizetéssel ehhez a munkaterülethez, nem kell létrehoznia az előfizetést, mivel már rendelkezik ilyen előfizetéssel. Folytathatja a modell kiszolgáló nélküli API-végponton való üzembe helyezését.

    5. Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről. A kiválasztott modell díjszabásáról a Díjszabás és a feltételek lapon is tájékozódhat.

    6. Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást a használati feltételek további megismeréséhez. A Marketplace ajánlat részletei lapjára kattintva megismerheti a kiválasztott modell díjszabását.

    7. Válassza a Feliratkozás és üzembe helyezés lehetőséget.

  2. Miután előfizetett a munkaterületre az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezései ugyanazon a munkaterületen nem igényelnek újra előfizetést.

  3. Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a munkaterület jelenleg előfizetett:

    1. Nyissa meg az Azure Portalt

    2. Lépjen arra az erőforráscsoportra, amelyhez a munkaterület tartozik.

    3. A Típus szűrőben válassza az SaaS lehetőséget.

    4. Láthatja az összes ajánlatot, amelyre jelenleg előfizetett.

    5. Válassza ki bármelyik erőforrást a részletek megtekintéséhez.

A modell üzembe helyezése kiszolgáló nélküli API-végponton

Miután létrehozott egy előfizetést egy nem Microsoft-modellhez, üzembe helyezheti a társított modellt egy kiszolgáló nélküli API-végponton. Microsoft-modellek (például Phi-3-modellek) esetén nem kell előfizetést létrehoznia.

A kiszolgáló nélküli API-végpont lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemeltetné őket, miközben a vállalati biztonsági és megfelelőségi szervezeteknek is szükségük van rájuk. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Ebben a szakaszban egy meta-llama3-8b-qwerty nevű végpontot hoz létre.

  1. Kiszolgáló nélküli végpont létrehozása

    1. Ha olyan Microsoft-modellt szeretne üzembe helyezni, amely nem igényel előfizetést egy modellajánlatra, válassza az Üzembe helyezés lehetőséget, majd válassza a Kiszolgáló nélküli API és az Azure AI Content Safety (előzetes verzió) lehetőséget az üzembe helyezési varázsló megnyitásához.

    2. Másik lehetőségként egy modell-előfizetést igénylő, nem Microsoft-modell esetében, ha az előző szakaszban a munkaterületre feliratkozott a modellajánlatra, válassza az Üzembe helyezés lehetőséget. Másik lehetőségként válassza az Üzembe helyezés folytatása lehetőséget (ha az üzembe helyezési varázslóban szerepel az a megjegyzés , hogy Már rendelkezik Azure Marketplace-előfizetéssel ehhez a munkaterülethez).

      Képernyőkép az ajánlatra már előfizetett munkaterületről.

    3. Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.

      Képernyőkép a létrehozni kívánt üzembe helyezés nevének megadásáról.

      Tipp.

      A Tartalomszűrő (előzetes verzió) beállítás alapértelmezés szerint engedélyezve van. Hagyja meg a szolgáltatás alapértelmezett beállítását olyan káros tartalmak észlelésére, mint a gyűlölet, az önkárosítás, a szexuális és az erőszakos tartalmak. A tartalomszűrésről (előzetes verzió) további információt a kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek tartalombiztonsága című témakörben talál.

    4. Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés készen áll, és a rendszer átirányítja a Központi telepítések lapra.

  2. Bármikor láthatja a munkaterületen üzembe helyezett végpontokat:

    1. Lépjen a munkaterülethez.

    2. Válassza a Végpontok lehetőséget.

    3. Válassza a Kiszolgáló nélküli végpontok lapot a kiszolgáló nélküli API-végpontok megjelenítéséhez.

  3. A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az alábbi lépésekkel lekérheti az adott végponthoz társított kulcsokat.

    1. Az üzembe helyezés lapjára való visszatéréshez válassza ki a végpont nevét a kiszolgáló nélküli végpontok listájából.
    2. Figyelje meg a végpont cél URI-ját és kulcsát. Ezekkel meghívhatja az üzembe helyezést, és előrejelzéseket hozhat létre.

    Feljegyzés

    Az Azure Portal használatakor a kiszolgáló nélküli API-végpontok alapértelmezés szerint nem jelennek meg az erőforráscsoporton. A Rejtett típusok megjelenítése beállítással megjelenítheti őket az erőforráscsoportban.

  4. Ezen a ponton a végpont készen áll a használatra.

  5. Ha ezt az üzemelő példányt egy másik munkaterületről szeretné felhasználni, vagy intelligens alkalmazások létrehozásához parancssori folyamatot szeretne használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha tudni szeretné, hogyan konfigurálhat egy meglévő kiszolgáló nélküli API-végpontot egy új munkaterületen vagy központban, olvassa el az üzembe helyezett kiszolgáló nélküli API-végpontok felhasználása egy másik munkaterületről vagy a parancssori folyamatból.

    Tipp.

    Ha a parancssori folyamatot ugyanabban a munkaterületen használja, ahol az üzembe helyezést üzembe helyezték, akkor is létre kell hoznia a kapcsolatot.

A kiszolgáló nélküli API-végpont használata

A Kiszolgáló nélküli API-végpontokon az Azure Machine Learningben és az Azure AI Studióban üzembe helyezett modellek támogatják az Azure AI Model Inference API-t , amely az alapszintű modellek általános képességeit teszi elérhetővé, és amelyeket a fejlesztők egységes és egységes módon használhatnak fel különböző modellek előrejelzéseihez.

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.

Végpontok és előfizetések törlése

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlésével a társított végpontok nem megfelelőek és használhatatlanok lesznek.

Kiszolgáló nélküli API-végpont törlése:

  1. Nyissa meg az Azure Machine Learning Studiót.

  2. Válassza a Végpontok lehetőséget a bal oldali oldalsávon.

  3. Válassza a Kiszolgáló nélküli végpontok lapot a kiszolgáló nélküli API-végpontok megjelenítéséhez.

  4. Nyissa meg a törölni kívánt végpontot.

  5. Válassza a Törlés lehetőséget.

A társított modell-előfizetés törlése:

  1. Nyissa meg az Azure Portalt

  2. Lépjen arra az erőforráscsoportra, amelyhez a munkaterület tartozik.

  3. A Típus szűrőben válassza az SaaS lehetőséget.

  4. Válassza ki a törölni kívánt előfizetést.

  5. Válassza a Törlés lehetőséget.

A kiszolgáló nélküli API-végpontként üzembe helyezett modellek költség- és kvótaalapú szempontjai

A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként egy üzembe helyezést korlátozunk munkaterületenként. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

A Microsoft-modellek költsége

A microsoftos modellek (például Phi-3-modellek) kiszolgáló nélküli API-végpontokként való üzembe helyezésekor az üzembe helyezési varázsló Díjszabás és feltételek lapján találja meg a díjszabással kapcsolatos információkat.

Nem Microsoft-modellek költsége

A kiszolgáló nélküli API-végpontként üzembe helyezett nem Microsoft-modellek az Azure Marketplace-en keresztül érhetők el, és az Azure AI Studióval integrálva használhatók. A modellek üzembe helyezésekor vagy finomhangolásakor megtalálja az Azure Marketplace díjszabását.

Minden alkalommal, amikor egy munkaterület előfizet egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez és finomhangoláshoz kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.

A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.

Képernyőkép a különböző modellajánlatoknak és a hozzájuk tartozó mérőszámoknak megfelelő különböző erőforrásokról.

A modellajánlatokra való feliratkozáshoz szükséges engedélyek

Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure-előfizetés tulajdonosi, közreműködői vagy Azure AI-fejlesztői szerepkörét. Másik lehetőségként a fiókhoz a következő engedélyekkel rendelkező egyéni szerepkör rendelhető hozzá:

  • Az Azure-előfizetésben – a munkaterületnek az Azure Marketplace-ajánlatra való előfizetése érdekében, munkaterületenként egyszer, ajánlatonként:

    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action
  • Az erőforráscsoporton – az SaaS-erőforrás létrehozása és használata érdekében:

    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write
  • A munkaterületen – végpontok üzembe helyezése érdekében (az Azure gépi tanulás adattudós szerepkör már tartalmazza ezeket az engedélyeket):

    • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
    • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Az engedélyekről további információt az Azure gépi tanulás munkaterülethez való hozzáférés kezelése témakörnél talál.