Kiszolgáló nélküli API-végpontok felhasználása egy másik munkaterületről

Ebből a cikkből megtudhatja, hogyan konfigurálhat egy meglévő kiszolgáló nélküli API-végpontot egy másik munkaterületen, mint amelyikben üzembe helyezték.

A modellkatalógus bizonyos modelljei kiszolgáló nélküli API-kként telepíthetők. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Az üzembe helyezés létrehozásához használttól eltérő munkaterületen kiszolgáló nélküli API-végpont használatának szükségessége az alábbi helyzetekben merülhet fel:

• Egy adott munkaterületen szeretné központosítani az üzemelő példányokat, és a szervezet különböző munkaterületeiből felhasználni őket.
• Egy modellt egy adott Azure-régióban lévő munkaterületen kell üzembe helyeznie, ahol elérhető a modell kiszolgáló nélküli üzembe helyezése. Azonban egy másik régióból kell használnia, ahol a kiszolgáló nélküli üzembe helyezés nem érhető el az adott modellekhez.

Előfeltételek

• Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .

• Egy Azure Machine Tanulás munkaterület, ahol a meglévő üzembe helyezést szeretné használni.

• Kiszolgáló nélküli API-végponton üzembe helyezett modell. Ez a cikk feltételezi, hogy korábban telepítette a Meta-Llama-3-8B-Instruct modellt. A modell kiszolgáló nélküli API-ként való üzembe helyezésének megismeréséhez tekintse meg a modellek kiszolgáló nélküli API-kként való üzembe helyezését ismertető témakört.

• Az Azure Machine Tanulás használatához telepítenie kell a következő szoftvert:

  Studio

  Bármely kompatibilis webböngészővel navigálhat az Azure Machine Tanulás Studióban.

  Azure CLI

  Az Azure CLI és az Azure Machine ml-bővítménye Tanulás.

  az extension add -n ml
  

  Ha már telepítve van a bővítmény, győződjön meg arról, hogy a legújabb verzió van telepítve.

  az extension update -n ml
  

  A bővítmény telepítése után konfigurálja a következőt:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python

  Telepítse az Azure Machine Tanulás Pythonhoz készült SDK-t.

  pip install -U azure-ai-ml
  

  A telepítés után importálja a szükséges névtereket:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Kiszolgáló nélküli API-végpontkapcsolat létrehozása

A kapcsolat létrehozásához kövesse az alábbi lépéseket:

1. Csatlakozás a végpontot üzembe helyező munkaterületre:

   Studio

   Lépjen az Azure Machine Tanulás studióba, és keresse meg azt a munkaterületet, amelyhez a csatlakozni kívánt végpont telepítve van.

   Azure CLI

   Konfigurálja a parancssori felületet úgy, hogy a munkaterületre mutasson:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python

   Hozzon létre egy, a munkaterülethez csatlakoztatott ügyfelet:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Kérje le a végpont URL-címét és hitelesítő adatait ahhoz a végponthoz, amelyhez csatlakozni szeretne. Ebben a példában egy meta-llama3-8b-qwerty végpontnév adatait kapja meg.

   Studio

   1. Válassza a Végpontok lehetőséget a bal oldali oldalsávon.

   2. Válassza a Kiszolgáló nélküli végpontok lapot a kiszolgáló nélküli API-végpontok megjelenítéséhez.

   3. Válassza ki a végpontot, amelyhez csatlakozni szeretne.

   4. A végpont Részletek lapján másolja ki a Cél URI és a kulcs értékeit.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Most csatlakozzon ahhoz a munkaterülethez , ahol létre szeretné hozni a kapcsolatot, és használja a végpontot.

4. Hozza létre a kapcsolatot a munkaterületen:

   Studio

   1. Lépjen arra a munkaterületre, ahová létre kell hozni a kapcsolatot.

   2. Lépjen a bal oldali navigációs sáv Kezelés szakaszára, és válassza a Csatlakozás ions lehetőséget.

   3. Válassza a Létrehozás lehetőséget.

   4. Válassza a Kiszolgáló nélküli modell lehetőséget.

   5. A Cél URI-hoz illessze be a korábban másolt értéket.

   6. A kulcshoz illessze be a korábban másolt értéket.

   7. Adjon nevet a kapcsolatnak, ebben az esetben meta-llama3-8b-connection.

   8. Válassza a Kapcsolat hozzáadása lehetőséget.

   Azure CLI

   Kapcsolatdefiníció létrehozása:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Ezen a ponton a kapcsolat használathoz érhető el.

6. A kapcsolat működésének ellenőrzése:

   1. Az Azure Machine Tanulás Studio bal oldali navigációs sávjáról lépjen a Szerzői>műveletek folyamatához.

   2. Új folyamat létrehozásához válassza a Létrehozás lehetőséget.

   3. Válassza a Létrehozás lehetőséget a Csevegési folyamat mezőben.

   4. Adjon nevet a Prompt-folyamatnak , és válassza a Létrehozás lehetőséget.

   5. Válassza ki a csevegőcsomópontot a gráfból a csevegési szakaszhoz való ugráshoz.

   6. A Csatlakozás ion esetében nyissa meg a legördülő listát az imént létrehozott kapcsolat kiválasztásához, ebben az esetben meta-llama3-8b-connection.

   7. Válassza a számítási munkamenet indítása lehetőséget a felső navigációs sávon a parancssori folyamat automatikus futtatókörnyezetének elindításához.

   8. Válassza a Csevegés lehetőséget. Mostantól üzeneteket küldhet, és válaszokat kaphat.

Kapcsolódó tartalom

• Modell katalógus és gyűjtemények
• Modellek üzembe helyezése kiszolgáló nélküli API-végpontként