Nasazení modelů ve standardním režimu

V tomto článku se dozvíte, jak nasadit model z katalogu modelů jako standardní nasazení.

Některé modely v katalogu modelů je možné nasadit jako standardní nasazení se standardní fakturací. Tento typ nasazení poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně udržovat podnikové zabezpečení a dodržování předpisů, které organizace potřebují. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

Tento článek používá k ilustraci nasazení modelu Meta Llama. Stejný postup ale můžete použít k nasazení libovolného modelu v katalogu modelů, které jsou k dispozici pro standardní nasazení.

Požadavky

• Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.

• Pracovní prostor Azure Machine Learning.

• Řízení přístupu na základě role v Azure (Azure RBAC) slouží k udělení přístupu k operacím ve službě Azure Machine Learning. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role Vývojář Azure AI ve skupině prostředků. Další informace o oprávněních najdete v tématu Řízení přístupu na základě role ve službě Azure Machine Learning.

• Abyste mohli pracovat se službou Azure Machine Learning, musíte nainstalovat následující software:

  Studio

  K navigaci ve službě Azure Machine Learning můžete použít libovolný kompatibilní webový prohlížeč.

  Azure CLI

  Azure CLI a rozšíření ML pro Azure Machine Learning.

  az extension add -n ml
  

  Pokud už rozšíření máte nainstalované, ujistěte se, že je nainstalovaná nejnovější verze.

  az extension update -n ml
  

  Jakmile je rozšíření nainstalované, nakonfigurujte ho:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Nainstalujte sadu Azure Machine Learning SDK pro Python.

  pip install -U azure-ai-ml
  

  Po instalaci naimportujte potřebné obory názvů a vytvořte klienta připojeného k vašemu pracovnímu prostoru:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  PAŽE

  Pomocí libovolného kompatibilního webového prohlížeče můžete nasadit šablony ARM na webu Microsoft Azure Portal nebo pomocí libovolného nástroje pro nasazení. V tomto kurzu se používá Azure CLI.

Najděte svůj model a ID modelu v katalogu modelů

1. Přihlášení k studio Azure Machine Learning

2. U modelů nabízených prostřednictvím Azure Marketplace se ujistěte, že váš účet má oprávnění role Vývojář Azure AI ke skupině prostředků nebo že splňujete oprávnění potřebná k přihlášení k odběru nabídek modelů.

   Modely, které nabízejí poskytovatelé jiných společností než Microsoft (například modely Llama a Mistral), se účtují prostřednictvím Azure Marketplace. U takových modelů je potřeba přihlásit váš pracovní prostor k odběru konkrétní nabídky modelu. Modely, které nabízí Microsoft (například modely Phi-3), nemají tento požadavek, protože fakturace se provádí jinak. Podrobnosti o fakturaci bezserverového nasazení modelů v katalogu modelů najdete v tématu Fakturace standardních nasazení.

3. Přejděte do svého pracovního prostoru. Pokud chcete použít standardní nabídku nasazení, musí váš pracovní prostor patřit do jedné z oblastí podporovaných pro bezserverové nasazení pro konkrétní model, který chcete nasadit.

4. Na levém bočním panelu vyberte Katalog modelů a najděte kartu modelu, který chcete nasadit. V tomto článku vyberete model Bria-2.3-Fast .

   1. Pokud model nasazujete pomocí Azure CLI, Python SDK nebo ARM, zkopírujte ID modelu.

   Důležité

   Při kopírování ID modelu nezahrnujte verzi. Standardní nasazení vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-bria/models/Bria-2.3-Fast/versions/1modelu , kopírovat azureml://registries/azureml-bria/models/Bria-2.3-Fast.

   

Následující část popisuje postup přihlášení vašeho pracovního prostoru k odběr modelové nabídky. Pokud nasazujete model Microsoftu, můžete tuto část přeskočit a přejít na Nasazení modelu do standardního nasazení.

Přihlášení pracovního prostoru k odběru modelové nabídky

Standardní nasazení umožňují nasazení modelů nabízených jak společností Microsoft, tak i jinými společnostmi. Pro modely Microsoftu (například modely Phi-3) nemusíte vytvářet předplatné Azure Marketplace a můžete je nasadit přímo do standardních nasazení , abyste mohli využívat predikce. V případě modelů jiných společností než Microsoft je potřeba nejprve vytvořit předplatné. Pokud model nasazujete v pracovním prostoru poprvé, musíte se přihlásit k odběru konkrétní nabídky modelu z Azure Marketplace. Každý pracovní prostor má vlastní předplatné konkrétní nabídky modelu na Azure Marketplace, která umožňuje řídit a monitorovat útraty.

Poznámka:

Modely nabízené prostřednictvím Azure Marketplace jsou k dispozici pro nasazení do standardních nasazení v konkrétních oblastech. Zkontrolujte dostupnost modelů ve standardních nasazeních dle regionů a ověřte, které modely a oblasti jsou k dispozici. Pokud ten, který potřebujete, není uvedený, můžete ho nasadit do pracovního prostoru v podporované oblasti a pak využívat standardní nasazení z jiného pracovního prostoru.

1. Vytvořte předplatné marketplace modelu. Při vytváření předplatného přijímáte podmínky a ujednání přidružené k nabídce modelu. Nezapomeňte, že tento krok nemusíte provádět u modelů nabízených Microsoftem (například Phi-3).

   Studio

   1. Na stránce Podrobnosti modelu vyberte Použít tento model. Otevře se okno Možností nasazení , ve které si můžete vybrat mezi standardním nasazením (bezserverovým rozhraním API) a nasazením pomocí spravovaného výpočetního prostředí.

      

      Poznámka:

      U modelů, které je možné nasadit pouze prostřednictvím standardního nasazení, se průvodce standardním nasazením otevře hned po výběru možnosti Použít tento model na stránce podrobností modelu.

   2. Výběrem rozhraní API bez serveru otevřete průvodce standardním nasazením.

      

   3. Pokud se zobrazí poznámka , že pro tento pracovní prostor už máte předplatné Azure Marketplace, nemusíte předplatné vytvářet, protože už ho máte. Můžete pokračovat nasazením modelu do standardního nasazení.

   4. V průvodci nasazením vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití. Můžete také vybrat kartu Ceny a podmínky , kde se dozvíte o cenách vybraného modelu.

   5. V průvodci nasazením vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití. Můžete také vybrat kartu Podrobnosti nabídky Marketplace, kde se dozvíte o cenách vybraného modelu.

   6. Vyberte Přihlášení k odběru a nasazení.

   Azure CLI

   subscription.yml

   name: bria-2.3-Fast
   model_id: azureml://registries/azureml-bria/models/Bria-2.3-Fast
   

   K vytvoření předplatného použijte soubor subscription.yml :

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-bria/models/Bria-2.3-Fast"
   subscription_name="Bria-2.3-Fast""
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   PAŽE

   K vytvoření předplatného modelu použijte následující šablonu:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Bria-2.3-Fast",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-bria/models/Bria-2.3-Fast",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

2. Po přihlášení k odběru pracovního prostoru pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném pracovním prostoru opětovné přihlášení k odběru.

3. V libovolném okamžiku můžete zobrazit nabídky modelu, ke kterým se váš pracovní prostor aktuálně přihlašuje:

   Studio

   1. Přejděte na web Azure Portal.

   2. Přejděte do skupiny prostředků, do které pracovní prostor patří.

   3. Ve filtru Typ vyberte SaaS.

   4. Zobrazí se všechny nabídky, ke kterým jste aktuálně přihlášení k odběru.

   5. Výběrem libovolného prostředku zobrazíte podrobnosti.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   PAŽE

   K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Nasazení modelu v rámci standardní implementace

Po vytvoření předplatného pro model jiného než Microsoftu můžete přidružený model nasadit do standardního nasazení. Pro modely Microsoftu (například modely Phi-3) nemusíte vytvářet předplatné.

Standardní nasazení poskytuje způsob, jak využívat modely jako rozhraní API, aniž byste je hostovali ve vašem předplatném, a přitom udržovat potřeby podnikových organizací zabezpečení a dodržování předpisů. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

V této části vytvoříte koncový bod s názvem Bria-2.3-Fast.

1. Vytvoření bezserverového koncového bodu

   Studio

   1. Pokud chcete nasadit model Microsoftu, který nevyžaduje přihlášení k odběru nabídky modelu, vyberte Použít tento model a pak výběrem bezserverového rozhraní API otevřete průvodce nasazením.

   2. Pokud jste pracovní prostor přihlásili k odběru nabídky modelu v předchozí části, pokračujte ve výběru pro nasazení modelu s nutným předplatným, který není od společnosti Microsoft, kliknutím na Nasadit. Případně vyberte Pokračovat k nasazení (pokud měl průvodce nasazením poznámku , že pro tento pracovní prostor už máte předplatné Azure Marketplace).

      

   3. Pojmenujte nasazení. Tento název se stane součástí adresy URL rozhraní API nasazení. Tato adresa URL musí být v každé oblasti Azure jedinečná.

      

      Návod

      Možnost Filtr obsahu (Preview) je ve výchozím nastavení povolená. Ponechte výchozí nastavení, aby služba zjistila škodlivý obsah, jako je nenávist, sebeškozování, sexuální a násilné obsah. Další informace o filtrování obsahu ve verzi Preview najdete v tématu Zabezpečení obsahu pro modely nasazené prostřednictvím standardních nasazení.

   4. Vyberte Nasadit. Počkejte, až bude nasazení připravené a budete přesměrováni na stránku Nasazení.

   Azure CLI

   endpoint.yml

   name: bria-2.3-Fast
   model_id: azureml://registries/azureml-bria/models/Bria-2.3-Fast
   

   Pomocí souboru endpoint.yml vytvořte koncový bod:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="bria-2.3-Fast"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   PAŽE

   K vytvoření koncového bodu použijte následující šablonu:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "bria-2.3-Fast",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-bria/models/Bria-2.3-Fast",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Pak vytvořte nasazení:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Dokončení šablony nasazení Azure může trvat několik minut. Po dokončení se zobrazí zpráva, která obsahuje výsledek:

   "provisioningState": "Succeeded",
   

2. V libovolném okamžiku uvidíte koncové body nasazené do vašeho pracovního prostoru:

   Studio

   1. Přejděte do svého pracovního prostoru.

   2. Vyberte koncové body.

   3. Výběrem karty Bezserverové koncové body standardní nasazení zobrazíte.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoints = ml_client.online_endpoints.list()
   for endpoint in endpoints:
       print(endpoint.name)
   

   PAŽE

   K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pomocí následujícího postupu získejte klíče přidružené k danému koncovému bodu.

   Studio

   1. Pokud se chcete vrátit na stránku nasazení, vyberte název koncového bodu ze seznamu bezserverových koncových bodů.
   2. Poznamenejte si cílový identifikátor URI a klíč koncového bodu. Použijte je k volání nasazení a generování předpovědí.

   Poznámka:

   Při použití webu Azure Portal se ve skupině prostředků ve výchozím nastavení nezobrazují standardní nasazení. Pomocí možnosti Zobrazit skryté typy je můžete zobrazit ve skupině prostředků.

   Azure CLI

   az ml serverless-endpoint get-credentials -n bria-2.3-Fast
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   PAŽE

   K dotazování těchto informací použijte rozhraní REST API.

4. V tuto chvíli je váš koncový bod připravený k použití.

5. Pokud potřebujete toto nasazení využívat z jiného pracovního prostoru nebo plánujete použít tok promptů k vytváření inteligentních aplikací, musíte vytvořit připojení k běžnému nasazení. Chcete-li se naučit, jak konfigurovat existující standardní nasazení v novém pracovním prostoru nebo uzlu, podívejte se na Využití nasazených standardních nasazení z jiného pracovního prostoru nebo z Prompt flow.

   Návod

   Pokud používáte tok výzvy ve stejném pracovním prostoru, ve kterém bylo nasazení nasazeno, musíte připojení vytvořit.

Použití standardního nasazení

Modely nasazené ve službě Azure Machine Learning a Microsoft Foundry ve standardních nasazeních podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři použít k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu způsobí, že jakýkoli přidružený koncový bod se stane nefunkčním a nepoužitelným.

Studio

Chcete-li odstranit standardní nasazení:

1. Přejděte na studio Azure Machine Learning.

2. Na levém bočním panelu vyberte koncové body .

3. Výběrem karty Bezserverové koncové body standardní nasazení zobrazíte.

4. Otevřete koncový bod, který chcete odstranit.

5. Vyberte Odstranit.

Odstranění přidruženého předplatného modelu:

1. Přejděte na web Azure Portal.

2. Přejděte do skupiny prostředků, do které pracovní prostor patří.

3. Ve filtru Typ vyberte SaaS.

4. Vyberte předplatné, které chcete odstranit.

5. Vyberte Odstranit.

Azure CLI

Chcete-li odstranit standardní nasazení:

az ml serverless-endpoint delete \
    --name "bria-2.3-Fast"

Odstranění přidruženého předplatného modelu:

az ml marketplace-subscription delete \
    --name "bria-2.3-Fast"

Python SDK

Chcete-li odstranit standardní nasazení:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Odstranění přidruženého předplatného modelu:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

PAŽE

Ke správě prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

az resource delete --name <resource-name>

Důležité informace o nákladech a kvótách pro modely nasazené jako standardní nasazení

Kvóta se spravuje podle nasazení. Každé nasazení má limit rychlosti 200 000 tokenů za minutu a 1 000 požadavků rozhraní API za minutu. V současné době ale omezujeme jedno nasazení na model na jeden pracovní prostor. Pokud aktuální limity sazeb pro vaše scénáře nestačí, obraťte se na podporu Microsoft Azure.

Náklady na modely Microsoftu

Informace o cenách najdete na kartě Ceny a podmínky průvodce nasazením při nasazování modelů Microsoftu (například modelů Phi-3) jako standardních nasazení.

Náklady na modely jiné společnosti než Microsoft

Modely od jiných společností než Microsoft nasazené jako standardní nasazení se nabízejí prostřednictvím Azure Marketplace a integrované s Foundry pro použití. Při nasazování nebo vyladění těchto modelů najdete ceny v Azure Marketplace.

Pokaždé, když se pracovní prostor přihlásí k odběru dané nabídky z Azure Marketplace, vytvoří se nový prostředek, který bude sledovat náklady spojené s jeho spotřebou. Ke sledování nákladů spojených s odvozováním a dolaďováním se používá stejný zdroj, nicméně ke sledování každého scénáře je k dispozici více měřidel nezávisle.

Další informace o sledování nákladů najdete v tématu Monitorování nákladů na modely nabízené prostřednictvím Azure Marketplace.

Oprávnění potřebná k přihlášení k odběru nabídek modelů

Řízení přístupu na základě role v Azure (Azure RBAC) slouží k udělení přístupu k operacím ve službě Azure Machine Learning. Pokud chcete provést kroky v tomto článku, musíte mít uživatelský účet přiřazenou roli Vlastník, Přispěvatel nebo Vývojář Azure AI pro předplatné Azure. Případně můžete svému účtu přiřadit vlastní roli, která má následující oprávnění:

• V předplatném Azure – pokud chcete přihlásit pracovní prostor k odběru nabídky Azure Marketplace, jednou pro každý pracovní prostor pro každou nabídku:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Ve skupině prostředků – vytvoření a použití prostředku SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• V pracovním prostoru – nasazení koncových bodů (role datového vědce Azure Machine Learning už tato oprávnění obsahuje):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Další informace o oprávněních najdete v tématu Správa přístupu k pracovnímu prostoru Azure Machine Learning.

Související obsah

• Katalog modelů a kolekce
• Využití standardních nasazení z jiného pracovního prostoru