Sdílet prostřednictvím

Nasazení modelů jako nasazení bezserverového rozhraní API

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

V tomto článku se dozvíte, jak nasadit model Azure AI Foundry jako nasazení bezserverového rozhraní API. Některé modely v katalogu modelů je možné nasadit jako nasazení bezserverového rozhraní API. Tento druh nasazení poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně udržovat podnikové zabezpečení a dodržování předpisů, které organizace potřebují. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

I když nasazení bezserverového rozhraní API je jednou z možností nasazení modelů Azure AI Foundry, doporučujeme nasadit modely Foundry do prostředků Azure AI Foundry.

Poznámka:

Doporučujeme nasadit modely Azure AI Foundry do prostředků Azure AI Foundry, abyste mohli využívat svá nasazení prostřednictvím jednoho koncového bodu s jednotným ověřováním a schématem pro provádění inferencí. Koncový bod se řídí rozhraním API pro odvozování modelů Azure AI , které podporují všechny modely Foundry. Informace o nasazení modelu Foundry do prostředků Azure AI Foundry najdete v tématu Přidání a konfigurace modelů do modelů Azure AI Foundry.

Požadavky

  • Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.

  • Pokud ho nemáte, vytvořte projekt založený na centru.

  • Ujistěte se, že je funkce Nasazení modelů do prostředků Azure AI Foundry (Preview) vypnutá na portálu Azure AI Foundry. Pokud je tato funkce zapnutá, nasazení bezserverového API nejsou na portálu k dispozici.

    Snímek obrazovky portálu Azure AI Foundry znázorňující, kde zakázat nasazení do prostředků Azure AI Foundry

  • Modely Foundry od partnerů a komunity vyžadují přístup k Azure Marketplace, zatímco modely Foundry prodané přímo v Azure tento požadavek nemají. Ujistěte se, že máte oprávnění potřebná k přihlášení k odběru nabídek modelů na Azure Marketplace.

  • Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím na portálu Azure AI Foundry. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role Vývojář Azure AI ve skupině prostředků. Další informace o oprávněních najdete v tématu Řízení přístupu na základě role na portálu Azure AI Foundry.

  • K navigaci v Azure AI Foundry můžete použít libovolný kompatibilní webový prohlížeč.

Vyhledání modelu v katalogu modelů

  1. Přihlaste se k Azure AI Foundry.
  2. Pokud ještě nejste v projektu, vyberte ho.
  3. V levém podokně vyberte Katalog modelů .

  1. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

  2. Výběrem Použít tento model otevřete okno Serverless API nasazení, kde můžete zobrazit kartu Ceny a podmínky.

  3. V průvodci nasazením pojmenujte nasazení. Možnost Filtr obsahu (Preview) je ve výchozím nastavení povolená. Ponechte výchozí nastavení, aby služba zjistila škodlivý obsah, jako je nenávist, sebeškozování, sexuální a násilné obsah. Další informace o filtrování obsahu najdete v tématu Filtrování obsahu na portálu Azure AI Foundry.

    Snímek obrazovky znázorňující průvodce nasazením modelu prodaného přímo v Azure

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model.

  1. V průvodci nasazením vyberte Nasadit. Počkejte, až bude nasazení připravené a budete přesměrováni na stránku Nasazení.

  2. Pokud chcete zobrazit koncové body nasazené do vašeho projektu, v části Moje prostředky v levém podokně vyberte Modely a koncové body.

  3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pokud chcete získat klíče přidružené k danému koncovému bodu, postupujte takto:

    1. Vyberte nasazení a poznamenejte si cílový identifikátor URI a klíč koncového bodu.

    2. Musíte použít tyto přihlašovací údaje, abyste provedli nasazení a generovali predikce.

  4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

    Návod

    Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Azure AI Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Návod

Vzhledem k tomu, že levé podokno můžete přizpůsobit na portálu Azure AI Foundry, můžou se zobrazit jiné položky, než je znázorněno v těchto krocích. Pokud nevidíte, co hledáte, vyberte v dolní části levého podokna možnost ... Další.

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

Chcete-li odstranit nasazení bezserverového rozhraní API:

  1. Přejděte do Azure AI Foundry.
  2. Přejděte na svůj projekt.
  3. V sekci Moje prostředky vyberte Modely + koncové body.
  4. Otevřete nasazení, které chcete odstranit.
  5. Vyberte Odstranit.

Odstranění přidruženého předplatného modelu:

  1. Přejděte na web Azure Portal.
  2. Přejděte do skupiny prostředků, do které projekt patří.
  3. Ve filtru Typ vyberte SaaS.
  4. Vyberte předplatné, které chcete odstranit.
  5. Vyberte Odstranit.

  • Pokud chcete pracovat s Azure AI Foundry, nainstalujte Azure CLI a rozšíření ml pro Azure Machine Learning.

    az extension add -n ml

    Pokud už rozšíření máte nainstalované, ujistěte se, že je nainstalovaná nejnovější verze.

    az extension update -n ml

    Jakmile je rozšíření nainstalované, nakonfigurujte ho:

    az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>

Vyhledání modelu v katalogu modelů

  1. Přihlaste se k Azure AI Foundry.
  2. Pokud ještě nejste v projektu, vyberte ho.
  3. V levém podokně vyberte Katalog modelů .

  1. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

  2. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1modelu , kopírovat azureml://registries/azureml-deepseek/models/DeepSeek-R1.

    Snímek obrazovky se stránkou podrobností modelu pro model prodaných přímo v Azure

Kroky v této části článku používají pro ilustraci model DeepSeek-R1 . Postup je stejný bez ohledu na to, jestli používáte modely Foundry, které prodává přímo Azure nebo Foundry Models od partnerů a komunity. Pokud se například rozhodnete místo toho nasadit model Cohere-command-r-08-2024 , můžete přihlašovací údaje modelu v fragmentech kódu nahradit přihlašovacími údaji pro Cohere.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model. Pojmenujte koncový bod DeepSeek-R1-qwerty.

  1. Vytvořte koncový bod bez serveru.

    endpoint.yml

    name: DeepSeek-R1-qwerty
model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1

    Pomocí souboru endpoint.yml vytvořte koncový bod:

    az ml serverless-endpoint create -f endpoint.yml

  2. V libovolném okamžiku uvidíte koncové body nasazené do projektu:

    az ml serverless-endpoint list

  3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pomocí následujícího postupu získejte klíče přidružené k danému koncovému bodu.

    az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty

  4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

    Návod

    Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Azure AI Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

Chcete-li odstranit nasazení bezserverového rozhraní API:

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

Odstranění přidruženého předplatného modelu:

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

  • Pokud chcete pracovat s Azure AI Foundry, nainstalujte sadu Azure Machine Learning SDK pro Python.

    pip install -U azure-ai-ml

    Po instalaci naimportujte potřebné obory názvů a vytvořte klienta připojeného k projektu:

    from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)

Vyhledání modelu v katalogu modelů

  1. Přihlaste se k Azure AI Foundry.
  2. Pokud ještě nejste v projektu, vyberte ho.
  3. V levém podokně vyberte Katalog modelů .

  1. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

  2. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1modelu , kopírovat azureml://registries/azureml-deepseek/models/DeepSeek-R1.

    Snímek obrazovky se stránkou podrobností modelu pro model prodaných přímo v Azure

Kroky v této části článku používají pro ilustraci model DeepSeek-R1 . Postup je stejný bez ohledu na to, jestli používáte modely Foundry, které prodává přímo Azure nebo Foundry Models od partnerů a komunity. Pokud se například rozhodnete místo toho nasadit model Cohere-command-r-08-2024 , můžete přihlašovací údaje modelu v fragmentech kódu nahradit přihlašovacími údaji pro Cohere.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model. Pojmenujte koncový bod DeepSeek-R1-qwerty.

  1. Vytvořte koncový bod bez serveru.

    endpoint_name="DeepSeek-R1-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

  2. V libovolném okamžiku uvidíte koncové body nasazené do projektu:

    endpoint_name="DeepSeek-R1-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

  3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pomocí následujícího postupu získejte klíče přidružené k danému koncovému bodu.

    endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)

  4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

    Návod

    Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Azure AI Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Odstranění přidruženého předplatného modelu:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

  • Pokud chcete pracovat s Azure AI Foundry, nainstalujte Azure CLI, jak je popsáno v Azure CLI.

    Nakonfigurujte následující proměnné prostředí podle vašich nastavení:

    RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2"

Vyhledání modelu v katalogu modelů

  1. Přihlaste se k Azure AI Foundry.
  2. Pokud ještě nejste v projektu, vyberte ho.
  3. V levém podokně vyberte Katalog modelů .

  1. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

  2. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1modelu , kopírovat azureml://registries/azureml-deepseek/models/DeepSeek-R1.

    Snímek obrazovky se stránkou podrobností modelu pro model prodaných přímo v Azure

Kroky v této části článku používají pro ilustraci model DeepSeek-R1 . Postup je stejný bez ohledu na to, jestli používáte modely Foundry, které prodává přímo Azure nebo Foundry Models od partnerů a komunity. Pokud se například rozhodnete místo toho nasadit model Cohere-command-r-08-2024 , můžete přihlašovací údaje modelu v fragmentech kódu nahradit přihlašovacími údaji pro Cohere.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model. Pojmenujte koncový bod myserverless-text-1234ss.

  1. Vytvořte koncový bod bez serveru. K vytvoření koncového bodu použijte následující šablonu:

    bezserverový koncový bod.bicep

    param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri

    Vytvořte nasazení následujícím způsobem:

    az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

  2. V libovolném okamžiku uvidíte koncové body nasazené do projektu:

    K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

    az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"

  3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Získejte klíče přidružené k danému koncovému bodu pomocí rozhraní REST API k dotazování těchto informací.

  4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

    Návod

    Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Azure AI Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

Ke správě prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

az resource delete --name <resource-name>

Důležité informace o nákladech a kvótách pro modely Foundry nasazené jako serverless API.

Kvóta se spravuje podle nasazení. Každé nasazení má limit rychlosti 200 000 tokenů za minutu a 1 000 požadavků rozhraní API za minutu. Kromě toho aktuálně omezujeme jedno nasazení na jeden model na jeden projekt. Pokud aktuální limity sazeb pro vaše scénáře nestačí, obraťte se na podporu Microsoft Azure.

  • Informace o cenách modelů prodaných přímo v Azure najdete na kartě Ceny a podmínky v okně nasazení bezserverového rozhraní API .

  • Modely od partnerů a komunity jsou nabízeny prostřednictvím Azure Marketplace a integrované s Azure AI Foundry pro použití. Při nasazování nebo vyladění těchto modelů najdete ceny v Azure Marketplace. Pokaždé, když se projekt přihlásí k odběru dané nabídky z Azure Marketplace, vytvoří se nový prostředek, který bude sledovat náklady spojené s jeho spotřebou. Ke sledování nákladů spojených s odvozováním a dolaďováním se používá stejný zdroj, nicméně ke sledování každého scénáře je k dispozici více měřidel nezávisle. Další informace o sledování nákladů najdete v tématu Monitorování nákladů na modely nabízené prostřednictvím Azure Marketplace.

Oprávnění potřebná k přihlášení k odběru nabídek modelů

Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím na portálu Azure AI Foundry. Pokud chcete provést kroky v tomto článku, musíte mít uživatelský účet přiřazenou roli Vlastník, Přispěvatel nebo Vývojář Azure AI pro předplatné Azure. Případně můžete svému účtu přiřadit vlastní roli, která má následující oprávnění:

  • V předplatném Azure – pokud chcete přihlásit pracovní prostor k odběru nabídky Azure Marketplace, jednou pro každý pracovní prostor pro každou nabídku:

    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action

  • Ve skupině prostředků – vytvoření a použití prostředku SaaS:

    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write

  • V pracovním prostoru – nasazení koncových bodů (role datového vědce Azure Machine Learning už tato oprávnění obsahuje):

    • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
    • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Další informace o oprávněních najdete v tématu Řízení přístupu na základě role na portálu Azure AI Foundry.

Související obsah