Nasazení modelů jako nasazení bezserverového rozhraní API

Poznámka:

Tento dokument se týká portálu Microsoft Foundry (Classic).

🔍Informace o novém portálu najdete v dokumentaci k Microsoft Foundry (nové).

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

V tomto článku se dozvíte, jak nasadit model Microsoft Foundry jako nasazení bezserverového rozhraní API. Některé modely v katalogu modelů je možné nasadit jako nasazení bezserverového rozhraní API. Tento druh nasazení poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně udržovat podnikové zabezpečení a dodržování předpisů, které organizace potřebují. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

Ačkoli je nasazení bezserverového rozhraní API jednou z možností pro nasazení modelů Foundry, doporučujeme nasadit modely Foundry do prostředků Foundry.

Poznámka:

Doporučujeme nasadit modely Microsoft Foundry do zdrojů Foundry, abyste mohli využívat nasazení ve zdroji prostřednictvím jednoho koncového bodu se stejným ověřováním a schématem pro vytváření závěrů. Koncový bod se řídí rozhraním API pro odvozování modelů Azure AI , které podporují všechny modely Foundry. Informace o nasazení modelu Foundry do prostředků Foundry najdete v tématu Přidání a konfigurace modelů pro Foundry Models.

Požadavky

• Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.

• Pokud ho nemáte, vytvořte projekt založený na centru.

• Ujistěte se, že je na portálu Foundry vypnutá funkce Nasazení modelů do prostředků Foundry (Preview). Pokud je tato funkce zapnutá, nasazení bezserverového API nejsou na portálu k dispozici.

  

• Modely Foundry od partnerů a komunity vyžadují přístup k Azure Marketplace, zatímco modely Foundry prodané přímo v Azure tento požadavek nemají. Ujistěte se, že máte oprávnění potřebná k přihlášení k odběru nabídek modelů na Azure Marketplace.

• Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím na portálu Foundry. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role Vývojář Azure AI ve skupině prostředků. Další informace o oprávněních najdete v tématu Řízení přístupu na základě role na portálu Foundry.

• K navigaci v Foundry můžete použít libovolný kompatibilní webový prohlížeč.

Vyhledání modelu v katalogu modelů

1. Přihlaste se k Microsoft Foundry. Ujistěte se, že je přepínač New Foundry vypnutý. Tyto kroky odkazují na Foundry (classic).
2. Pokud ještě nejste v projektu, vyberte ho.
3. V levém podokně vyberte Katalog modelů .

Modely prodané přímo v Azure

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

5. Výběrem Použít tento model otevřete okno Serverless API nasazení, kde můžete zobrazit kartu Ceny a podmínky.

6. V průvodci nasazením pojmenujte nasazení. Možnost Filtr obsahu (Preview) je ve výchozím nastavení povolená. Ponechte výchozí nastavení, aby služba zjistila škodlivý obsah, jako je nenávist, sebeškozování, sexuální a násilné obsah. Další informace o filtrování obsahu najdete v tématu Filtrování obsahu na portálu Foundry.

   

Modely od partnerů a komunity

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete Cohere-command-r-08-2024.

Poznámka:

Modely od partnerů a komunity se nabízejí prostřednictvím Azure Marketplace. U těchto modelů se ujistěte, že váš účet má oprávnění role Azure AI Developer ve skupině prostředků nebo že splňujete oprávnění potřebná k přihlášení k odběru nabídek modelů, protože je potřeba přihlásit se k odběru projektu k odběru konkrétní nabídky modelu.

Přihlášení projektu k odběru nabídky modelů

Pro modely od partnerů a komunity, například Cohere-command-r-08-2024, musíte před nasazením vytvořit předplatné. Pokud model nasazujete v projektu poprvé, musíte svůj projekt přihlásit k odběru konkrétní nabídky modelu z Azure Marketplace. Každý projekt má vlastní předplatné konkrétní nabídky modelu Azure Marketplace, která umožňuje řídit a monitorovat útraty. Po přihlášení k odběru projektu pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném projektu opětovné přihlášení k odběru.

Modely nabízené prostřednictvím Azure Marketplace jsou navíc k dispozici pro nasazení do bezserverového nasazení rozhraní API v konkrétních oblastech. Zkontrolujte oblasti podporované pro bezserverové nasazení a ověřte dostupné oblasti pro konkrétní model. Pokud oblast, ve které se projekt nachází, není uvedená, můžete ji nasadit do projektu v podporované oblasti a pak využívat nasazení bezserverového rozhraní API z jiného projektu.

1. Na stránce Podrobnostimodelu vyberte Použít tento model a otevřete okno nasazení bezserverového rozhraní API. V okně nasazení bezserverového rozhraní API poskytuje odkaz Podmínky Azure Marketplace další informace o podmínkách použití. Na kartě Ceny a termíny najdete také podrobnosti o cenách vybraného modelu.

   Návod

   U modelů, které je možné nasadit prostřednictvím nasazení bezserverového rozhraní API nebo spravovaného výpočetního prostředí, se otevře okno možností nasazení , které vám poskytne výběr mezi nasazením bezserverového rozhraní API a nasazením pomocí spravovaného výpočetního prostředí. Odtud můžete vybrat možnost nasazení bezserverového rozhraní API.

2. Pokud jste model v projektu ještě nikdy nenasadili, musíte se nejdřív přihlásit k odběru nabídky modelu na Azure Marketplace. Vyberte Přihlásit k odběru a Nasazení pro otevření průvodce nasazením.

   

3. Pokud se také zobrazí poznámka, že pro tento projekt už máte předplatné Azure Marketplace, nemusíte předplatné vytvářet, protože ho už máte. Výběrem možnosti Pokračovat nasazení otevřete průvodce nasazením.

   

4. (Volitelné) Kdykoliv uvidíte nabídky modelu, ke kterým je váš projekt aktuálně přihlášený:

   1. Přejděte na webový portál Azure.
   2. Přejděte do skupiny prostředků, do které projekt patří.
   3. Ve filtru Typ vyberte SaaS.
   4. Zobrazí se všechny nabídky, ke kterým jste aktuálně přihlášení k odběru.
   5. Výběrem libovolného prostředku zobrazíte podrobnosti.

5. V průvodci nasazením pojmenujte nasazení. Možnost Filtr obsahu (Preview) je ve výchozím nastavení povolená. Ponechte výchozí nastavení, aby služba zjistila škodlivý obsah, jako je nenávist, sebeškozování, sexuální a násilné obsah. Další informace o filtrování obsahu najdete v tématu Filtrování obsahu na portálu Foundry.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model.

1. V průvodci nasazením vyberte Nasadit. Počkejte, až bude nasazení připravené a budete přesměrováni na stránku Nasazení.

2. Pokud chcete zobrazit koncové body nasazené do vašeho projektu, v části Moje prostředky v levém podokně vyberte Modely a koncové body.

3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pokud chcete získat klíče přidružené k danému koncovému bodu, postupujte takto:

   1. Vyberte nasazení a poznamenejte si cílový identifikátor URI a klíč koncového bodu.

   2. Musíte použít tyto přihlašovací údaje, abyste provedli nasazení a generovali predikce.

4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

   Návod

   Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři použít k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Návod

Vzhledem k tomu, že levé podokno můžete přizpůsobit na portálu Microsoft Foundry, může se zobrazit jiné položky, než je znázorněno v tomto postupu. Pokud nevidíte, co hledáte, vyberte v dolní části levého podokna možnost ... Další.

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

Chcete-li odstranit nasazení bezserverového rozhraní API:

1. Přejděte do Foundry.
2. Přejděte na svůj projekt.
3. V sekci Moje prostředky vyberte Modely + koncové body.
4. Otevřete nasazení, které chcete odstranit.
5. Vyberte Odstranit.

Odstranění přidruženého předplatného modelu:

1. Přejděte na web Azure Portal.
2. Přejděte do skupiny prostředků, do které projekt patří.
3. Ve filtru Typ vyberte SaaS.
4. Vyberte předplatné, které chcete odstranit.
5. Vyberte Odstranit.

• Pokud chcete pracovat s Foundry, nainstalujte Azure CLI a rozšíření ml pro Azure Machine Learning.

  az extension add -n ml
  

  Pokud už rozšíření máte nainstalované, ujistěte se, že je nainstalovaná nejnovější verze.

  az extension update -n ml
  

  Jakmile je rozšíření nainstalované, nakonfigurujte ho:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

Vyhledání modelu v katalogu modelů

1. Přihlaste se k Microsoft Foundry. Ujistěte se, že je přepínač New Foundry vypnutý. Tyto kroky odkazují na Foundry (classic).
2. Pokud ještě nejste v projektu, vyberte ho.
3. V levém podokně vyberte Katalog modelů .

Modely prodané přímo v Azure

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

5. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1modelu , kopírovat azureml://registries/azureml-deepseek/models/DeepSeek-R1.

   

Modely od partnerů a komunity

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete Cohere-command-r-08-2024.

   Poznámka:

   Modely od partnerů a komunity se nabízejí prostřednictvím Azure Marketplace. U těchto modelů se ujistěte, že váš účet má oprávnění role Azure AI Developer ve skupině prostředků nebo že splňujete oprávnění potřebná k přihlášení k odběru nabídek modelů, protože je potřeba přihlásit se k odběru projektu k odběru konkrétní nabídky modelu.

5. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1modelu , kopírovat azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

   

Přihlášení projektu k odběru nabídky modelů

Pro modely od partnerů a komunity, například Cohere-command-r-08-2024, musíte před nasazením vytvořit předplatné. Pokud model nasazujete v projektu poprvé, musíte svůj projekt přihlásit k odběru konkrétní nabídky modelu z Azure Marketplace. Každý projekt má vlastní předplatné konkrétní nabídky modelu Azure Marketplace, která umožňuje řídit a monitorovat útraty. Po přihlášení k odběru projektu pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném projektu opětovné přihlášení k odběru.

Modely nabízené prostřednictvím Azure Marketplace jsou navíc k dispozici pro nasazení do bezserverového nasazení rozhraní API v konkrétních oblastech. Zkontrolujte oblasti podporované pro bezserverové nasazení a ověřte dostupné oblasti pro konkrétní model. Pokud oblast, ve které se projekt nachází, není uvedená, můžete ji nasadit do projektu v podporované oblasti a pak využívat nasazení bezserverového rozhraní API z jiného projektu.

1. Vytvořte předplatné marketplace modelu. Při vytváření předplatného přijímáte podmínky a ujednání přidružené k nabídce modelu.

   subscription.yml

   name: Cohere-command-r-08-2024-qwerty
   model_id: azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024
   

   K vytvoření předplatného použijte předchozí soubor:

   az ml marketplace-subscription create -f subscription.yml
   

2. (Volitelné) Kdykoliv uvidíte nabídky modelu, ke kterým je váš projekt aktuálně přihlášený:

   az ml marketplace-subscription list
   

Kroky v této části článku používají pro ilustraci model DeepSeek-R1 . Postup je stejný bez ohledu na to, jestli používáte modely Foundry, které prodává přímo Azure nebo Foundry Models od partnerů a komunity. Pokud se například rozhodnete místo toho nasadit model Cohere-command-r-08-2024 , můžete přihlašovací údaje modelu v fragmentech kódu nahradit přihlašovacími údaji pro Cohere.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model. Pojmenujte koncový bod DeepSeek-R1-qwerty.

1. Vytvořte koncový bod bez serveru.

   endpoint.yml

   name: DeepSeek-R1-qwerty
   model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1
   

   Pomocí souboru endpoint.yml vytvořte koncový bod:

   az ml serverless-endpoint create -f endpoint.yml
   

2. V libovolném okamžiku uvidíte koncové body nasazené do projektu:

   az ml serverless-endpoint list
   

3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pomocí následujícího postupu získejte klíče přidružené k danému koncovému bodu.

   az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty
   

4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

   Návod

   Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři použít k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

Chcete-li odstranit nasazení bezserverového rozhraní API:

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

Odstranění přidruženého předplatného modelu:

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

• Pokud chcete pracovat s Foundry, nainstalujte sadu Azure Machine Learning SDK pro Python.

  pip install -U azure-ai-ml
  

  Po instalaci naimportujte potřebné obory názvů a vytvořte klienta připojeného k projektu:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

Vyhledání modelu v katalogu modelů

1. Přihlaste se k Microsoft Foundry. Ujistěte se, že je přepínač New Foundry vypnutý. Tyto kroky odkazují na Foundry (classic).
2. Pokud ještě nejste v projektu, vyberte ho.
3. V levém podokně vyberte Katalog modelů .

Modely prodané přímo v Azure

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

5. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1modelu , kopírovat azureml://registries/azureml-deepseek/models/DeepSeek-R1.

   

Modely od partnerů a komunity

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete Cohere-command-r-08-2024.

   Poznámka:

   Modely od partnerů a komunity se nabízejí prostřednictvím Azure Marketplace. U těchto modelů se ujistěte, že váš účet má oprávnění role Azure AI Developer ve skupině prostředků nebo že splňujete oprávnění potřebná k přihlášení k odběru nabídek modelů, protože je potřeba přihlásit se k odběru projektu k odběru konkrétní nabídky modelu.

5. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1modelu , kopírovat azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

   

Přihlášení projektu k odběru nabídky modelů

Pro modely od partnerů a komunity, například Cohere-command-r-08-2024, musíte před nasazením vytvořit předplatné. Pokud model nasazujete v projektu poprvé, musíte svůj projekt přihlásit k odběru konkrétní nabídky modelu z Azure Marketplace. Každý projekt má vlastní předplatné konkrétní nabídky modelu Azure Marketplace, která umožňuje řídit a monitorovat útraty. Po přihlášení k odběru projektu pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném projektu opětovné přihlášení k odběru.

Modely nabízené prostřednictvím Azure Marketplace jsou navíc k dispozici pro nasazení do bezserverového nasazení rozhraní API v konkrétních oblastech. Zkontrolujte oblasti podporované pro bezserverové nasazení a ověřte dostupné oblasti pro konkrétní model. Pokud oblast, ve které se projekt nachází, není uvedená, můžete ji nasadit do projektu v podporované oblasti a pak využívat nasazení bezserverového rozhraní API z jiného projektu.

1. Vytvořte předplatné marketplace modelu. Při vytváření předplatného přijímáte podmínky a ujednání přidružené k nabídce modelu.

   model_id="azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024"
   subscription_name="Cohere-command-r-08-2024"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

2. (Volitelné) Kdykoliv uvidíte nabídky modelu, ke kterým je váš projekt aktuálně přihlášený:

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

Kroky v této části článku používají pro ilustraci model DeepSeek-R1 . Postup je stejný bez ohledu na to, jestli používáte modely Foundry, které prodává přímo Azure nebo Foundry Models od partnerů a komunity. Pokud se například rozhodnete místo toho nasadit model Cohere-command-r-08-2024 , můžete přihlašovací údaje modelu v fragmentech kódu nahradit přihlašovacími údaji pro Cohere.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model. Pojmenujte koncový bod DeepSeek-R1-qwerty.

1. Vytvořte koncový bod bez serveru.

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

2. V libovolném okamžiku uvidíte koncové body nasazené do projektu:

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pomocí následujícího postupu získejte klíče přidružené k danému koncovému bodu.

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

   Návod

   Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři použít k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Odstranění přidruženého předplatného modelu:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

• Pokud chcete pracovat s Foundry, nainstalujte Azure CLI, jak je popsáno v Azure CLI.

  Nakonfigurujte následující proměnné prostředí podle vašich nastavení:

  RESOURCE_GROUP="serverless-models-dev"
  LOCATION="eastus2" 
  

Vyhledání modelu v katalogu modelů

1. Přihlaste se k Microsoft Foundry. Ujistěte se, že je přepínač New Foundry vypnutý. Tyto kroky odkazují na Foundry (classic).
2. Pokud ještě nejste v projektu, vyberte ho.
3. V levém podokně vyberte Katalog modelů .

Modely prodané přímo v Azure

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete model DeepSeek-R1 .

5. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1modelu , kopírovat azureml://registries/azureml-deepseek/models/DeepSeek-R1.

   

Modely od partnerů a komunity

4. Vyberte kartu modelu modelu, který chcete nasadit. V tomto článku vyberete Cohere-command-r-08-2024.

   Poznámka:

   Modely od partnerů a komunity se nabízejí prostřednictvím Azure Marketplace. U těchto modelů se ujistěte, že váš účet má oprávnění role Azure AI Developer ve skupině prostředků nebo že splňujete oprávnění potřebná k přihlášení k odběru nabídek modelů, protože je potřeba přihlásit se k odběru projektu k odběru konkrétní nabídky modelu.

5. Zkopírujte ID modelu bez zahrnutí verze modelu, protože nasazení bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1modelu , kopírovat azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

   

Přihlášení projektu k odběru nabídky modelů

Pro modely od partnerů a komunity, například Cohere-command-r-08-2024, musíte před nasazením vytvořit předplatné. Pokud model nasazujete v projektu poprvé, musíte svůj projekt přihlásit k odběru konkrétní nabídky modelu z Azure Marketplace. Každý projekt má vlastní předplatné konkrétní nabídky modelu Azure Marketplace, která umožňuje řídit a monitorovat útraty. Po přihlášení k odběru projektu pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném projektu opětovné přihlášení k odběru.

Modely nabízené prostřednictvím Azure Marketplace jsou navíc k dispozici pro nasazení do bezserverového nasazení rozhraní API v konkrétních oblastech. Zkontrolujte oblasti podporované pro bezserverové nasazení a ověřte dostupné oblasti pro konkrétní model. Pokud oblast, ve které se projekt nachází, není uvedená, můžete ji nasadit do projektu v podporované oblasti a pak využívat nasazení bezserverového rozhraní API z jiného projektu.

1. Použijte následující konfiguraci bicep k vytvoření předplatného modelu. Při vytváření předplatného přijímáte podmínky a ujednání přidružené k nabídce modelu.

   model-subscription.bicep

   param projectName string = 'my-project'
   param modelId string = 'azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   // Replace period character which is used in some model names (and is not valid in the subscription name)
   var sanitizedModelName = replace(modelName, '.', '')
   var subscriptionName = '${sanitizedModelName}-subscription'
   
   resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
     modelId,
     'azureml://registries/azureml/'
   )) {
     name: '${projectName}/${subscriptionName}'
     properties: {
       modelId: modelId
     }
   }
   

   Poté vytvořte prostředek následujícím způsobem:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

2. (Volitelné) Kdykoliv uvidíte nabídky modelu, ke kterým je váš projekt aktuálně přihlášený. K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Kroky v této části článku používají pro ilustraci model DeepSeek-R1 . Postup je stejný bez ohledu na to, jestli používáte modely Foundry, které prodává přímo Azure nebo Foundry Models od partnerů a komunity. Pokud se například rozhodnete místo toho nasadit model Cohere-command-r-08-2024 , můžete přihlašovací údaje modelu v fragmentech kódu nahradit přihlašovacími údaji pro Cohere.

Nasazení modelu do bezserverového rozhraní API

V této části vytvoříte koncový bod pro model. Pojmenujte koncový bod myserverless-text-1234ss.

1. Vytvořte koncový bod bez serveru. K vytvoření koncového bodu použijte následující šablonu:

   bezserverový koncový bod.bicep

   param projectName string = 'my-project'
   param endpointName string = 'myserverless-text-1234ss'
   param location string = resourceGroup().location
   param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   // Replace period character which is used in some model names (and is not valid in the subscription name)
   var sanitizedModelName = replace(modelName, '.', '')
   var subscriptionName = '${sanitizedModelName}-subscription'
   
   resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
     name: '${projectName}/${endpointName}'
     location: location
     sku: {
       name: 'Consumption'
     }
     properties: {
       modelSettings: {
         modelId: modelId
       }
     }
     dependsOn: [
       projectName_subscription
     ]
   }
   
   output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
   

   Vytvořte nasazení následujícím způsobem:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

2. V libovolném okamžiku uvidíte koncové body nasazené do projektu:

   K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Získejte klíče přidružené k danému koncovému bodu pomocí rozhraní REST API k dotazování těchto informací.

4. Pokud potřebujete toto nasazení využívat z jiného projektu nebo centra, nebo plánujete použít Prompt flow k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení serverless API. Informace o konfiguraci existujícího nasazení bezserverového rozhraní API v novém projektu nebo centru najdete v tématu Využití nasazení bezserverového rozhraní API z jiného projektu nebo z toku výzvy.

   Návod

   Pokud používáte tok výzev ve stejném projektu nebo hubu, tam, kde bylo nasazení provedeno, stále potřebujete vytvořit připojení.

Použijte nasazení API bez serveru

Modely nasazené ve službě Azure Machine Learning a Foundry v nasazeních bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI , které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři použít k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstraňte koncové body a předplatná

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se všechny přidružené koncové body stanou nefunkčními a nepoužitelnými.

Ke správě prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

az resource delete --name <resource-name>

Důležité informace o nákladech a kvótách pro modely Foundry nasazené jako serverless API.

Kvóta se spravuje podle nasazení. Každé nasazení má limit rychlosti 200 000 tokenů za minutu a 1 000 požadavků rozhraní API za minutu. Kromě toho aktuálně omezujeme jedno nasazení na jeden model na jeden projekt. Pokud aktuální limity sazeb pro vaše scénáře nestačí, obraťte se na podporu Microsoft Azure.

• Informace o cenách modelů prodaných přímo v Azure najdete na kartě Ceny a podmínky v okně nasazení bezserverového rozhraní API .

• Modely od partnerů a komunity se nabízejí prostřednictvím Azure Marketplace a integrované s Foundry pro použití. Při nasazování nebo vyladění těchto modelů najdete ceny v Azure Marketplace. Pokaždé, když se projekt přihlásí k odběru dané nabídky z Azure Marketplace, vytvoří se nový prostředek, který bude sledovat náklady spojené s jeho spotřebou. Ke sledování nákladů spojených s odvozováním a dolaďováním se používá stejný zdroj, nicméně ke sledování každého scénáře je k dispozici více měřidel nezávisle. Další informace o sledování nákladů najdete v tématu Monitorování nákladů na modely nabízené prostřednictvím Azure Marketplace.

Oprávnění potřebná k přihlášení k odběru nabídek modelů

Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím na portálu Foundry. Pokud chcete provést kroky v tomto článku, musíte mít uživatelský účet přiřazenou roli Vlastník, Přispěvatel nebo Vývojář Azure AI pro předplatné Azure. Případně můžete svému účtu přiřadit vlastní roli, která má následující oprávnění:

• V předplatném Azure – pokud chcete přihlásit pracovní prostor k odběru nabídky Azure Marketplace, jednou pro každý pracovní prostor pro každou nabídku:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Ve skupině prostředků – vytvoření a použití prostředku SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• V pracovním prostoru – nasazení koncových bodů (role datového vědce Azure Machine Learning už tato oprávnění obsahuje):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Další informace o oprávněních najdete v tématu Řízení přístupu na základě role na portálu Foundry.

Související obsah

• Dostupnost regionů pro nasazení modelů jako bezserverového API
• Vyladění modelů s využitím nasazení bezserverového rozhraní API