Distribuera Azure AI Foundry-modeller till hanterad beräkning med betalning per användning

2025-06-24

Azure AI Foundry Models innehåller en omfattande katalog med modeller ordnade i två kategorier – modeller som säljs direkt av Azure och Modeller från partner och community. Dessa modeller från partner och gemenskapen, som är tillgängliga för implementering på en hanterad datorkapacitet, är antingen öppna eller skyddade modeller. I den här artikeln får du lära dig hur du använder skyddade modeller från partner och community, som erbjuds via Azure Marketplace för distribution på en hanterad beräkning med betala-efter-användning-fakturering.

Förutsättningar

En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.
Om du inte har något skapar du ett hubbbaserat projekt.
Azure Marketplace-köp aktiverade för din Azure-prenumeration.
Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att ge åtkomst till åtgärder i Azure AI Foundry-portalen. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas en anpassad roll med följande behörigheter. Användarkonton som tilldelats rollen Ägare eller Deltagare för Azure-prenumerationen kan också skapa distributioner. Mer information om behörigheter finns i Rollbaserad åtkomstkontroll i Azure AI Foundry-portalen.
Under Azure-prenumerationen – för att prenumerera arbetsytan/projektet till Azure Marketplace-erbjudandet:
- Microsoft.MarketplaceOrdering/avtal/erbjudanden/planer/läs
- Microsoft.MarketplaceOrdering/avtal/erbjudanden/planer/signera/åtgärd
- Microsoft.MarketplaceOrdering/erbjudandetyper/utgivare/erbjudanden/planer/avtal/läsa
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
I resursgruppen – för att skapa och använda SaaS-resursen:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
På arbetsytan – för att distribuera slutpunkter:
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.Maskininlärningstjänster/workspaces/onlineEndpoints/*

Prenumerationsomfång och måttenhet för Azure Marketplace-erbjudande

Azure AI Foundry möjliggör en sömlös prenumeration och transaktionsupplevelse för skyddade modeller när du skapar och använder dina dedikerade modelldistributioner i stor skala. Distributionen av skyddade modeller på hanterad beräkning innebär betala-efter-användning-fakturering för kunden i två dimensioner.

Azure Machine Learning-fakturering per timme för beräkningskapacitet för de virtuella datorer som används i implementeringen.
Tilläggsfakturering för modellen som anges av modellutgivaren i Azure Marketplace-erbjudandet.

Fakturering enligt förbrukning för Azure-datorresurser och modellavgift beräknas proportionellt per minut baserat på systemdrifttiden för de hanterade onlineutplaceringarna. Tillägget för en modell är ett pris per GPU-timme som anges av partnern (eller modellens utgivare) på Azure Marketplace för alla GPU:er som stöds och som kan användas för att distribuera modellen på hanterad Azure AI Foundry-beräkning.

En användares prenumeration på Azure Marketplace-erbjudanden är begränsad till projektresursen i Azure AI Foundry. Om det redan finns en prenumeration på Azure Marketplace-erbjudandet för en viss modell i projektet informeras användaren i distributionsguiden om att prenumerationen redan finns för projektet.

Anmärkning

För NVIDIA-slutsatsdragningsmikrotjänster (NIM) är flera modeller associerade med ett enda marketplace-erbjudande, så du behöver bara prenumerera på NIM-erbjudandet en gång i ett projekt för att kunna distribuera alla NIM:er som erbjuds av NVIDIA i AI Foundry-modellkatalogen. Om du vill distribuera NIM:er i ett annat projekt utan någon befintlig SaaS-prenumeration måste du prenumerera på erbjudandet igen.

Så här hittar du alla SaaS-prenumerationer som finns i en Azure-prenumeration:

Logga in på Azure-portalen och gå till din Azure-prenumeration.
Välj Prenumerationer och välj sedan din Azure-prenumeration för att öppna översiktssidan.
Välj Inställningar>Resurser för att se listan över resurser.
Använd filtret Typ för att välja Resurstyp för SaaS.

Den förbrukningsbaserade tilläggsavgiften ackumuleras till den associerade SaaS-prenumerationen och faktureras till en användare via Azure Marketplace. Du kan visa fakturan på fliken Översikt för respektive SaaS-prenumeration.

Tips/Råd

Eftersom du kan anpassa det vänstra fönstret i Azure AI Foundry-portalen kan du se andra objekt än vad som visas i de här stegen. Om du inte ser det du letar efter väljer du ... Mer längst ned i det vänstra fönstret.

Logga in på Azure AI Foundry.
Om du inte redan är med i projektet väljer du det.
Välj Modellkatalog i det vänstra fönstret.
Välj filtret Distributionsalternativ i modellkatalogen och välj Hanterad beräkning.
Filtrera listan ytterligare genom att välja den samling och modell som du väljer. I den här artikeln använder vi Cohere Command A från listan över modeller som stöds för illustration.
På modellens sida väljer du Använd den här modellen för att öppna distributionsguiden.
Välj någon av de vm-SKU:er som stöds för modellen. Du måste ha En Azure Machine Learning Compute-kvot för den SKU:n i din Azure-prenumeration.
Välj Anpassa för att ange distributionskonfigurationen för parametrar som antalet instanser. Du kan också välja en befintlig slutpunkt för distributionen eller skapa en ny. I det här exemplet anger vi ett instansantal på 1 och skapar en ny slutpunkt för distributionen.
Välj Nästa för att gå vidare till prisuppdelningssidan .
Granska prisuppdelningen för distributionen, användningsvillkoren och licensavtalet som är kopplat till modellens erbjudande på Azure Marketplace. Prisuppdelningen visar vad den aggregerade prissättningen för den distribuerade modellen skulle vara, där tillägget för modellen är en funktion av antalet GPU:er i den vm-instans som har valts i föregående steg. Utöver den tillämpliga tilläggsavgiften för modellen gäller även Azure-beräkningsavgifter, baserat på distributionskonfigurationen. Om du har befintliga reservationer eller en Azure-sparplan kommer fakturan för beräkningsavgifterna att reflektera prissättningen för de rabatterade virtuella datorerna.
Markera kryssrutan för att bekräfta att du förstår och godkänner användningsvillkoren. Välj sedan Distribuera. Azure AI Foundry skapar användarens prenumeration på Marketplace-erbjudandet och skapar sedan distributionen av modellen på en hanterad beräkning. Det tar cirka 15–20 minuter för distributionen att slutföras.

Använda utplaceringar

När distributionen har skapats framgångsrikt kan du följa dessa steg för att använda den:

Välj Modeller + slutpunkter under Mina tillgångar i ditt Azure AI Foundry-projekt.
Välj din distribution på fliken Modelldistributioner .
Gå till fliken Test för exempelinferens till slutpunkten.
Gå tillbaka till fliken Information för att kopiera distributionens "Mål-URI", som du kan använda för att köra slutsatsdragning med kod.
Gå till fliken Förbruka i distributionen för att hitta kodexempel för förbrukning.

Nätverksisolering av distributioner

Samlingar i modellkatalogen kan distribueras i dina isolerade nätverk med hjälp av ett hanterat virtuellt nätverk på arbetsytan. Mer information om hur du konfigurerar dina arbetsytehanterade nätverk finns i Konfigurera ett hanterat virtuellt nätverk för att tillåta utgående Internet.

Begränsning

Ett Azure AI Foundry-projekt med ingressåtkomst för offentligt nätverk inaktiverat kan bara stödja en enda aktiv distribution av en av de skyddade modellerna från katalogen. Försök att skapa mer aktiva distributioner resulterar i misslyckanden med att skapa distributioner.

Modeller som stöds

I följande avsnitt visas de modeller som stöds för hanterad beräkningsutplacering med fakturering enligt principen betala efter användning, grupperade efter kategori.

Paige AI

Modell	Aktivitet
Virchow2G	Extrahering av bildfunktioner
Virchow2G-Mini	Extrahering av bildfunktioner

Sammanhållning

Modell	Aktivitet
Kommando A	Chatten har slutförts
Bädda in v4	Inbäddningar
Omkategorisera v3.5	Textklassificering

NVIDIA

NVIDIA-infernsmikrotjänster (NIM) är containrar som skapats av NVIDIA för optimerade, förtränade och anpassade AI-modeller som körs på NVIDIA-GPU:er. NVIDIA NIM:er som är tillgängliga i Azure AI Foundry-modellkatalogen kan distribueras med en standardprenumeration på NVIDIA NIM SaaS-erbjudandet på Azure Marketplace.

Några speciella saker att notera om NIM:er är:

NIM:er innehåller en 90-dagars utvärderingsversion. Utvärderingsversionen gäller för alla NIM:er som är associerade med en viss SaaS-prenumeration och startar från den tidpunkt då SaaS-prenumerationen skapas.
SaaS-prenumerationsomfång för ett Azure AI Foundry-projekt. Eftersom flera modeller är associerade med ett enda Azure Marketplace-erbjudande behöver du bara prenumerera en gång på NIM-erbjudandet i ett projekt, och sedan kan du distribuera alla NIM:er som erbjuds av NVIDIA i AI Foundry-modellkatalogen. Om du vill distribuera NIM:er i ett annat projekt utan någon befintlig SaaS-prenumeration måste du prenumerera på erbjudandet igen.

Modell	Aktivitet
Llama-3.3-Nemotron-Super-49B-v1-NIM-microservice	Chatten har slutförts
Llama-3.1-Nemotron-Nano-8B-v1-NIM-microservice	Chatten har slutförts
Deepseek-R1-Distill-Llama-8B-NIM-microservice	Chatten har slutförts
Llama-3.3-70B-Instruct-NIM-microservice	Chatten har slutförts
Llama-3.1-8B-Instruct-NIM-microservice	Chatten har slutförts
Mistral-7B-Instruct-v0.3-NIM-microservice	Chatten har slutförts
Mixtral-8x7B-Instruct-v0.1-NIM-microservice	Chatten har slutförts
Llama-3.2-NV-embedqa-1b-v2-NIM-microservice	Inbäddningar
Llama-3.2-NV-rerankqa-1b-v2-NIM-microservice	Textklassificering
Openfold2-NIM-microservice	Proteinbindare
ProteinMPNN-NIM-microservice	Proteinbindare
MSA-search-NIM-microservice	Proteinbindare
Rfdiffusion-NIM-microservice	Proteinbindare

Utnyttja NVIDIA NIM-distributioner

När distributionen har skapats kan du följa stegen i Förbruka distributioner för att använda den.

NVIDIA NIMs på Azure AI Foundry exponerar ett OpenAI-kompatibelt API. Se API-referensen för att lära dig mer om nyttolasten som stöds. Parametern model för NIM:er i Azure AI Foundry är inställd på ett standardvärde i containern och behöver inte skickas till nyttolasten för begäran till din onlineslutpunkt. Fliken Förbruka i NIM-distributionen på Azure AI Foundry innehåller kodexempel för slutsatsdragning med mål-URL:en för din distribution.

Du kan också konsumera NIM-distributioner med Azure AI Foundry Models SDK, med begränsningar som omfattar:

Inget stöd för att skapa och autentisera klienter med hjälp av load_client.
Du bör anropa klientmetoden get_model_info för att hämta modellinformation.

Utveckla och köra agenter med NIM-slutpunkter

Följande NVIDIA NIM:er av uppgiftstypen chattkompletteringar i modellkatalogen kan användas för att skapa och köra agenter med Agent Service med olika stödda verktyg, med följande två extra krav:

Skapa en serverlös anslutning till projektet med hjälp av NIM-slutpunkten och nyckeln. Mål-URL:en för NIM-slutpunkten i anslutningen ska vara https://<endpoint-name>.region.inference.ml.azure.com/v1/.
Ange modellparametern i begärandetexten till formatet https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below> när du skapar och kör agenter.

NVIDIA NIM	`model` parametervärde
Llama-3.3-70B-Instruct-NIM-microservice	meta/llama-3.3-70b-instruct
Llama-3.1-8B-Instruct-NIM-mikrotjänst	meta/llama-3.1-8b-instruct
Mistral-7B-Instruct-v0.3-NIM-mikrotjänst	mistralai/mistral-7b-instruct-v0.3

Säkerhetsgenomsökning

NVIDIA säkerställer säkerheten och tillförlitligheten för NVIDIA NIM-containeravbildningar genom förstklassig sårbarhetsgenomsökning, rigorös korrigeringshantering och transparenta processer. Mer information om säkerhetsgenomsökning finns på säkerhetssidan. Microsoft arbetar med NVIDIA för att få de senaste patcharna av NIMs för att leverera säker, stabil och tillförlitlig produktionsklassad programvara inom Azure AI Foundry.

Du kan se den senaste uppdaterade tiden för NIM i den högra rutan på modellens översiktssida. Du kan omdistribuera för att använda den senaste versionen av NIM från NVIDIA på Azure AI Foundry.

Dela via