Dela via


Utforska Azure AI Foundry-modeller i Azure Machine Learning

Azure AI Foundry Models är ditt enda mål för att upptäcka, utvärdera och distribuera kraftfulla AI-modeller – oavsett om du skapar en anpassad andrepilot, skapar en agent, förbättrar ett befintligt program eller utforskar nya AI-funktioner.

Med Foundry-modeller kan du:

  • Utforska en omfattande katalog med avancerade modeller från Microsoft, OpenAI, DeepSeek, Hugging Face, Meta med mera.
  • Jämför och utvärdera modeller sida vid sida med hjälp av verkliga uppgifter och dina egna data.
  • Distribuera med tillförsikt tack vare inbyggda verktyg för finjustering, observerbarhet och ansvarsfull AI.
  • Välj din sökväg – ta med din egen modell, använd en värdbaserad modell eller integrera sömlöst med Azure-tjänster.
  • Oavsett om du är utvecklare, datavetare eller företagsarkitekt ger Foundry Models dig flexibiliteten och kontrollen att skapa AI-lösningar som skalas på ett säkert, ansvarsfullt och snabbt sätt.

Azure AI Foundry erbjuder en omfattande katalog med AI-modeller. Det finns över 1900+ modeller som sträcker sig från grundmodeller, resonemangsmodeller, små språkmodeller, multimodala modeller, domänspecifika modeller, branschmodeller med mera.

Vår katalog är uppdelad i två huvudkategorier:

Genom att förstå skillnaden mellan dessa kategorier kan du välja rätt modeller baserat på dina specifika krav och strategiska mål.

Modeller som säljs direkt av Azure

Det här är modeller som hanteras och säljs av Microsoft under Microsofts produktvillkor. Dessa modeller har genomgått rigorös utvärdering och är djupt integrerade i Azures AI-ekosystem. Modellerna kommer från en mängd olika toppleverantörer och erbjuder förbättrad integrering, optimerad prestanda och direkt Microsoft-support, inklusive serviceavtal i företagsklass.

Egenskaper för dessa direktmodeller:

  • Officiell förstapartssupport från Microsoft
  • Hög integreringsnivå med Azure-tjänster och infrastruktur
  • Omfattande prestandamätning och validering
  • Efterlevnad av Microsofts ansvarsfulla AI-standarder
  • Skalbarhet, tillförlitlighet och säkerhet i företagsklass

Dessa modeller har också fördelen med fungible Provisioned Throughput, vilket innebär att du flexibelt kan använda din kvot och reservationer i någon av dessa modeller.

Modeller från partner och community

Dessa modeller utgör den stora majoriteten av Azure AI Foundry Models. Dessa modeller tillhandahålls av betrodda tredjepartsorganisationer, partner, forskningslabb och communitydeltagare. Dessa modeller erbjuder specialiserade och olika AI-funktioner som täcker en mängd olika scenarier, branscher och innovationer.

Egenskaper hos modeller från partner och community:

  • Utvecklad och stöds av externa partner och communitydeltagare
  • Olika typer av specialiserade modeller som tillgodoser nischade eller breda användningsfall
  • Verifieras vanligtvis av leverantörerna själva, med integreringsriktlinjer som tillhandahålls av Azure
  • Community-driven innovation och snabb tillgänglighet för banbrytande modeller
  • Azure AI-standardintegrering med support och underhåll som hanteras av respektive leverantör

Modeller kan distribueras som distributionsalternativ för Managed Compute eller Standard (pay-go). Modellprovidern väljer hur modellerna kan distribueras.

Välja mellan direktmodeller och partner- och communitymodeller

Tänk på följande när du väljer modeller från Azure AI Foundry Models:

  • Användningsfall och krav: Modeller som säljs direkt av Azure är idealiska för scenarier som kräver djup Azure-integrering, garanterad support och serviceavtal för företag. Azure Ecosystem Models utmärker sig i specialiserade användningsfall och innovationsledda scenarier.
  • Supportförväntningar: Modeller som säljs direkt av Azure levereras med robust support och underhåll från Microsoft. Dessa modeller stöds av deras leverantörer, med olika nivåer av serviceavtal och stödstrukturer.
  • Innovation och specialisering: Modeller från partner och community ger snabb tillgång till specialiserade innovationer och nischfunktioner som ofta utvecklats av ledande forskningslabb och framväxande AI-leverantörer.

Modellsamlingar

Modellkatalogen organiserar modeller i olika samlingar:

Du kan skicka en begäran om att lägga till en modell i modellkatalogen med hjälp av det här formuläret.

Översikt över funktionerna i modellkatalogen

Modellkatalogen i Azure AI Foundry-portalen är navet för att identifiera och använda ett brett utbud av modeller för att skapa generativa AI-program. Modellkatalogen innehåller hundratals modeller mellan modellleverantörer som Azure OpenAI, Mistral, Meta, Cohere, NVIDIA och Hugging Face, inklusive modeller som Microsoft har tränat. Modeller från andra leverantörer än Microsoft är icke-Microsoft-produkter enligt definitionen i Microsofts produktvillkor och omfattas av de villkor som tillhandahålls med modellerna.

Du kan söka efter och identifiera modeller som uppfyller dina behov via nyckelordssökning och -filter. Modellkatalogen erbjuder även modellprestandalistan och benchmark-mått för utvalda modeller. Du kan komma åt dem genom att välja Bläddra bland topplistor och Jämföra modeller. Benchmark-data är också tillgängliga från fliken Benchmark för modellkortet.

I modellkatalogfiltren hittar du:

  • Samling: du kan filtrera modeller baserat på modellprovidersamlingen.
  • Bransch: du kan filtrera efter de modeller som tränas på branschspecifika datamängder.
  • Funktioner: du kan filtrera efter unika modellfunktioner som logisk analys och användning av verktyg.
  • Distributionsalternativ: Du kan filtrera efter de modeller som stöder ett visst distributionsalternativ.
    • Standard: Med det här alternativet kan du betala per API-anrop.
    • Etablerad: passar bäst för realtidsbedömning för stora konsekventa volymer.
    • Batch: passar bäst för kostnadsoptimerade batchjobb och inte svarstider. Det finns inget playground-stöd för batchdistributionen.
    • Hanterad beräkning: Med det här alternativet kan du distribuera en modell på en virtuell Azure-dator. Du kommer att debiteras för hosting och slutsatser.
  • Slutsatsdragningsuppgifter: Du kan filtrera modeller baserat på inferensaktivitetstypen.
  • Finjustera uppgifter: du kan filtrera modeller baserat på den finjusterade uppgiftstypen.
  • Licenser: du kan filtrera modeller baserat på licenstypen.

På modellkortet hittar du:

  • Snabbfakta: du ser viktig information om modellen snabbt.
  • Information: Den här sidan innehåller detaljerad information om modellen, inklusive beskrivning, versionsinformation, datatyp som stöds osv.
  • Prestandamått: du hittar prestandamått för utvalda modeller.
  • Befintliga distributioner: Om du redan har distribuerat modellen hittar du den under fliken Befintliga distributioner.
  • Licens: Du hittar juridisk information som rör modelllicensiering.
  • Artefakter: Den här fliken visas endast för öppna modeller. Du kan se modelltillgångarna och ladda ned dem via användargränssnittet.

Modelldistribution: Hanterad beräkning och standarddistributioner

Förutom Azure OpenAI-modeller erbjuder modellkatalogen två olika sätt att distribuera modeller för din användning: hanterad beräkning och standarddistributioner.

De distributionsalternativ och funktioner som är tillgängliga för varje modell varierar enligt beskrivningen i följande tabeller. Läs mer om databehandling med distributionsalternativen.

Kapaciteter för modelldistributionsalternativ

Egenskaper Hanterad databearbetning Standardimplementeringar
Distributionsupplevelse och fakturering Modellvikter distribueras till dedikerade virtuella datorer med hanterad beräkning. En hanterad beräkning, som kan ha en eller flera distributioner, gör ett REST API tillgängligt för slutsatsdragning. Du debiteras för den virtuella datorns kärntimmar som distributionerna använder. Åtkomst till modeller sker via en distribution som etablerar ett API för åtkomst till modellen. API:et ger åtkomst till den modell som Microsoft är värd för och hanterar för slutsatsdragning. Du debiteras för indata och utdata till API:erna, vanligtvis i token. Prisinformation tillhandahålls innan du distribuerar.
API-autentisering Nycklar och Microsoft Entra-autentisering. Endast nycklar.
Innehållssäkerhet Använd API:er för Azure AI Content Safety-tjänsten. Azure AI-innehållssäkerhetsfilter är tillgängliga integrerade med slutsatsdragnings-API:er. Azure AI-innehållssäkerhetsfilter faktureras separat.
Nätverksisolering Konfigurera hanterade nätverk för Azure AI Foundry-hubbar. Hanterad beräkning följer inställningen av hubbens offentliga nätverksåtkomst (PNA)-flagga. Mer information finns i avsnittet Nätverksisolering för modeller som distribueras via standarddistributioner senare i den här artikeln.

Tillgängliga modeller för distributionsalternativ som stöds

Modellkatalogen erbjuder två olika sätt att distribuera modeller från katalogen för din användning: hanterad beräkning och standarddistributioner. Vilka distributionsalternativ som är tillgängliga för varje modell varierar. Läs mer om funktionerna i distributionsalternativen och vilka alternativ som är tillgängliga för specifika modeller i tabellerna nedan. Läs mer om databehandling med distributionsalternativen.

Egenskaper Hanterad databearbetning Standardimplementeringar
Distributionsupplevelse och fakturering Modellvikter distribueras till dedikerade Virtual Machines med hanterade onlineslutpunkter. Den hanterade onlineslutpunkten, som kan ha en eller flera distributioner, gör ett REST API tillgängligt för slutsatsdragning. Du debiteras för den virtuella datorns kärntimmar som används av distributionerna. Åtkomst till modeller sker via en distribution som etablerar ett API för åtkomst till modellen. API:et ger åtkomst till den värdbaserade modellen som finns i en central GPU-pool, som hanteras av Microsoft, för slutsatsdragning. Det här åtkomstläget kallas "Modeller som en tjänst". Du debiteras för indata och utdata till API:erna, vanligtvis i token. prisinformation tillhandahålls innan du distribuerar.
API-autentisering Nycklar och Microsoft Entra ID autentisering. Läs mer. Endast nycklar.
Innehållssäkerhet Använd Api:er för Azure Content Safety-tjänsten. Azure AI-innehållssäkerhetsfilter är tillgängliga integrerade med slutsatsdragnings-API:er. Azure AI-innehållssäkerhetsfilter kan faktureras separat.
Nätverksisolering Hanterat Virtual Network med privata slutpunkter. Läs mer.

Hanterad databearbetning

Möjligheten att distribuera modeller med hanterad beräkning bygger på plattformsfunktioner i Azure Machine Learning för att möjliggöra sömlös integrering över hela Livscykeln för GenAIOps (kallas ibland LLMOps) för den breda samlingen modeller i modellkatalogen.

Ett diagram som visar LLMops livscykel.

Tillgänglighet för modeller för driftsättning som hanterad datorkapacitet

Modellerna görs tillgängliga via Azure Machine Learning-register som aktiverar ML:s första metod för att hantera och distribuera maskininlärningstillgångar, till exempel modellvikter, containerkörningar för att köra modellerna, pipelines för utvärdering och finjustering av modeller och datauppsättningar för benchmarks och exempel. Dessa ML-register bygger på en mycket skalbar och företagsklar infrastruktur som:

Distribution av modeller för slutsatsdragning med hanterad beräkning

Modeller som är tillgängliga för distribution med hanterad beräkning kan distribueras till Azure Machine Learning-onlineslutpunkter för realtidsinferens eller användas för Batch-slutsatsdragning i Azure Machine Learning för batchbearbetning av dina data. När du distribuerar till hanterad beräkning måste du ha en kvot för virtuella datorer i din Azure-prenumeration för de specifika SKU:er som behövs för att köra modellen optimalt. Med vissa modeller kan du distribuera till en tillfälligt delad kvot för att testa modellen. Läs mer om att distribuera modeller:

Skapa generativa AI-appar med hanterad beräkning

Promptflöde erbjuder funktioner för prototyper, experimentering, iterering och distribution av DINA AI-program. Du kan använda modeller som distribuerats med hanterad beräkning i promptflöde med Öppna modell-LLM-verktyget. Du kan också använda REST-API:et som exponeras av de hanterade beräkningen i populära LLM-verktyg som LangChain med Azure Machine Learning-tillägget.

Innehållssäkerhet för modeller som distribueras som hanterad databehandling

Tjänsten Azure AI Content Safety (AACS) är tillgänglig för användning med modeller som distribueras till hanterad beräkning för att söka efter olika kategorier av skadligt innehåll, till exempel sexuellt innehåll, våld, hat och självskadebeteende och avancerade hot som riskidentifiering av jailbreak och skyddad materialtextidentifiering. Du kan referera till den här notebook-filen för referensintegrering med AACS för Llama 2 eller använda verktyget Innehållssäkerhet (text) i Prompt Flow för att skicka svar från modellen till AACS för screening. Du debiteras separat enligt AACS-priser för sådan användning.

Standarddistributioner med standardfakturering

Vissa modeller i modellkatalogen kan distribueras som standarddistributioner med standardfakturering. den här distributionsmetoden kallas standarddistributioner. Modeller som är tillgängliga via MaaS finns i infrastruktur som hanteras av Microsoft, vilket ger API-baserad åtkomst till modellleverantörens modell. API-baserad åtkomst kan avsevärt minska kostnaden för att komma åt en modell och avsevärt förenkla etableringsupplevelsen. De flesta MaaS-modeller levereras med tokenbaserade priser.

Hur görs modeller från tredje part tillgängliga i MaaS?

Ett diagram som visar modellutgivarens tjänstcykel.

Modeller som är tillgängliga för distribution som standarddistributioner med standardfakturering erbjuds av modellprovidern men finns i Microsoft-hanterad Azure-infrastruktur och nås via API. Modellleverantörer definierar licensvillkoren och anger priset för användning av sina modeller, medan Azure Machine Learning-tjänsten hanterar värdinfrastrukturen, gör slutsatsdragnings-API:erna tillgängliga och fungerar som dataprocessor för frågor som skickas och innehållsutdata från modeller som distribueras via MaaS. Läs mer om databehandling för MaaS i artikeln om datasekretess .

Anmärkning

Molnlösningsleverantörsprenumerationer (CSP) har inte möjlighet att köpa standarddistributionsmodeller.

Fakturering

Identifierings-, prenumerations- och förbrukningsupplevelsen för modeller som distribueras via MaaS finns i Azure AI Foundry-portalen och Azure Machine Learning-studio. Användare accepterar licensvillkor för användning av modellerna. Prisinformation för förbrukning tillhandahålls under distributionen.

Modeller från icke-Microsoft-leverantörer faktureras via Azure Marketplace i enlighet med användningsvillkoren för Microsoft Commercial Marketplace.

Modeller från Microsoft faktureras via Azure-mätare som First Party Consumption Services. Som beskrivs i produktvillkoren köper du förbrukningstjänster från första part med hjälp av Azure-mätare, men de omfattas inte av Villkoren för Azure-tjänsten. Användning av dessa modeller omfattas av de angivna licensvillkoren.

Finjusteringsmodeller

För modeller som är tillgängliga via MaaS och stöder finjustering kan användarna dra nytta av värdbaserad finjustering med Standard-fakturering för att skräddarsy modellerna med hjälp av data som de tillhandahåller. Mer information finns i finjustera en Llama 2-modell i Azure AI Foundry-portalen.

RAG med modeller som distribueras som standarddistributioner

Med Azure AI Foundry kan användare använda vektorindex och hämtningsförhöjd generation. Modeller som kan distribueras som standarddistributioner kan användas för att generera inbäddningar och slutsatsdragning baserat på anpassade data för att generera svar som är specifika för deras användningsfall. Mer information finns i Hämta förhöjd generering och index.

Regional tillgänglighet för erbjudanden och modeller

Standardfakturering är endast tillgängligt för användare vars Azure-prenumeration tillhör ett faktureringskonto i ett land/en region där modellleverantören har gjort erbjudandet tillgängligt. Om erbjudandet är tillgängligt i den relevanta regionen måste användaren ha en hubb/ett projekt i Azure-regionen där modellen är tillgänglig för distribution eller finjustering, i förekommande fall. Mer information finns i Regiontillgänglighet för modeller i standarddistributioner .

Innehållssäkerhet för modeller som distribueras via standarddistributioner

Viktigt!

Den här funktionen är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade.

Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

För språkmodeller som distribueras via serverlöst API implementerar Azure AI en standardkonfiguration av textmodereringsfilter för Azure AI Content Safety som identifierar skadligt innehåll som hat, självskadebeteende, sexuellt och våldsamt innehåll. Mer information om innehållsfiltrering finns i Skyddsräcken och kontroller för modeller som säljs direkt av Azure.

Tips/Råd

Innehållsfiltrering är inte tillgängligt för vissa modelltyper som distribueras via serverlöst API. Dessa modelltyper omfattar inbäddningsmodeller och tidsseriemodeller.

Innehållsfiltrering sker synkront när tjänsten bearbetar uppmaningar om att generera innehåll. Du kan debiteras separat enligt prissättningen för Azure AI Content Safety för sådan användning. Du kan inaktivera innehållsfiltrering för enskilda serverlösa slutpunkter:

  • När du först distribuerar en språkmodell
  • Senare, genom att välja knappen för innehållsfiltrering på distributionsdetaljsidan

Anta att du bestämmer dig för att använda ett annat API än API:et för modellinferens för att arbeta med en modell som distribueras via ett serverlöst API. I sådana fall är innehållsfiltrering inte aktiverat om du inte implementerar det separat med hjälp av Azure AI Content Safety.

Information om hur du kommer igång med Azure AI Content Safety finns i Snabbstart: Analysera textinnehåll. Om du inte använder innehållsfiltrering när du arbetar med modeller som distribueras via serverlöst API löper du en högre risk att utsätta användare för skadligt innehåll.

Nätverksisolering för modeller som distribueras via standarddistributioner

Slutpunkter för modeller som distribueras som standarddistributioner följer flaggan för offentlig nätverksåtkomst (PNA) för arbetsytan där distributionen finns. Om du vill skydda Din MaaS-slutpunkt inaktiverar du PNA-flaggan på din arbetsyta. Du kan skydda inkommande kommunikation från en klient till slutpunkten med hjälp av en privat slutpunkt för arbetsytan.

Så här anger du PNA-flaggan för arbetsytan:

  • Gå till Azure-portalen.
  • Sök efter Azure Machine Learning och välj din arbetsyta i listan över arbetsytor.
  • På sidan Översikt använder du det vänstra fönstret för att gå till Inställningar>Nätverk.
  • Under fliken Offentlig åtkomst kan du konfigurera inställningar för åtkomstflaggan för offentligt nätverk.
  • Spara ändringarna. Det kan ta upp till fem minuter att sprida ändringarna.

Begränsningar

  • Om du har en arbetsyta med en privat slutpunkt som skapats före den 11 juli 2024 följer inte nya MaaS-slutpunkter som lagts till på den här arbetsytan nätverkskonfigurationen. I stället måste du skapa en ny privat slutpunkt för arbetsytan och skapa nya standarddistributioner på arbetsytan så att de nya distributionerna kan följa arbetsytans nätverkskonfiguration.
  • Om du har en arbetsyta med MaaS-distributioner som skapades före den 11 juli 2024 och du aktiverar en privat slutpunkt på den här arbetsytan följer inte de befintliga MaaS-distributionerna arbetsytans nätverkskonfiguration. För att standarddistributioner på arbetsytan ska kunna följa arbetsytans konfiguration måste du skapa distributionerna igen.
  • För närvarande är stöd för Dina data inte tillgängligt för MaaS-distributioner på privata arbetsytor, eftersom privata arbetsytor har PNA-flaggan inaktiverad.
  • Alla ändringar i nätverkskonfigurationen (till exempel aktivering eller inaktivering av PNA-flaggan) kan ta upp till fem minuter att sprida.