Microsoft Foundry-arkitektur

Microsoft Foundry organiserar AI-arbetsbelastningar via en skiktad arkitektur: en foundry-resurs på den översta nivån för styrning, projekt för utvecklingsisolering och anslutna Azure tjänster för hantering av lagring, sökning och hemligheter.

Den här artikeln ger IT-drifts- och säkerhetsteam information om Foundry-resursen och underliggande Azure tjänstarkitektur, dess komponenter och dess relation till andra Azure resurstyper. Använd den här informationen för att vägleda hur du anpassar din Foundry-distribution efter organisationens krav. Mer information om hur du distribuerar Foundry i din organisation finns i Foundry Rollout.

När ska den här arkitekturen användas?

Tänk på foundry-resursmodellen när ditt scenario omfattar:

  • Första gången du konfigurerar: Du startar ett nytt AI-projekt och vill ha en enda resurs som paketerar modellåtkomst, agentvärd och utvärderingsverktyg.
  • Åtkomst till flera team: Flera team behöver isolerade projekt med distributioner av delade modeller och centraliserad styrning.
  • Efterlevnadsdriven design: Din organisation kräver privat nätverk, kundhanterad kryptering eller Azure RBAC-omfång på både resurs- och projektnivå.
  • Azure OpenAI-migrering: Du flyttar från en fristående Azure OpenAI-resurs och vill behålla befintliga principer och RBAC samtidigt som du lägger till agent- och utvärderingsfunktioner.

För utforskning av en utvecklare är en Foundry-resurs med ett projekt den rekommenderade standardinställningen. Om din arbetsbelastning bara kräver Azure OpenAI-avslutningar utan agentvärd eller utvärdering, kan en fristående Azure OpenAI-resurs vara tillräcklig.

Azure AI-resurstyper och -leverantörer

I produktfamiljen Azure AI kan du använda dessa Azure resursprovidrar som stöder användarens behov i olika lager i stacken.

Resursleverantör Avsikt Tjänster som stöds
Microsoft. CognitiveServices Stödjer agentstyrd och GenAI-applikationsutveckling genom att komponera och anpassa fördefinierade modeller. Foundry; Azure OpenAI; Azure Speech i Foundry Tools; Azure Language i Foundry Tools; Azure Vision i Foundry Tools
Microsoft. Sök Stöder kunskapshämtning över dina data Azure AI Search

För de flesta AI-utvecklingsscenarier– inklusive agentskapande, modelldistribution och utvärderingsarbetsflöden – är Foundry-resursen den rekommenderade startpunkten. Foundry-resurserna delar namespace för leverantören Microsoft.CognitiveServices med tjänster som Azure OpenAI, Speech, Vision och Language. Det här delade leverantörsnamnrymden bidrar till att anpassa hanterings-API:er, åtkomstkontrollmönster, nätverk och policybeteenden mellan relaterade AI-resurser.

Använd följande tabell för att identifiera vilken resurstyp som matchar din arbetsbelastning. Den visar de specifika resurstyperna och funktionerna i Microsoft. CognitiveServices-provider:

Resurstyp Resursprovider och typ Kind Funktioner som stöds
Microsoft Foundry Microsoft.CognitiveServices/accounts AIServices Agenter, utvärderingar, Azure OpenAI, tal, syn, språk och innehållsförståelse
Gjuteri projekt Microsoft.CognitiveServices/accounts/projects AIServices Underkälla till ovanstående
Azure Speech i Foundry Tools Microsoft.CognitiveServices/accounts Speech Röst
Azure Language i Foundry-verktyg Microsoft.CognitiveServices/accounts Language Language
Azure Vision i Foundry Tools Microsoft.CognitiveServices/accounts Vision Synförmåga

Resurstyper under samma providernamnområden delar samma hanterings-API:er och använder liknande Azure rollbaserad åtkomstkontroll (Azure RBAC) åtgärder, nätverkskonfigurationer och alias för Azure Policy konfiguration. Om du uppgraderar från Azure OpenAI till Foundry fortsätter dina befintliga anpassade Azure-principer och Azure RBAC-åtgärder att gälla.

Foundry-resurshierarki

Följande diagram visar en Foundry-resurs med modelldistributioner, säkerhetsinställningar, anslutningar och två projekt. Anslutna Azure tjänster som Lagring, Key Vault och Azure AI Search är separata Azure resurser under sina egna styrningsgränser:

Diagram som visar resurshierarkin Foundry med en styrningsgräns som innehåller modelldistributioner, säkerhetsinställningar, anslutningar och två projekt. Anslutna resurser som Storage, Key Vault och Azure AI Search visas som separata styrningsgränser.

Viktigt!

Anslutna resurser som Storage, Key Vault och Azure AI Search är oberoende Azure resurser med egna styrningsgränser. Du hanterar nätverks-, åtkomstprinciper och efterlevnadsinställningar för dessa resurser separat från Foundry-resursen.

Använd den här modellen när du planerar arkitektur och access gränser:

  • Foundry-resurs: Resurs på den översta nivån Azure där du hanterar styrningsinställningar som nätverk, säkerhet och modelldistributioner.
  • Project: Utvecklingsgräns i Foundry-resursen där team skapar och utvärderar användningsfall. Med projekt kan teamen skapa prototyper i en förkonfigurerad miljö och återanvända befintliga modelldistributioner och anslutningar utan upprepad IT-konfiguration.
  • Projekttillgångar: Filer, agenter, utvärderingar och relaterade artefakter som är begränsade till ett projekt.
  • Anslutna resurser: Azure tjänster som Lagring, Key Vault och Azure AI Search som Foundry-resursen refererar till via anslutningar. Dessa resurser har separata styrningsgränser, så du hanterar deras nätverks- och åtkomstprinciper oberoende av varandra.

Med den här separationen kan IT-team tillämpa centraliserade kontroller på resursnivå medan utvecklingsteam arbetar inom project-nivågränser.

Anmärkning

De flesta nya API:er är tillgängliga i projektomfånget. Vissa funktioner som ursprungligen stöds på kontonivå via Azure OpenAI-, Speech-, Vision- och Language-tjänster är dock endast tillgängliga på foundry-resursnivå, inte i projektomfånget. Translator-API:et är till exempel endast tillgängligt från foundry-resursnivån. Planera distributionsstrukturen baserat på vilka API-omfång dina arbetsbelastningar kräver.

Säkerhetsdriven separation av problem

Foundry tillämpar en tydlig separation mellan hanterings- och utvecklingsåtgärder för att säkerställa säkra och skalbara AI-arbetsbelastningar.

Resursstyrning på toppnivå

Den översta foundry-resursen omfattar hanteringsåtgärder som att konfigurera säkerhet, upprätta anslutningar med andra Azure tjänster och hantera distributioner. Dedikerade projektcontainrar isolerar utvecklingsaktiviteter och ger gränser för åtkomstkontroll, filer, agenter och utvärderingar.

Rollbaserad åtkomstkontroll

Azure RBAC-åtgärder återspeglar denna uppdelning av problem. Kontrollplane-åtgärder, såsom att skapa distributioner och projekt, skiljer sig från dataplane-åtgärder, såsom utveckla agenter, genomföra utvärderingar och ladda upp filer. Du kan begränsa omfånget av RBAC-tilldelningar både på resursens översta nivå och på individuell projektnivå. Tilldela hanterade identiteter på antingen nivå för att stödja säker automatisering och åtkomst. Mer information finns i Role-baserad åtkomstkontroll för Microsoft Foundry.

Vanliga starttilldelningar för introduktion med minsta möjliga behörighet är:

  • Azure AI-användare för varje användarhuvudnamn för utvecklare inom Foundry-resursomfånget.
  • Azure AI-användare för varje projekthanterad identitet i Foundry-resursomfånget.

Vägledning för rolldefinitioner och omfångsplanering finns i Role-baserad åtkomstkontroll för Microsoft Foundry.

Övervakning och observerbarhet

Azure Monitor segmenterar mått inom omfång. Du kan visa hanterings- och användningsmått på den övergripande resursen, medan projektspecifika mått, till exempel utvärderingsprestanda eller agentaktivitet, är begränsade till enskilda projektbehållare.

Viktiga övervakningsfunktioner är:

  • Mått på resursnivå: Tokenförbrukning, modellfördröjning, antal begäranden och felfrekvenser i alla projekt.
  • Projektmått: Utvärderingskörningsresultat, antal agenters anrop och filåtgärdsaktivitet.
  • Diagnostisk loggning: Aktivera diagnostikinställningar för att dirigera loggar till Log Analytics, lagring eller händelsehubbar för analys och kvarhållning.

Mer information finns i Azure Monitor översikt.

Infrastruktur för databehandling

Foundry hanterar beräkningsinfrastruktur för modellhosting, agentutförande och batchbearbetning. Det här avsnittet beskriver distributionstyper, agent- och utvärderingsinfrastruktur, integrering av virtuella nätverk, klientisolering, innehållssäkerhetskontroller och regional tillgänglighet.

Modellutplaceringstyper

Foundry stöder flera distributionstyper för modellvärdskap, grupperade efter databehandlingsomfång: global (mellan regioner), datazon (inom en definierad gräns) och regional (enskild region). Varje typ balanserar svarstid, dataflöde och databehandlingsplats på olika sätt:

Distributionstyp Databehandling Fakturering
Global Standard Över regioner, Azure-hanterad Betala per token
Global provisionerad Över regioner, Azure-hanterad Reserverad kapacitet varje timme
Global Batch Över regioner, Azure-hanterad Prissättning för Batch-token
Standard för datazon Inom datazonsgränsen Betala per token
Provisionerad datazon Inom datazonsgränsen Reserverad kapacitet varje timme
Datazonbatch Inom datazonsgränsen Prissättning för Batch-token
Standard Enskild region Betala per token
Regional tillhandahållen Enskild region Reserverad kapacitet varje timme
Utvecklare Alla Azure regioner (ingen garanti för datahemvist) Betala per token (endast finjusterad modellutvärdering, livslängd på 24 timmar, inget serviceavtal)

Mer information om hur du väljer rätt distributionstyp finns i Distributionstyper för Foundry-modeller.

Agenter, utvärderingar och batchbearbetning

Agenter, utvärderingar och batchjobb hanteras helt av Microsoft. Agentarbetsbelastningar körs i plattformens containerinfrastruktur, som stöder integrering av virtuella nätverk för nätverksisolerade scenarier. Utvärderingar anropar modellslutpunkter, jämför utdata mot klassificeringsvillkor och lagrar resultat inom projektomfånget. Batchbearbetningsköer härleder begäranden om asynkron körning till lägre priser per token. Resultat för alla tre arbetsbelastningstyperna är tillgängliga via portalen eller SDK.

Integrering av virtuellt nätverk

När dina agenter ansluter till externa system kan du isolera nätverkstrafik med hjälp av containerinmatning, där plattformen matar in ett undernät i ditt virtuella nätverk, vilket möjliggör lokal kommunikation med dina Azure resurser i samma virtuella nätverk.

Foundry stöder två nätverksmodeller för utgående isolering:

Modell Så här fungerar det Kompromiss
Kundhanterat VNet (BYO) Du anger det virtuella nätverket och ett dedikerat undernät som delegerats till Microsoft.App/environments. Plattformen matas in i undernätet och möjliggör lokal kommunikation med dina privata Azure resurser. Fullständig kontroll över nätverkskonfigurationen. kräver din egen nätverkshantering.
Hanterat virtuellt nätverk (förhandsversion) Foundry hanterar det virtuella nätverket åt dig. Enklare installation; begränsar anpassningsalternativen. Mer information finns i Konfigurera hanterat virtuellt nätverk.

Anmärkning

Vissa nätverksisolerade scenarier kräver SDK eller CLI i stället för portalen. Distributioner med privata slutpunkter som blockerar all offentlig åtkomst kan till exempel inte konfigureras via portalgränssnittet. Mer information finns i Så här konfigurerar du en private link för Foundry.

Isolering av hyresgäst

Arbetsbelastningar körs i logiskt isolerade miljöer per Foundry-resurs. Kundkoden delar inte körcontainrar med andra hyresgäster.

Innehållssäkerhet och skyddsräcken

Foundry integrerar säkerhetskontroller för innehåll i modell- och agentinferenspipelinen. Skyddsräcken definierar risker för identifiering, interventionspunkter för genomsökning (användarindata, utdata, verktygsanrop (förhandsversion) och verktygssvar (förhandsversion)) och svarsåtgärder när en risk identifieras. Innehållsfilter körs internt med modellbegäranden och kan konfigureras per distribution. Mer information finns i Översikt över skyddsräcken och kontroller samt allvarlighetsnivåer för innehållsfiltrering.

Regional tillgänglighet

Beräkningsfunktionerna varierar beroende på Azure region. Modelltillgänglighet, alternativ för distributionstyp och funktionsstöd som agenter eller utvärderingar kan skilja sig åt mellan olika regioner. Bekräfta att målregionen stöder de funktioner som krävs innan du provisionerar. Aktuell tillgänglighet finns i Funktionstillgänglighet i molnregioner.

Databaslagring

Foundry tillhandahåller flexibla och säkra data storage alternativ för att stödja en mängd olika AI-arbetsbelastningar.

Hanterad lagring för filuppladdning

I standardkonfigurationen använder Foundry Microsoft hanterade lagringskonton som är logiskt avgränsade och stöder direkt filuppladdning för utvalda användningsfall, till exempel OpenAI-modeller och agenter, utan att kräva ett lagringskonto som tillhandahålls av kunden.

Ta med din egen lagring

Du kan också ansluta egna Azure Storage konton. Foundry-verktyg som utvärderingar och batchbearbetning kan läsa indata från och skriva utdata till dessa konton. Mer information om scenarier som stöds finns i Bring-your-own-resurser med agenttjänsten.

Agenttillståndslagring

  • Med konfigurationen basic agent lagrar agenttjänsten trådar, meddelanden och filer i Microsoft hanterad lagring för flera klientorganisationer med logisk separation.
  • Med standard agentinstallation tar du med egna Azure resurser för alla kunddata, inklusive filer, konversationer och vektorlager. I den här konfigurationen isoleras data efter projekt i dina lagringskonton.

Kundhanterad nyckelkryptering

Som standardinställning krypterar Azure-tjänster data både i vila och under överföring med Microsoft-hanterade nycklar med FIPS 140-2-kompatibel 256-bitars AES-kryptering. Inga kodändringar krävs.

Om du vill använda dina egna nycklar i stället bekräftar du dessa krav innan du aktiverar kundhanterade nycklar för Foundry:

  • Key Vault distribueras i samma Azure region som din Foundry-resurs.
  • Skydd mot mjuk borttagning och rensning är aktiverat på Key Vault.
  • Hanterade identiteter har nödvändiga nyckelbehörigheter, till exempel rollen Key Vault Crypto User när du använder Azure RBAC.

Ta med ditt eget Key Vault

Som standard lagrar Foundry alla API-nyckelbaserade anslutningshemligheter i en hanterad Azure Key Vault. Om du föredrar att hantera hemligheter själv ansluter du ditt nyckelvalv till Foundry-resursen. En Azure Key Vault-anslutning hanterar alla anslutningshemligheter på projekt- och resursnivå. Mer information finns i hur du konfigurerar en Azure Key Vault anslutning till Foundry.

Mer information om datakryptering finns i kundhanterade nycklar för kryptering med Foundry.

Datahemvist och efterlevnad

Foundry lagrar all data i vila i den avsedda Azure-regionen. Slutsatsdragningsdata (frågor och slutföranden) bearbetas enligt distributionstypen: Globala driftsättningar kan dirigeras till valfri Azure-region, datazondistributioner stannar inom USA eller EU-zonen, och standarddistributioner eller regionala distributioner bearbetas i distributionsregionen. Mer information finns i Distributionstyper. Foundry stöder inte automatisk redundans mellan regioner. Om din organisation kräver tillgänglighet för flera regioner distribuerar du separata Foundry-resurser i varje målregion och hanterar datasynkronisering och routning på programnivå. Information om efterlevnadscertifiering finns i Azure efterlevnadsdokumentation.

Validera arkitekturbeslut

Verifiera följande för målmiljön innan distributionen:

Relaterat innehåll

  • Last updated on