Dela via

Distributionstyper för Azure AI Foundry-modeller

Azure AI Foundry Models gör modeller tillgängliga med hjälp av modelldistributionskonceptet i Azure AI Foundry Services (tidigare kända Azure AI Services). Modelldistributioner är också Azure-resurser och när de skapas ger de åtkomst till en viss modell under vissa konfigurationer. Sådan konfiguration omfattar infrastrukturen som krävs för att bearbeta begäranden.

Azure AI Foundry Models ger kunderna val av värdstruktur som passar deras affärs- och användningsmönster. Dessa alternativ översätts till olika distributionstyper (eller SKU:er) som är tillgängliga vid modelldistributionstiden i Azure AI Foundry-resursen. Tjänsten erbjuder två huvudsakliga typer av distributioner: standard och etablerad. För en viss distributionstyp kan kunderna anpassa sina arbetsbelastningar efter sina databehandlingskrav genom att välja ett azuregeografi (Standard eller Provisioned-Managed), microsofts angivna datazon (DataZone-Standard eller DataZone Provisioned-Managed), eller globala (Global-Standard eller Global Provisioned-Managed) bearbetningsalternativ.

För finjusterade modeller ger en ytterligare Developer distributionstyp ett kostnadseffektivt sätt att utvärdera anpassade modeller, men utan datahemvist.

Alla deployeringar kan utföra exakt samma inferenceoperationer, men faktureringen, skalan och prestandan skiljer sig avsevärt. Som en del av din lösningsdesign måste du fatta två viktiga beslut:

  • Plats för databearbetning
  • Samtalsvolym

Databearbetningsplatser för Azure AI Foundry-distribution

För standarddistributioner finns det tre alternativ för distributionstyp att välja mellan – global, datazon och Azure-geografi. För etablerade distributioner finns det två alternativ för distributionstyp att välja mellan – global och Azure-geografi. Global standard är den rekommenderade startpunkten.

Globala distributioner utnyttjar Azures globala infrastruktur för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden. Det innebär att du får högsta inledande dataflödesgränser och bästa modelltillgänglighet med Global samtidigt som du tillhandahåller vårt serviceavtal för drifttid och låg svarstid. För arbetsbelastningar med höga volymer över de angivna användningsnivåerna på standard- och global standard kan du uppleva ökad svarstidsvariation. För kunder som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du använder våra etablerade distributionstyper.

Våra globala distributioner blir den första platsen för alla nya modeller och funktioner. Beroende på samtalsvolym bör kunder med stora volymer och krav på varians med låg svarstid överväga våra etablerade distributionstyper.

Distributioner av datazoner utnyttjar Azures globala infrastruktur för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden i den datazon som definierats av Microsoft. Positionerade mellan våra erbjudanden för Azure-geografi och global distribution, ger datazonsdistributioner förhöjda kvotgränser samtidigt som databehandlingen hålls inom den av Microsoft specificerade datazonen. Data som lagras i vila fortsätter att finnas kvar i geografin för Azure AI Foundry-resursen (t.ex. för en AI Foundry-resurs som skapats i Sverige centrala Azure-regionen är Azure-geografin Sverige).

Om Azure AI Foundry-resursen som används i din distribution av datazonen finns i USA bearbetas data i USA. Om Azure AI Foundry-resursen som används i din distribution av datazonen finns i en eu-medlemsnation bearbetas data inom eu-ländernas geografiska områden. För alla azure AI Foundry-distributionstyper fortsätter alla vilande data att finnas kvar i azure AI Foundry-resursens geografiska område. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.

För alla distributionstyper som är märkta "Global" kan frågor och svar bearbetas i alla geografiska områden där relevant Azure AI Foundry-modell distribueras (läs mer om modellers tillgänglighet för regioner). För alla distributionstyper som är märkta med "DataZone" kan frågor och svar bearbetas i alla geografiska områden inom den angivna datazonen, enligt microsofts definition. Om du skapar en DataZone-distribution i en Azure AI Foundry-resurs i USA kan frågor och svar bearbetas var som helst i USA. Om du skapar en DataZone-distribution i en Azure AI Foundry-resurs som finns i en eu-medlemsnation kan frågor och svar bearbetas i den eller någon annan medlem i Europeiska unionen. För både globala distributionstyper och DataZone-distributionstyper lagras alla vilande data, till exempel uppladdade data, i det kundspecifika geografiska området. Endast bearbetningsplatsen påverkas när en kund använder en global distributionstyp eller datazondistributionstyp i Azure AI Foundry-resursen. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.

Anmärkning

Med standarddistributionstyperna global standard och datazon påverkas all trafik som ursprungligen dirigeras till den här regionen om den primära regionen upplever ett avbrott i tjänsten. Mer information finns i guiden för affärskontinuitet och haveriberedskap.

Internationell standard

Viktigt!

Data som lagras i viloläge finns kvar i den angivna Azure-geografin, medan data kan bearbetas för inferens på valfri Azure AI Foundry-plats. Läs mer om dataresidens.

SKU-namn i kod:GlobalStandard

Globala distributioner är tillgängliga i samma Azure AI Foundry-resurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Global standard ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan med kvoter. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du köper etablerat dataflöde.

Global tillhandahållen

Viktigt!

Data som lagras i viloläge finns kvar i den angivna Azure-geografin, medan data kan bearbetas för inferens på valfri Azure AI Foundry-plats. Läs mer om dataresidens.

SKU-namn i kod:GlobalProvisionedManaged

Globala distributioner är tillgängliga i samma Azure AI Foundry-resurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Globala förberedda distributioner ger reserverad modellhanteringskapacitet för högt och förutsägbart dataflöde med Azures globala infrastruktur.

Global omgång

Viktigt!

Data som lagras i viloläge finns kvar i den angivna Azure-geografin, medan data kan bearbetas för inferens på valfri Azure AI Foundry-plats. Läs mer om dataresidens.

Den globala batchen är utformad för att effektivt hantera storskaliga och stora bearbetningsuppgifter. Bearbeta asynkrona grupper av begäranden med separat kvot, med 24-timmars målomställning, till 50 % lägre kostnad än global standard. Med batchbearbetning skickar du ett stort antal begäranden i en enda fil i stället för att skicka en begäran i taget. Globala batchbegäranden har en separat kvot för kodad token som undviker avbrott i dina onlinearbetsbelastningar.

SKU-namn i kod:GlobalBatch

De främsta användningsfallen är:

  • Storskalig databearbetning: Analysera snabbt omfattande datamängder parallellt.

  • Innehållsgenerering: Skapa stora mängder text, till exempel produktbeskrivningar eller artiklar.

  • Dokumentgranskning och sammanfattning: Automatisera granskning och sammanfattning av långa dokument.

  • Kundsupportautomatisering: Hantera flera frågor samtidigt för snabbare svar.

  • Dataextrahering och analys: Extrahera och analysera information från stora mängder ostrukturerade data.

  • NLP-uppgifter (Natural Language Processing): Utför uppgifter som attitydanalys eller översättning på stora datamängder.

  • Marknadsföring och anpassning: Generera anpassat innehåll och rekommendationer i stor skala.

Standard för datazon

Viktigt!

Data som lagras i vila finns kvar i det angivna Azure-geografiska området, medan data kan bearbetas för slutsatsdragning på valfri Azure AI Foundry-plats i Den Microsoft-angivna datazonen. Läs mer om dataresidens.

SKU-namn i kod:DataZoneStandard

Standarddistributioner av datazoner är tillgängliga i samma Azure AI Foundry-resurs som alla andra Azure AI Foundry-distributionstyper, men gör att du kan utnyttja den globala Azure-infrastrukturen för att dynamiskt dirigera trafik till datacentret i Den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran. Datazonstandarden ger högre standardkvoter än våra azure-geografibaserade distributionstyper.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan Kvoter och gränser . För arbetsbelastningar som kräver varians med låg svarstid på stora volymer rekommenderar vi att du använder de etablerade distributionserbjudandena.

Datazon tillhandahållen

Viktigt!

Data som lagras i vila finns kvar i det angivna Azure-geografiska området, medan data kan bearbetas för slutsatsdragning på valfri Azure AI Foundry-plats i Den Microsoft-angivna datazonen. Läs mer om datahemvist.

SKU-namn i kod:DataZoneProvisionedManaged

Allokerade distributioner i datazonen är tillgängliga i samma Azure AI Foundry-resurs som alla andra Azure AI Foundry-distributionstyper, men gör att du kan utnyttja den globala Azure-infrastrukturen för att dynamiskt dirigera trafik till datacentret i Den Microsoft-angivna datazonen med bästa tillgänglighet för varje begäran. Provisionerade distributioner i datazoner ger reserverad modellbearbetningskapacitet för högt och förutsägbart genomflöde med hjälp av Azure-infrastrukturen i den Microsoft-angivna datazonen.

Datazonsbatch

Viktigt!

Data som lagras i vila finns kvar i det angivna Azure-geografiska området, medan data kan bearbetas för slutsatsdragning på valfri Azure AI Foundry-plats i Den Microsoft-angivna datazonen. Läs mer om dataresidens.

SKU-namn i kod:DataZoneBatch

Batchdistributioner i datazoner har samma funktioner som globala batchdistributioner, samtidigt som du kan utnyttja den globala Azure-infrastrukturen för att dynamiskt dirigera trafik till endast datacenter i Den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran.

Norm

SKU-namn i kod:Standard

Standardutgåvor tillhandahåller en faktureringsmodell för betalning per anrop för den valda modellen. Ger det snabbaste sättet att komma igång eftersom du bara betalar för det du förbrukar. Modeller som är tillgängliga i varje region samt dataflöde kan vara begränsade.

Standardutplaceringar är optimerade för arbetsbelastningar med låg till medelhög volym med hög variation i belastning. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.

Regional tillhandahållen

SKU-namn i kod:ProvisionedManaged

Med regionala tilldelade distributioner kan du specificera den mängd genomströmning du behöver i en distribution. Tjänsten allokerar sedan den nödvändiga modellbearbetningskapaciteten och ser till att den är redo för dig. Dataflödet definieras i termer av etablerade dataflödesenheter (PTU) som är ett normaliserat sätt att representera dataflödet för distributionen. Varje modell- och versionspar kräver olika mängder PTU för att distribuera och tillhandahålla olika mängder genomströmning per PTU. Läs mer i vår artikel om etablerade dataflödesbegrepp.

Så här inaktiverar du åtkomst till globala distributioner i din prenumeration

Azure Policy hjälper till att framtvinga organisationsstandarder och utvärdera efterlevnad i stor skala. Via dess instrumentpanel för efterlevnad finns en sammanställd vy för att utvärdera miljöns övergripande tillstånd, och du kan öka detaljnivån till per resurs och per princip. Du får också hjälp att säkerställa att resurserna efterlever kraven via massåtgärder för befintliga resurser och automatisk reparation för nya resurser. Läs mer om Azure Policy och specifika inbyggda kontroller för AI-tjänster.

Du kan använda följande princip för att inaktivera åtkomst till valfri Azure AI Foundry-distributionstyp. Om du vill inaktivera åtkomst till en viss distributionstyp ersätter GlobalStandard du med sku-namnet för den distributionstyp som du vill inaktivera åtkomst till.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Utvecklare (för finjusterade modeller)

Viktigt!

Data som lagras i viloläge finns kvar i den angivna Azure-geografin, medan data kan bearbetas för inferens på valfri Azure AI Foundry-plats. Läs mer om dataresidens.

SKU-namn i kod:Developer

Finjusterade modeller stöder en utvecklardistribution som är särskilt utformad för att stödja utvärdering av anpassade modeller. Den erbjuder inga garantier för datahemvist och erbjuder inte heller ett serviceavtal. Mer information om hur du använder distributionstypen Utvecklare finns i finjusteringsguiden.

Distribuera modeller

Skärmbild som visar dialogrutan för modelldistribution i Azure AI Foundry-portalen med tre distributionstyper markerade.

Mer information om hur du skapar resurser och distribuerar modeller finns i guiden för att skapa resurser.

Se även