Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of mappen te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen om mappen te wijzigen.
In dit artikel vindt u een overzicht van de beperkingen en beschikbaarheid van regio's voor Azure Databricks Model Serving en ondersteunde eindpunttypen.
Limieten voor resources en ladingen
Model Serving legt standaardlimieten op om betrouwbare prestaties te garanderen. Als u feedback hebt over deze limieten, neemt u contact op met uw Databricks-accountteam.
De limieten in deze sectie zijn alleen van toepassing op eindpunten van aangepaste modellen en AI-agents . Zie Voor Foundation Model API's en limieten voor externe modelresources en nettoladingen de frequentielimieten en quota van Foundation-model-API's.
Aangepaste modellen en AI-agents
| Kenmerk | Granulariteit | Grens |
|---|---|---|
| Eindpunten | Per werkruimte | 1000. Neem contact op met uw Databricks-accountteam om dit te verhogen. |
| Queries per seconde (QPS) | Per eindpunt | 300.000 met behulp van routeoptimalisatie. Als gelijktijdigheid van 1024 niet voldoende is, neemt u contact op met uw Databricks-accountteam om te verhogen. |
| Queries per seconde (QPS) | Per werkruimte | 300.000 met behulp van routeoptimalisatie. 200 voor niet-route-geoptimaliseerd, alleen aanbevolen voor kleine ontwikkelingsgebruikssituaties. |
| Vooraf geconfigureerde gelijktijdigheid | Per model | 1024 met aangepaste optie en routeoptimalisatie. Neem contact op met het team van uw Databricks-account om dit te vergroten. |
| Vooraf geconfigureerde gelijktijdigheid | Per werkruimte | 4096. Neem contact op met uw Databricks-accountteam om dit te verhogen. |
| Operaties voor maken/bijwerken | Per werkruimte | 50 in 5 minuten. |
| Payloadgrootte | Op aanvraag | 16 MB. Voor eindpunten van AI-agent is de limiet 4 MB. |
| Grootte van aanvraag/antwoord | Op aanvraag | Elke aanvraag/reactie van meer dan 1 MB wordt niet geregistreerd. |
| Duur van modeluitvoering | Op aanvraag | 297 seconden |
| Geheugengebruik van CPU-eindpuntmodel | Per eindpunt | 4 GB |
| Geheugengebruik gpu-eindpuntmodel | Per eindpunt | Afhankelijk van het GPU-type |
| Omgevingsvariabelen | Per geleverd model | 30. Neem contact op met uw Databricks-accountteam om een verhoging aan te vragen. |
| Overheadlatentie | Op aanvraag | Minder dan 20 milliseconden met routeoptimalisatie. |
:::
Netwerk- en beveiligingsbeperkingen
- Modelservereindpunten worden beveiligd door toegangsbeheer en respecteren netwerkgerelateerde toegangsbeheerregels die zijn geconfigureerd in de werkruimte, zoals IP-acceptatielijsten en Private Link.
- Privéconnectiviteit (zoals Azure Private Link) wordt alleen ondersteund voor modelservereindpunten die gebruikmaken van ingerichte doorvoer of eindpunten die aangepaste modellen leveren.
- Model serving biedt standaard geen ondersteuning voor Private Link naar externe eindpunten (zoals Azure OpenAI). Ondersteuning voor deze functionaliteit wordt geëvalueerd en geïmplementeerd per regio. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.
- Model Serving biedt geen beveiligingspatches voor bestaande modelinstallatiekopieën vanwege het risico dat de productie-implementaties worden gedestabiliseerd. Een nieuwe modelafbeelding die is gemaakt op basis van een nieuwe modelversie, bevat de meest recente patches. Neem contact op met uw Databricks-accountteam voor meer informatie.
Standaarden voor nalevingsbeveiligingsprofielen: CPU-workloads
De volgende tabel bevat de ondersteunde nalevingsstandaarden voor de beveiligingsprofielen voor de kernfunctionaliteit van Model Serving voor CPU-workloads.
Notitie
Deze nalevingsstandaarden vereisen dat geleverde containers in de afgelopen 30 dagen worden gebouwd. Databricks bouwt automatisch verouderde containers namens u opnieuw op. Als deze geautomatiseerde taak echter mislukt, wordt een gebeurtenislogboekbericht zoals het volgende weergegeven en biedt richtlijnen voor het voldoen aan de nalevingsvereisten voor uw eindpunten:
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| Regio | Locatie | HIPAA | HITRUST | PCI-DSS | IRAP | CCCS Medium (Beschermd B) | UK Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
AustraliaCentral | ||||||
australiacentral2 |
AustraliaCentral2 | ||||||
australiaeast |
AustraliaEast | ✓ | ✓ | ✓ | |||
australiasoutheast |
Australië Zuidoost | ||||||
brazilsouth |
Brazilië Zuid | ✓ | ✓ | ✓ | |||
canadacentral |
CanadaCentral | ✓ | ✓ | ✓ | |||
canadaeast |
CanadaEast | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
Centraal-Amerika | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaEast3 | ||||||
chinanorth2 |
ChinaNorth2 | ||||||
chinanorth3 |
ChinaNorth3 | ||||||
eastasia |
EastAsia | ✓ | ✓ | ✓ | |||
eastus |
Oost-VS | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
Duitsland West Centraal | ✓ | ✓ | ✓ | |||
japaneast |
JapanEast | ✓ | ✓ | ✓ | |||
japanwest |
JapanWest | ||||||
koreacentral |
KoreaCentral | ✓ | ✓ | ✓ | |||
mexicocentral |
MexicoCentral | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
Noord-Europa | ✓ | ✓ | ✓ | |||
norwayeast |
Oost-Noorwegen | ||||||
qatarcentral |
QatarCentral | ||||||
southafricanorth |
Zuid-Afrika Noord | ||||||
southcentralus |
SouthCentralUS | ✓ | ✓ | ✓ | |||
southeastasia |
Zuidoost-Azië | ✓ | ✓ | ✓ | |||
southindia |
Zuid-India | ||||||
swedencentral |
SwedenCentral | ✓ | ✓ | ✓ | |||
switzerlandnorth |
Zwitserland-Noord | ✓ | ✓ | ✓ | |||
switzerlandwest |
ZwitserlandWest | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
UKSouth | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
West-Europa | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
Westelijke Verenigde Staten | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
Limieten voor FOUNDATION-model-API's
Zie Basismodel-API's, limieten en quota voor gedetailleerde informatie over Foundation Model-API's, inclusief resource- en payloadlimieten voor basismodel en externe modellen.
Beschikbaarheid van regio's
Notitie
Als u een eindpunt in een niet-ondersteunde regio nodig hebt, neemt u contact op met uw Azure Databricks-accountteam.
Als uw werkruimte wordt geïmplementeerd in een regio die ondersteuning biedt voor modelservice, maar wordt geleverd door een besturingsvlak in een niet-ondersteunde regio, biedt de werkruimte geen ondersteuning voor modelservice. Als u het model in een dergelijke werkruimte probeert te gebruiken, ziet u een foutbericht waarin wordt aangegeven dat uw werkruimte niet wordt ondersteund. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.
Zie De beschikbaarheid van modelfuncties voor meer informatie over regionale beschikbaarheid van elke functie voor modelbediening.
Voor de beschikbaarheid van regio's voor basismodellen die worden gehost op Databricks, zie Foundation-modellen die worden gehost op Databricks.