Freigeben über

Bereitstellungstypen für Azure AI Foundry-Modelle

Azure AI Foundry stellt Modelle mithilfe des Modellbereitstellungskonzepts in Azure AI Foundry Services (ehemals Azure AI Services) zur Verfügung. Modellbereitstellungen sind auch Azure-Ressourcen und gewähren beim Erstellen Zugriff auf ein bestimmtes Modell unter bestimmten Konfigurationen. Eine solche Konfiguration enthält die Infrastruktur, die zum Verarbeiten der Anforderungen erforderlich ist.

Azure AI Foundry-Modelle bieten Kunden Hostingstrukturoptionen, die ihren Geschäfts- und Nutzungsmustern entsprechen. Diese Optionen werden in verschiedene Bereitstellungstypen (oder SKUs) übersetzt, die zur Modellbereitstellungszeit in der Azure AI Foundry-Ressource verfügbar sind.

Der Dienst bietet zwei Haupttypen von Bereitstellungen: Standard und bereitgestellt. Für einen bestimmten Bereitstellungstyp können Kunden ihre Workloads an ihre Datenverarbeitungsanforderungen anpassen. Sie können eine Azure-Geografie (Standard oder Provisioned-Managed), eine von Microsoft angegebene Datenzone (DataZone- Standard oder DataZone Provisioned-Managed) oder eine globale (Global-Standard oder Global Provisioned-Managed) Verarbeitungsoption auswählen.

Bei fein abgestimmten Modellen bietet ein zusätzlicher Developer Bereitstellungstyp ein kostengünstiges Mittel zur benutzerdefinierten Modellauswertung, aber ohne Datenaufbewahrung.

Alle Bereitstellungen können dieselben Rückschlussvorgänge ausführen, Abrechnung, Skalierung und Leistung unterscheiden sich jedoch erheblich. Im Rahmen ihres Lösungsdesigns müssen Sie wichtige Entscheidungen in zwei Kategorien treffen:

  • Datenverarbeitungsort
  • Anruflautstärke

Screenshot, das zeigt, wie der Bereitstellungstyp für eine bestimmte Modellbereitstellung angepasst wird.

Azure AI Foundry Deployment Data Processing Locations

Für Standardbereitstellungen stehen drei Bereitstellungsoptionen zur Auswahl: globale, Datenzone und Azure-Geografie. Für bereitgestellte Bereitstellungen stehen zwei Bereitstellungsoptionen zur Auswahl: globale und Azure-Geografie. Wir empfehlen Global Standard als Ausgangspunkt.

Globale Bereitstellungen

Globale Bereitstellungen verwenden die globale Infrastruktur von Azure, um den Kundendatenverkehr dynamisch an das Rechenzentrum weiterzuleiten und die beste Verfügbarkeit für die Rückschlussanforderungen des Kunden zu erzielen. Dies bedeutet, dass global die höchsten anfänglichen Durchsatzgrenzwerte und die beste Modellverfügbarkeit bietet, aber dennoch unsere Uptime-SLA und niedrige Latenzzeit gewährleistet. Für Workloads mit hohem Volumen über den angegebenen Nutzungsebenen von Standard und Global Standard kann eine erhöhte Latenzvariation auftreten. Für Kunden, die die geringere Latenzabweichung bei einer großen Workloadauslastung erfordern, empfehlen wir die Verwendung unserer bereitgestellten Bereitstellungstypen.

Unsere globalen Bereitstellungen sind der erste Standort für alle neuen Modelle und Features. Je nach Anrufvolumen sollten Kunden mit hohen Volumen- und geringen Latenzabweichungsanforderungen unsere bereitgestellten Bereitstellungstypen berücksichtigen.

Bereitstellungen von Datenzonen

Für alle Bereitstellungstypen mit der Bezeichnung "Global" werden Eingabeaufforderungen und Antworten möglicherweise in jeder Geografie verarbeitet, in der das entsprechende Azure AI Foundry-Modell bereitgestellt wird. Erfahren Sie mehr über die regionale Verfügbarkeit von Modellen.

Für alle Bereitstellungstypen, die als "DataZone" bezeichnet werden, können Aufforderungen und Antworten in einer beliebigen Geografie innerhalb der angegebenen Datenzone verarbeitet werden, wie von Microsoft definiert. Wenn Sie eine DataZone-Bereitstellung in einer Azure AI Foundry-Ressource in den USA erstellen, werden Eingabeaufforderungen und Antworten möglicherweise überall in den VEREINIGTEN Staaten verarbeitet. Wenn Sie eine DataZone-Bereitstellung in einer Azure AI Foundry-Ressource erstellen, die sich in einem Mitgliedsstaat der Europäischen Union befindet, werden Aufforderungen und Antworten möglicherweise in diesem oder einem anderen Mitglied der Europäischen Union verarbeitet.

Für die Bereitstellungstypen "Global " und " DataZone " werden alle ruhenden Daten, z. B. hochgeladene Daten, in der vom Kunden festgelegten Geografie gespeichert. Nur der Verarbeitungsort ist betroffen, wenn ein Kunde einen Global - oder DataZone-Bereitstellungstyp in einer Azure AI Foundry-Ressource verwendet; Azure-Datenverarbeitungs- und Complianceverpflichtungen bleiben anwendbar.

Hinweis

Wenn bei den Bereitstellungstypen "Globaler Standard" und "Datenzonenstandard" eine Dienstunterbrechung in der primären Region vorliegt, ist der gesamte Datenverkehr betroffen, der anfänglich an diese Region weitergeleitet wird. Weitere Informationen finden Sie im Handbuch zur Geschäftskontinuität und Notfallwiederherstellung.

Globaler Standard

  • SKU-Name im Code: GlobalStandard

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort verarbeitet werden. Erfahren Sie mehr über Data Residency.

Globale Bereitstellungen sind in den gleichen Azure AI Foundry-Ressourcen wie nicht globale Bereitstellungstypen verfügbar. Sie ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu verwenden, um den Datenverkehr dynamisch an das Rechenzentrum mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Global Standard bietet das höchste Standardkontingent und beseitigt die Notwendigkeit des Lastenausgleichs über mehrere Ressourcen hinweg.

Kunden mit hohem konsistenten Volumen können eine höhere Latenzvariabilität aufweisen. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite "Kontingente". Für Anwendungen, die eine geringere Latenzabweichung bei einer großen Workloadauslastung erfordern, empfehlen wir den Kauf des bereitgestellten Durchsatzes.

Global bereitgestellt

  • SKU-Name im Code: GlobalProvisionedManaged

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort verarbeitet werden. Erfahren Sie mehr über Data Residency.

Globale Bereitstellungen sind in den gleichen Azure AI Foundry-Ressourcen wie nicht globale Bereitstellungstypen verfügbar. Sie ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu verwenden, um den Datenverkehr dynamisch an das Rechenzentrum mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Globale bereitgestellte Bereitstellungen bieten reservierte Modellverarbeitungskapazität für hohen und vorhersehbaren Durchsatz mithilfe der globalen Azure-Infrastruktur.

Globaler Batch

  • SKU-Name im Code: GlobalBatch

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort verarbeitet werden. Erfahren Sie mehr über Data Residency.

Global Batch wurde entwickelt, um umfangreiche und umfangreiche Verarbeitungsaufgaben effizient zu verarbeiten. Sie können asynchrone Gruppen von Anforderungen mit separaten Kontingenten und einer 24-Stunden-Zielumlaufzeit mit 50% weniger Kosten als Global Standard verarbeiten. Bei der Stapelverarbeitung senden Sie anstatt einer einzelnen Anforderung eine große Anzahl von Anfragen in einer einzigen Datei. Globale Batchanforderungen verfügen über ein separates Tokenkontingent, das in die Warteschlange eingereiht wird, um Unterbrechungen Ihrer Onlineworkloads zu vermeiden.

Wichtige Anwendungsfälle:

  • Umfangreiche Datenverarbeitung: Analysieren Sie umfangreiche Datasets schnell parallel.
  • Inhaltsgenerierung: Erstellen Sie große Textmengen, z. B. Produktbeschreibungen oder Artikel.
  • Dokumentüberprüfung und Zusammenfassung: Automatisieren Sie die Überprüfung und Zusammenfassung von langwierigen Dokumenten.
  • Automatisierung des Kundensupports: Behandeln Sie zahlreiche Abfragen gleichzeitig für schnellere Antworten.
  • Datenextraktion und -analyse: Extrahieren und Analysieren von Informationen aus großen Mengen unstrukturierter Daten.
  • Aufgaben für die Verarbeitung natürlicher Sprachen (Natural Language Processing, NLP): Aufgaben wie Stimmungsanalyse oder Übersetzung auf großen Datensätzen ausführen.
  • Marketing und Personalisierung: Generieren Sie personalisierte Inhalte und Empfehlungen im großen Maßstab.

Datenzonen-Standard

  • SKU-Name im Code: DataZoneStandard

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort innerhalb der von Microsoft angegebenen Datenzone verarbeitet werden. Erfahren Sie mehr über Data Residency.

Data Zone Standard-Bereitstellungen sind in derselben Azure AI Foundry-Ressource wie alle anderen Azure AI Foundry-Bereitstellungstypen verfügbar. Sie ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu verwenden, um den Datenverkehr dynamisch an das Rechenzentrum innerhalb der von Microsoft definierten Datenzone mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Data Zone Standard bietet höhere Standardkontingente als unsere geografiebasierten Azure-Bereitstellungstypen.

Kunden mit hohem konsistenten Volumen können eine höhere Latenzvariabilität aufweisen. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite "Kontingente und Beschränkungen". Für Workloads, die eine geringe Latenzabweichung bei großem Volume erfordern, empfehlen wir die Verwendung der bereitgestellten Bereitstellungsangebote.

Bereitgestellte Datenzone

  • SKU-Name im Code: DataZoneProvisionedManaged

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort innerhalb der von Microsoft angegebenen Datenzone verarbeitet werden. Erfahren Sie mehr über Data Residency.

Bereitgestellte Data Zone-Bereitstellungen sind in derselben Azure AI Foundry-Ressource wie alle anderen Azure AI Foundry-Bereitstellungstypen verfügbar. Sie ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu verwenden, um den Datenverkehr dynamisch an das Rechenzentrum innerhalb der von Microsoft angegebenen Datenzone mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Bereitstellungen von Datenzonen bieten reservierte Modellverarbeitungskapazität für hohen und vorhersehbaren Durchsatz mithilfe der Azure-Infrastruktur innerhalb der von Microsoft angegebenen Datenzone.

Datenzonenbatch

  • SKU-Name im Code: DataZoneBatch

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort innerhalb der von Microsoft angegebenen Datenzone verarbeitet werden. Erfahren Sie mehr über Data Residency.

Datenzonenbatchbereitstellungen bieten alle die gleichen Funktionen wie globale Batchbereitstellungen. Sie ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu verwenden, um den Datenverkehr dynamisch an Rechenzentren innerhalb der von Microsoft definierten Datenzone mit der besten Verfügbarkeit für jede Anforderung zu leiten.

Norm

  • SKU-Name im Code: Standard

Standardbereitstellungen bieten ein Abrechnungsmodell für die Bezahlung pro Aufruf für das ausgewählte Modell. Dieses Modell kann eine schnelle Möglichkeit sein, loszulegen, da Sie nur für das, was Sie verbrauchen, bezahlen. Es kann sein, dass in jeder Region verfügbare Modelle und der Durchsatz begrenzt sind.

Standardbereitstellungen sind für Workloads mit geringem bis mittlerem Volumen mit hoher Burstartigkeit optimiert. Kunden mit hohem konsistenten Volumen können eine höhere Latenzvariabilität aufweisen.

Regional bereitgestellt

  • SKU-Name im Code: ProvisionedManaged

Mit regionalen bereitgestellten Bereitstellungen können Sie den in einer Bereitstellung erforderlichen Durchsatz angeben. Der Dienst weist daraufhin die erforderliche Modellverarbeitungskapazität zu und stellt sicher, dass diese für Sie bereit ist. Der Durchsatz wird in Bezug auf bereitgestellte Durchsatzeinheiten definiert, bei denen es sich um eine normalisierte Methode zur Darstellung des Durchsatzes für Ihre Bereitstellung handelt. Jedes Modellversionspaar erfordert unterschiedliche Mengen bereitgestellter Durchsatzeinheiten für die Bereitstellung und stellt unterschiedliche Durchsatzmengen pro bereitgestellter Durchsatzeinheit bereit. Weitere Informationen finden Sie im Artikel zu bereitgestellten Durchsatzkonzepten.

Deaktivieren des Zugriffs auf globale Bereitstellungen in Ihrem Abonnement

Azure-Richtlinie hilft dabei, organisatorische Standards zu erzwingen und die Compliance im großen Maßstab zu bewerten. Über sein Compliance-Dashboard bietet der Dienst eine aggregierte Ansicht zur Bewertung des Gesamtzustands der Umgebung mit der Möglichkeit, einen Drilldown zur Granularität pro Ressource und Richtlinie durchzuführen. Außerdem trägt er durch Massenwartung für vorhandene Ressourcen und automatische Wartung dazu bei, dass Ihre Ressourcen Compliance-Anforderungen erfüllen. Erfahren Sie mehr über Azure-Richtlinie und bestimmte integrierte Steuerelemente für KI-Dienste.

Sie können die folgende Richtlinie verwenden, um den Zugriff auf einen beliebigen Azure AI Foundry-Bereitstellungstyp zu deaktivieren. Um den Zugriff auf einen bestimmten Bereitstellungstyp zu deaktivieren, ersetzen Sie GlobalStandard den SKU-Namen für den Bereitstellungstyp, auf den Sie den Zugriff deaktivieren möchten.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Entwickler (für fein abgestimmte Modelle)

  • SKU-Name im Code: DeveloperTier

Von Bedeutung

Ruhende Daten verbleiben in der angegebenen Azure-Geografie. Daten können jedoch zum Ableiten in einem beliebigen Azure AI Foundry-Speicherort verarbeitet werden. Erfahren Sie mehr über Data Residency.

Feinabgestimmte Modelle unterstützen eine Developer-Bereitstellung, die dafür ausgelegt ist, benutzerdefinierte Modellauswertungen zu unterstützen. Es bietet keine Datenresidenzgarantien oder eine SLA (Service Level Agreement). Weitere Informationen zur Verwendung des Developer Bereitstellungstyps finden Sie im Leitfaden zur Feinabstimmung.

Bereitstellen von Modellen

Screenshot des Dialogfelds

Informationen zum Erstellen von Ressourcen und bereitstellen von Modellen finden Sie im Leitfaden zur Ressourcenerstellung.

Verwandte Inhalte

  • Last updated on