Netzwerkisolation in Prompt-Flow
Sie können den Prompt-Flow mithilfe privater Netzwerke schützen. In diesem Artikel werden die Anforderungen für die Verwendung des Prompt-Flows in einer Umgebung erläutert, die von privaten Netzwerken geschützt wird.
Beteiligte Dienste
Wenn Sie Ihre LLM-Anwendung mit Prompt Flow entwickeln, brauchen Sie eine sichere Umgebung. Sie können die folgenden Dienste über die Netzwerkeinstellung als privat festlegen.
- Arbeitsbereich: Sie können einen Azure Machine Learning-Arbeitsbereich als privat festlegen und den eingehenden und ausgehenden Datenverkehr dafür einschränken.
- Computeressource: Sie können auch die Eingangs- und Ausgangsregel der Computeressource im Arbeitsbereich einschränken.
- Speicherkonto: Sie können den Zugriff auf das Speicherkonto auf ein bestimmtes virtuelles Netzwerk beschränken.
- Containerregistrierung: Sie möchten Ihre Containerregistrierung auch mit einem virtuellen Netzwerk sichern.
- Endpunkt: Sie möchten Azure-Dienste oder IP-Adressen für den Zugriff auf Ihren Endpunkt einschränken.
- Verwandte Azure Cognitive Services wie Azure OpenAI, Azure Content Safety und Azure AI Search können Sie über die Netzwerkkonfiguration als privat kennzeichnen und dann einen privaten Endpunkt verwenden, damit die Azure Machine Learning Services mit ihnen kommunizieren können.
- Andere Nicht-Azure-Ressourcen wie SerpAPI usw. Wenn Sie strenge Regeln für ausgehende Verbindungen haben, müssen Sie eine FQDN-Regel hinzufügen, um auf diese zuzugreifen.
Optionen in unterschiedlicher Netzwerkeinrichtung
Beim maschinellen Lernen in Azure haben wir zwei Möglichkeiten, die Netzwerkisolation zu sichern: Sie können Ihr eigenes Netzwerk verwenden oder ein vom Arbeitsbereich verwaltetes virtuelles Netzwerk nutzen. Erfahren Sie mehr zu sicheren Arbeitsbereichsressourcen.
Die folgende Tabelle veranschaulicht die Optionen in verschiedenen Netzwerken für den Prompt Flow.
| Eingehende Daten | Ausgehende Daten | Computetyp bei der Dokumenterstellung | Computetyp für den Rückschluss | Netzwerkoptionen für den Arbeitsbereich |
|---|---|---|---|---|
| Öffentlich | Öffentlich | Serverlos (empfohlen), Compute-Instanz | Verwalteter Onlineendpunkt (empfohlen), K8s-Onlineendpunkt | Verwaltet (empfohlen)/Bring your own |
| Privat | Public | Serverlos (empfohlen), Compute-Instanz | Verwalteter Onlineendpunkt (empfohlen), K8s-Onlineendpunkt | Verwaltet (empfohlen)/Bring your own |
| Öffentlich | Privat | Serverlos (empfohlen), Compute-Instanz | Verwalteter Onlineendpunkt | Verwaltet |
| Privat | Privat | Serverlos (empfohlen), Compute-Instanz | Verwalteter Onlineendpunkt | Verwaltet |
- In einem privaten VNet-Szenario empfehlen wir die Verwendung eines verwalteten virtuellen Netzwerks mit Arbeitsbereich. Das ist der einfachste Weg, um Ihren Arbeitsplatz und die damit verbundenen Ressourcen zu sichern.
- Sie können auch einen Arbeitsbereich für die Erstellung von Prompt Flows mit Ihrem virtuellen Netzwerk und einen weiteren Arbeitsbereich für die Bereitstellung von Prompt Flows über einen verwalteten Online-Endpunkt mit dem Arbeitsbereich Verwaltetes virtuelles Netzwerk haben.
- Die gemischte Nutzung eines verwalteten virtuellen Netzwerks und eines eigenen virtuellen Netzwerks in einem einzigen Arbeitsbereich wurde nicht unterstützt. Und da verwaltete Online-Endpunkte nur verwaltete virtuelle Netzwerke unterstützen, können Sie Prompt Flow nicht für verwaltete Online-Endpunkte in Arbeitsbereichen bereitstellen, die Ihr eigenes virtuelles Netzwerk mitbringen.
Schützen des Prompt-Flows mit einem vom Arbeitsbereich verwalteten virtuellen Netzwerk
Ein vom Arbeitsbereich verwaltetes virtuelles Netzwerk ist die empfohlene Methode, um die Netzwerkisolation im Prompt-Flow zu unterstützen. Es bietet eine einfache Konfiguration, um Ihren Arbeitsbereich zu schützen. Nachdem Sie das verwaltete virtuelle Netzwerk auf Arbeitsbereichsebene aktiviert haben, verwenden Ressourcen im Zusammenhang mit dem Arbeitsbereich im selben virtuellen Netzwerk die gleiche Netzwerkeinstellung auf Arbeitsbereichsebene. Sie können den Arbeitsbereich auch so konfigurieren, dass er private Endpunkte für den Zugriff auf andere Azure-Ressourcen wie Azure OpenAI, Azure Content Safety und Azure AI Search verwendet. Sie können auch eine FQDN-Regel konfigurieren, um ausgehende Verbindungen zu Nicht-Azure-Ressourcen zu genehmigen, die von Ihrem Prompt-Flow verwendet werden, z. B. SerpAPI usw.
Befolgen Sie die Anweisungen unter Verwaltete Netzwerkisolation auf Arbeitsbereichsebene (Vorschau), um ein vom Arbeitsbereich verwaltetes virtuelles Netzwerk zu aktivieren.
Wichtig
Das verwaltete virtuelle Netzwerk wird erst erstellt, wenn eine Computeressource erstellt oder die Bereitstellung manuell gestartet wird. Sie können den folgenden Befehl verwenden, um die Netzwerkbereitstellung manuell auszulösen.
az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>Fügen Sie den Arbeitsbereichs-MSI als
Storage File Data Privileged Contributorzu dem Speicherkonto hinzu, das mit dem Arbeitsbereich verknüpft ist.2.1 Gehen Sie zum Azure-Portal und suchen Sie den Arbeitsbereich.
2.2 Suchen Sie das Speicherkonto, das mit dem Arbeitsbereich verknüpft ist.
2.3 Wechseln Sie zur Seite „Rollenzuweisung“ des Speicherkontos.
2.4 Suchen Sie die Rolle „Privilegierter Mitwirkender für Speicherdateidaten“.
2.5 Weisen Sie der verwalteten Identität des Arbeitsbereichs die Rolle „Privilegierter Mitwirkender für Speicherdateidaten“ zu.
Hinweis
Es kann einige Minuten dauern, bis dieser Vorgang wirksam wird.
Wenn Sie mit einer privaten Azure Cognitive Services-Instanz kommunizieren möchten, müssen Sie zugehörige benutzerdefinierte Ausgangsregeln zur zugehörigen Ressource hinzufügen. Der Azure Machine Learning-Arbeitsbereich erstellt einen privaten Endpunkt in der zugehörigen Ressource mit automatischer Genehmigung. Wenn als Status weiterhin „Ausstehend“ angezeigt wird, wechseln Sie zur zugehörigen Ressource, um den privaten Endpunkt manuell zu genehmigen.
Wenn Sie ausgehenden Datenverkehr einschränken, um nur bestimmte Ziele zuzulassen, müssen Sie eine entsprechende benutzerdefinierte Ausgangsregel hinzufügen, um den relevanten FQDN zuzulassen.
In Arbeitsbereichen, die ein verwaltetes VNet aktivieren, können Sie den Prompt-Flow nur für einen verwalteten Onlineendpunkt bereitstellen. Sie können den Anweisungen unter Schützen Ihrer verwalteten Onlineendpunkte mit Netzwerkisolation folgen, um Ihren verwalteten Onlineendpunkt zu schützen.
Sicherer Prompt-Flow durch Nutzung eines eigenen virtuellen Netzwerks
Informationen zum Einrichten von Azure Machine Learning-bezogenen Ressourcen als privat finden Sie unter Schützen eines Azure Machine Learning-Arbeitsbereichs mit virtuellen Netzwerken.
Wenn Sie strenge Regeln für ausgehende Verbindungen haben, stellen Sie sicher, dass der erforderliche öffentliche Internetzugang geöffnet ist.
Fügen Sie den Arbeitsbereichs-MSI als
Storage File Data Privileged Contributorzu dem Speicherkonto hinzu, das mit dem Arbeitsbereich verknüpft ist. Führen Sie Schritt 2 unter Schützen des Prompt-Flows mit einem vom Arbeitsbereich verwalteten virtuellen Netzwerk aus.Wenn Sie serverlose Computingtypen in der Flowerstellung verwenden, müssen Sie das benutzerdefinierte virtuelle Netzwerk auf Arbeitsbereichsebene angeben. Weitere Informationen zum Schützen einer Azure Machine Learning-Trainingsumgebung mit virtuellen Netzwerken.
serverless_compute: custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name> no_public_ip: false # Set to true if you don't want to assign public IP to the computeIn der Zwischenzeit können Sie die Anweisungen für private Azure Cognitive Services-Dienste befolgen, um sie als privat festzulegen.
Wenn Sie den Prompt-Flows im Arbeitsbereich bereitstellen möchten, der durch Ihr eigenes virtuelles Netzwerk geschützt ist, können Sie sie im AKS-Cluster bereitstellen, der sich im selben virtuellen Netzwerk befindet. Zum Schützen Ihres AKS-Clusters können Sie die Schritte unter Sichere Azure Kubernetes Service-Rückschlussumgebung ausführen. Erfahren Sie mehr über Bereitstellen des Prompt Flow für ASK-Cluster über Code.
Sie können entweder einen privaten Endpunkt für dasselbe virtuelle Netzwerk erstellen oder Peering virtueller Netzwerke nutzen, um die Kommunikation zwischen ihnen zu ermöglichen.
Bekannte Einschränkungen
- KI Studio unterstützt kein benutzerdefiniertes virtuelles Netzwerk, es unterstützt nur ein vom Arbeitsbereich verwaltetes virtuelles Netzwerk.
- Ein verwalteter Online-Endpunkt mit ausgewählten Ausgängen unterstützt nur Arbeitsbereiche mit einem verwalteten virtuellen Netzwerk. Wenn Sie Ihr eigenes virtuelles Netzwerk verwenden möchten, benötigen Sie möglicherweise einen Arbeitsbereich für die Erstellung von Prompt Flows mit Ihrem virtuellen Netzwerk und einen weiteren Arbeitsbereich für die Bereitstellung von Prompt Flows über einen verwalteten Online-Endpunkt mit dem Arbeitsbereich Verwaltetes virtuelles Netzwerk.