Netwerkisolatie in promptstroom

U kunt de promptstroom beveiligen met behulp van privénetwerken. In dit artikel worden de vereisten uitgelegd voor het gebruik van promptstroom in een omgeving die wordt beveiligd door particuliere netwerken.

Betrokken services

Wanneer u uw LLM-toepassing ontwikkelt met behulp van promptstroom, wilt u een beveiligde omgeving. U kunt de volgende services privé maken via de netwerkinstelling.

• Werkruimte: u kunt Azure Machine Learning-werkruimte als persoonlijk maken en inkomend en uitgaand van de werkruimte beperken.
• Rekenresource: u kunt ook de binnenkomende en uitgaande regel van de rekenresource in de werkruimte beperken.
• Opslagaccount: u kunt de toegankelijkheid van het opslagaccount beperken tot een specifiek virtueel netwerk.
• Containerregister: u wilt uw containerregister ook beveiligen met een virtueel netwerk.
• Eindpunt: u wilt Azure-services of IP-adres beperken tot toegang tot uw eindpunt.
• Gerelateerde Azure Cognitive Services, zoals Azure OpenAI, Azure-inhoudsveiligheid en Azure AI Search, kunt u netwerkconfiguratie gebruiken om ze als privé te maken en vervolgens met behulp van een privé-eindpunt om Azure Machine Learning-services met hen te laten communiceren.
• Andere niet-Azure-resources, zoals SerpAPI, enzovoort. Als u een strikte uitgaande regel hebt, moet u een FQDN-regel toevoegen om deze te kunnen openen.

Opties in verschillende netwerkinstellingen

In Azure Machine Learning hebben we twee opties voor het beveiligen van netwerkisolatie, bring your own network of using workspace managed virtual network. Meer informatie over beveiligde werkruimteresources.

Hier volgt een tabel om de opties in verschillende netwerkinstellingen voor promptstroom weer te geven.

Inkomend verkeer	Uitgaand verkeer	Rekentype in creatie	Deductietype berekenen	Netwerkopties voor werkruimte
Openbaar	Openbaar	Serverloos (aanbevelen), rekenproces	Beheerd online-eindpunt (aanbevelen), online-eindpunt K8s	Beheerd (aanbevelen) /Bring you own
Privé	Openbaar	Serverloos (aanbevelen), rekenproces	Beheerd online-eindpunt (aanbevelen), online-eindpunt K8s	Beheerd (aanbevelen) /Bring you own
Openbaar	Persoonlijk	Serverloos (aanbevelen), rekenproces	Beheerd online-eindpunt	Beheerd
Privé	Privé	Serverloos (aanbevelen), rekenproces	Beheerd online-eindpunt	Beheerd

• In een privé-VNet-scenario raden we u aan om een beheerd virtueel netwerk met werkruimte te gebruiken. Het is de eenvoudigste manier om uw werkruimte en gerelateerde resources te beveiligen.
• U kunt ook één werkruimte hebben voor het ontwerpen van promptstromen met uw virtuele netwerk en een andere werkruimte voor promptstroomimplementatie met behulp van een beheerd online-eindpunt met een beheerd virtueel netwerk in de werkruimte.
• We bieden geen ondersteuning voor gemengd gebruik van beheerd virtueel netwerk en bring your own virtual network in één werkruimte. En omdat het beheerde online-eindpunt alleen beheerde virtuele netwerken ondersteunt, kunt u geen promptstroom implementeren naar het beheerde online-eindpunt in de werkruimte waarvoor bring your own virtual network is ingeschakeld.

Beveiligingspromptstroom met beheerd virtueel netwerk in werkruimte

Het beheerde virtuele netwerk van de werkruimte is de aanbevolen manier om netwerkisolatie in promptstroom te ondersteunen. Het biedt eenvoudig configuratie om uw werkruimte te beveiligen. Nadat u het beheerde virtuele netwerk op werkruimteniveau hebt ingeschakeld, gebruiken resources met betrekking tot de werkruimte in hetzelfde virtuele netwerk dezelfde netwerkinstelling op het niveau van de werkruimte. U kunt de werkruimte ook configureren voor het gebruik van een privé-eindpunt voor toegang tot andere Azure-resources, zoals Azure OpenAI, Beveiliging van Azure-inhoud en Azure AI Search. U kunt ook de FQDN-regel configureren om uitgaand verkeer goed te keuren voor niet-Azure-resources die worden gebruikt door uw promptstroom, zoals SerpAPI, enzovoort.

1. Volg werkruimte beheerd netwerkisolatie om het beheerde virtuele netwerk van de werkruimte in te schakelen.

   Belangrijk

   Het maken van het beheerde virtuele netwerk wordt uitgesteld totdat een rekenresource wordt gemaakt of handmatig wordt ingericht. U kunt de volgende opdracht gebruiken om handmatig netwerkinrichting te activeren.

   az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>
   

2. Voeg het MSI-bestand Storage File Data Privileged Contributor van de werkruimte toe aan het opslagaccount dat is gekoppeld aan de werkruimte.

   2.1 Ga naar Azure Portal en zoek de werkruimte.

   

   2.2 Zoek het opslagaccount dat is gekoppeld aan de werkruimte.

   

   2.3 Ga naar de pagina roltoewijzing van het opslagaccount.

   

   2.4 De rol van bevoegde inzender voor opslagbestanden zoeken.

   

   2.5 Wijs de rol inzender met bevoegdheden voor opslagbestandsgegevens toe aan de beheerde identiteit van de werkruimte.

   

   Notitie

   Deze bewerking kan enkele minuten duren.

3. Als u wilt communiceren met persoonlijke Azure Cognitive Services, moet u gerelateerde door de gebruiker gedefinieerde uitgaande regels toevoegen aan de gerelateerde resource. De Azure Machine Learning-werkruimte maakt een privé-eindpunt in de gerelateerde resource met automatisch goedkeuren. Als de status in behandeling is vastgelopen, gaat u naar de gerelateerde resource om het privé-eindpunt handmatig goed te keuren.

   

   

4. Als u uitgaand verkeer beperkt tot alleen specifieke bestemmingen, moet u een overeenkomstige door de gebruiker gedefinieerde uitgaande regel toevoegen om de relevante FQDN toe te staan.

   

5. In werkruimten die beheerde VNet inschakelen, kunt u alleen een stroomlijning implementeren naar een beheerd online-eindpunt. U kunt uw beheerde online-eindpunten beveiligen met netwerkisolatie volgen om uw beheerde online-eindpunt te beveiligen.

Beveiligde promptstroom gebruikt uw eigen virtuele netwerk

• Bekijk Werkruimteresources beveiligen voor het als persoonlijk instellen van gerelateerde Azure Machine Learning-resources.

• Als u een strikte uitgaande regel hebt, moet u ervoor zorgen dat u de vereiste openbare internettoegang hebt geopend.

• Voeg het MSI-bestand Storage File Data Privileged Contributor van de werkruimte toe aan het opslagaccount dat is gekoppeld aan de werkruimte. Volg stap 2 in de beveiligde promptstroom met een beheerd virtueel netwerk in de werkruimte.

• Als u het serverloze rekentype in stroomcreatie gebruikt, moet u het aangepaste virtuele netwerk instellen op werkruimteniveau. Meer informatie over het beveiligen van een Azure Machine Learning-trainingsomgeving met virtuele netwerken

  serverless_compute:
    custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
    no_public_ip: false # Set to true if you don't want to assign public IP to the compute
  

• Ondertussen kunt u persoonlijke Azure Cognitive Services volgen om ze privé te maken.

• Als u een promptstroom wilt implementeren in de werkruimte die wordt beveiligd door uw eigen virtuele netwerk, kunt u deze implementeren in een AKS-cluster dat zich in hetzelfde virtuele netwerk bevindt. U kunt de deductieomgeving van Secure Azure Kubernetes Service volgen om uw AKS-cluster te beveiligen. Meer informatie over het implementeren van een promptstroom naar het ASK-cluster via code.

• U kunt een privé-eindpunt maken voor hetzelfde virtuele netwerk of peering van virtuele netwerken gebruiken om ze met elkaar te laten communiceren.

Bekende beperkingen

• AI Studio biedt geen ondersteuning voor Bring Your Own Virtual Network, maar biedt alleen ondersteuning voor het beheerde virtuele netwerk van de werkruimte.
• Beheerd online-eindpunt met geselecteerd uitgaand verkeer ondersteunt alleen werkruimten met beheerd virtueel netwerk. Als u uw eigen virtuele netwerk wilt gebruiken, hebt u mogelijk één werkruimte nodig voor promptstroomcreatie met uw virtuele netwerk en een andere werkruimte voor promptstroomimplementatie met behulp van een beheerd online-eindpunt met een beheerd virtueel netwerk.

Volgende stappen

• Resources voor beveiligde werkruimten
• Werkruimte-beheerd netwerkisolatie
• Deductieomgeving van Azure Kubernetes Service beveiligen
• Uw beheerde online-eindpunten beveiligen met netwerkisolatie
• Uw RAG-werkstromen beveiligen met netwerkisolatie