Isolement réseau dans le flux d’invite

Article
04/17/2024

Vous pouvez sécuriser le flux d’invite à l’aide de réseaux privés. Cet article explique les conditions requises pour utiliser le flux rapide dans un environnement sécurisé par des réseaux privés.

Services impliqués

Lorsque vous développez votre application LLM à l’aide du flux d’invite, vous voulez un environnement sécurisé. Vous pouvez rendre les services suivants privés via le paramètre réseau.

Espace de travail : vous pouvez rendre l’espace de travail Azure Machine Learning privé et en limiter le trafic entrant et sortant.
Ressource de calcul : vous pouvez également limiter la règle entrante et sortante de la ressource de calcul dans l’espace de travail.
Compte de stockage : vous pouvez limiter l’accessibilité du compte de stockage à un réseau virtuel spécifique.
Registre de conteneurs : vous voulez aussi sécuriser votre registre de conteneurs avec un réseau virtuel.
Point de terminaison : vous voulez limiter les services Azure ou l’adresse IP qui accèdent à votre point de terminaison.
Pour les services Azure Cognitive Services associés, comme Azure OpenAI, Sécurité du contenu Azure et Azure AI Recherche, vous pouvez utiliser la configuration réseau pour les rendre privés, puis utiliser un point de terminaison privé pour permettre aux services Azure Machine Learning de communiquer avec eux.
Autres ressources non-Azure, telles que SerpAPI, etc. Si vous avez une règle de trafic sortant stricte, vous devez ajouter une règle FQDN pour y accéder.

Options des différentes configurations réseau

Dans Azure Machine Learning, nous avons deux options pour sécuriser l’isolement réseau : importer votre propre réseau ou utiliser un réseau virtuel managé d’espace de travail. En savoir plus sur Sécuriser les ressources d’espace de travail.

Voici un tableau illustrant les options de différentes configurations réseau pour le flux de prompt.

Entrée	Sortie	Type de calcul dans la création	Type de calcul dans l’inférence	Options réseau pour l’espace de travail
///Public	///Public	Serverless (recommandé), instance de calcul	Point de terminaison en ligne managé (recommandé), point de terminaison en ligne K8s	Managé (recommandé) /Apporter le vôtre
Privé	Public	Serverless (recommandé), instance de calcul	Point de terminaison en ligne managé (recommandé), point de terminaison en ligne K8s	Managé (recommandé) /Apporter le vôtre
///Public	Privée	Serverless (recommandé), instance de calcul	Point de terminaison en ligne managé	Gérée
Privée	Privée	Serverless (recommandé), instance de calcul	Point de terminaison en ligne managé	Gérée

Dans un scénario de VNet privé, nous vous recommandons d’utiliser le réseau virtuel managé avec espace de travail. Il s’agit du moyen le plus simple de sécuriser votre espace de travail et les ressources associées.
Vous pouvez aussi avoir un espace de travail pour la création du flux de prompt avec votre réseau virtuel et un autre espace de travail pour le déploiement du flux de prompt en utilisant un point de terminaison en ligne managé avec un réseau virtuel managé d’espace de travail.
Nous n’avons pas pris en charge l’utilisation mixte d’un réseau virtuel managé et de l’importation de votre propre réseau virtuel dans un seul espace de travail. De plus, comme le point de terminaison en ligne managé prend en charge uniquement le réseau virtuel managé, vous ne pouvez pas déployer le flux de prompt sur un point de terminaison en ligne managé dans l’espace de travail qui a activé l’importation de votre propre réseau virtuel.

Sécuriser le flux des demandes grâce à un réseau virtuel géré par l'espace de travail

Le réseau virtuel géré par Workspace est le moyen recommandé pour prendre en charge l’isolation du réseau dans un flux d’invite. Il fournit une configuration facile pour sécuriser votre espace de travail. Une fois que vous avez activé le réseau virtuel managé au niveau de l’espace de travail, les ressources liées à l’espace de travail dans le même réseau virtuel utilisent le même paramètre réseau au niveau de l’espace de travail. Vous pouvez également configurer l’espace de travail pour utiliser un point de terminaison privé permettant d’accéder à d’autres ressources Azure, telles qu’Azure OpenAI, Sécurité du contenu Azure et Azure AI Recherche. Vous pouvez également configurer une règle FQDN pour approuver le trafic sortant vers des ressources non-Azure utilisées par votre flux d’invite, telles que SerpAPI, etc.

Suivez les isolations de réseau gérées de l’espace de travail pour activer le réseau virtuel géré par l’espace de travail.

Important

La création du réseau virtuel managé est différée jusqu’à ce qu’une ressource de calcul soit créée ou que le provisionnement soit démarré manuellement. Vous pouvez utiliser la commande suivante pour déclencher manuellement l’approvisionnement réseau.
```
az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>
```
Ajoutez le MSI d’espace de travail en tant que Storage File Data Privileged Contributor au compte de stockage lié à l’espace de travail.

2.1 Accédez au portail Azure et recherchez l’espace de travail.

2.2 Recherchez le compte de stockage lié à l’espace de travail.

2.3 Accédez à la page d’attribution de rôles du compte de stockage.

2.4 Recherchez le rôle de contributeur privilégié aux données de fichier de stockage.

2.5 Attribuez le rôle de contributeur privilégié aux données de fichier de stockage à l’identité managée de l’espace de travail.

Remarque

Cette opération risque de prendre plusieurs minutes.
Si vous souhaitez communiquer avec Azure Cognitive Services privé, vous devez ajouter des règles de trafic sortant définies par l’utilisateur associées à la ressource associée. L’espace de travail Azure Machine Learning crée un point de terminaison privé dans la ressource associée avec approbation automatique. Si l’état est bloqué en attente, accédez à la ressource associée pour approuver manuellement le point de terminaison privé.
Si vous limitez le trafic sortant pour autoriser uniquement des destinations spécifiques, vous devez ajouter une règle de trafic sortant définie par l’utilisateur correspondante pour autoriser le nom de domaine complet approprié.
Dans les espaces de travail qui activent le réseau virtuel managé, vous pouvez déployer uniquement le flux d’invites sur un point de terminaison en ligne managé. Vous pouvez consulter l’article Sécuriser vos points de terminaison en ligne managés avec l’isolation réseau pour sécuriser votre point de terminaison en ligne managé.

Flux d’invite sécurisé utilisent votre propre réseau virtuel

Pour configurer des ressources associées à Azure Machine Learning comme privées, consultez Ressources d’espace de travail sécurisées.
Si vous avez une règle de trafic sortant stricte, vérifiez que vous avez ouvert l’accès à l’Internet public requis.
Ajoutez le MSI d’espace de travail en tant que Storage File Data Privileged Contributor au compte de stockage lié à l’espace de travail. Suivez l’étape 2 dans Sécuriser le flux d’invites avec le réseau virtuel managé d’un espace de travail.
Si vous utilisez un type de calcul serverless dans la création de flux, vous devez définir le réseau virtuel personnalisé au niveau de l’espace de travail. Apprendre à Sécuriser un environnement d’entraînement Azure Machine Learning à l’aide de réseaux virtuels
```
serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: false # Set to true if you don't want to assign public IP to the compute
```
Pendant ce temps, vous pouvez suivre Azure Cognitive Services privés pour les rendre privés.
Si vous souhaitez déployer le flux d’invite dans un espace de travail sécurisé par votre propre réseau virtuel, vous pouvez le déployer sur un cluster AKS qui se trouve dans le même réseau virtuel. Vous pouvez suivre Sécuriser un environnement d’inférence Azure Kubernetes Service pour sécuriser votre cluster AKS. En savoir plus sur Comment déployer le flux d’invite sur le cluster ASK via le code.
Vous pouvez créer un point de terminaison privé sur le même réseau virtuel ou tirer parti du peering de réseaux virtuels pour les faire communiquer entre eux.

Limitations connues

AI studio ne prend pas en charge le réseau virtuel apportez votre propre réseau, il ne prend en charge que le réseau virtuel géré par l'espace de travail.
Le point de terminaison en ligne managé avec la sortie sélectionnée prend uniquement en charge l’espace de travail avec un réseau virtuel managé. Si vous souhaitez utiliser votre propre réseau virtuel, vous aurez peut-être besoin d’un espace de travail pour la création de flux d’invite avec votre réseau virtuel et d’un autre espace de travail pour le déploiement de flux d’invite à l’aide d’un point de terminaison en ligne managé avec un réseau virtuel géré par l’espace de travail.

Partager via