Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Note
Ce document fait référence au portail Microsoft Foundry (classique).
🔍 Consultez la documentation Microsoft Foundry (nouvelle) pour en savoir plus sur le nouveau portail.
Les modèles Microsoft Foundry incluent un catalogue complet de modèles organisés en deux catégories : les modèles vendus directement par Azure et models des partenaires et de la communauté. Les modèles des partenaires et de la communauté, que vous pouvez déployer sur le calcul managé, sont des modèles ouverts ou protégés. Dans cet article, vous apprendrez à utiliser des modèles protégés de partenaires et de la communauté, proposés via Azure Marketplace, pour le déploiement sur des ressources de calcul gérées avec facturation à l'utilisation.
Prerequisites
Un abonnement Azure avec un mode de paiement valide. Les abonnements gratuits ou d'essai Azure ne fonctionnent pas. Si vous n'avez pas d'abonnement Azure, créez un compte de Azure payant à commencer.
Si vous n'en avez pas, créez un hub project pour Foundry. Vous pouvez déployer sur une infrastructure informatique gérée à l’aide d’un projet central. Un project Foundry ne fonctionnera pas à cet effet.
Azure Marketplace achats activés pour votre abonnement Azure.
Les contrôles d'accès en fonction du rôle Azure (Azure RBAC) accordent l'accès aux opérations dans le portail Foundry. Pour effectuer les étapes décrites dans cet article, votre compte d’utilisateur doit être affecté à un rôle personnalisé avec les autorisations suivantes. Les comptes d’utilisateur affectés au rôle Owner ou Contributor pour l’abonnement Azure peuvent également créer des déploiements. Pour plus d'informations sur les autorisations, consultez le contrôle d'accès basé sur les rôles dans le portail Foundry.
Dans l’abonnement Azure : pour abonner l’espace de travail/project à l’offre de Azure Marketplace :
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceCommande/accords/offres/plans/signature/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Sur le groupe de ressources : pour créer et utiliser la ressource SaaS :
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
Sur l’espace de travail, pour déployer des points de terminaison :
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*
Étendue de l’abonnement et unité de mesure pour Azure Marketplace offre
Foundry offre une expérience d’abonnement et de transaction transparente pour les modèles protégés lorsque vous créez et consommez vos déploiements de modèles dédiés à grande échelle. Le déploiement de modèles protégés sur le calcul managé implique la facturation avec paiement à l’utilisation pour le client en deux dimensions :
- La facturation à l'heure de calcul Azure Machine Learning pour les machines virtuelles utilisées dans le déploiement.
- Facturation des surtaxes pour le modèle définie par l’éditeur sur l’offre Azure Marketplace.
La facturation à l'utilisation d'Azure pour le calcul et le supplément tarifaire de modèle est calculée au prorata par minute, basée sur le temps d’activité des déploiements en ligne gérés. La surcharge d'un modèle est un prix par heure GPU, définie par le partenaire (ou le publisher du modèle) sur Azure Marketplace, pour toutes les GPU prises en charge que vous pouvez utiliser pour déployer le modèle sur le calcul managé Foundry.
L'abonnement d'un utilisateur aux offres d'Azure Marketplace est limité à la ressource projet dans Foundry. Si un abonnement à l’offre Azure Marketplace pour un modèle particulier existe déjà dans le projet, l’utilisateur est informé dans l’Assistant de déploiement que l’abonnement existe déjà pour le projet.
Note
Pour NVIDIA inference microservices (NIM), plusieurs modèles sont associés à une seule offre du marché, donc vous n'avez besoin de vous abonner qu'une seule fois à l'offre NIM dans un projet pour pouvoir déployer tous les NIM proposés par NVIDIA dans le catalogue de modèles Foundry. Si vous souhaitez déployer des NIMs dans un autre projet sans abonnement SaaS existant, vous devez vous réinscrire à l’offre.
Pour rechercher tous les abonnements SaaS qui existent dans un abonnement Azure :
Connectez-vous au Azure portal et accédez à votre abonnement Azure.
Sélectionnez Subscriptions puis sélectionnez votre abonnement Azure pour ouvrir sa page de vue d’ensemble.
Sélectionnez Paramètres>Ressources pour afficher la liste des ressources.
Utilisez le filtre Type pour sélectionner le type de ressource SaaS.
La surcharge basée sur la consommation est envoyée à l’abonnement SaaS associé et facture l’utilisateur via Azure Marketplace. Vous pouvez afficher la facture sous l’onglet Vue d’ensemble de l’abonnement SaaS respectif.
S’abonner et déployer sur le calcul managé
Conseil / Astuce
Étant donné que vous pouvez personnaliser le volet gauche dans le portail Microsoft Foundry, vous pouvez voir différents éléments que ceux indiqués dans ces étapes. Si vous ne voyez pas ce que vous recherchez, sélectionnez ... Plus en bas du volet gauche.
-
Connectez-vous à Microsoft Foundry. Assurez-vous que l'interrupteur New Foundry est désactivé. Ces étapes font référence à Foundry (classique).
Si vous n'êtes pas déjà dans votre project, sélectionnez-le.
Sélectionnez Catalogue de modèles dans le volet gauche.
Filtrez la liste des modèles en sélectionnant la collection et le modèle de votre choix. Cet article utilise Cohere Command A dans la liste des modèles pris en charge pour l’illustration.
Dans la page du modèle, sélectionnez Utiliser ce modèle pour ouvrir l’Assistant Déploiement.
Si des options d’achat sont présentées, sélectionnez Calcul managé.
Si vous n’avez pas de quota dédié, cochez la case en regard de l’instruction : je souhaite utiliser le quota partagé et je reconnais que ce point de terminaison sera supprimé en 168 heures.
Choisissez parmi l’une des références SKU de machine virtuelle prises en charge pour le modèle. Vous devez avoir Azure Machine Learning quota de calcul pour cette référence SKU dans votre abonnement Azure.
Sélectionnez Personnaliser pour spécifier votre configuration de déploiement pour les paramètres tels que le nombre d’instances. Vous pouvez également sélectionner un point de terminaison existant pour le déploiement ou en créer un nouveau. Pour cet exemple, spécifiez un nombre d’instances de 1 et créez un point de terminaison pour le déploiement.
Sélectionnez Suivant pour passer à la page de répartition des prix .
Passez en revue la répartition des tarifs pour le déploiement, les conditions d'utilisation et le contrat de licence associés à l'offre du modèle sur Azure Marketplace. La répartition des prix vous indique la tarification agrégée du modèle déployé, où la surcharge pour le modèle est une fonction du nombre de GPU dans l’instance de machine virtuelle que vous avez sélectionnée dans les étapes précédentes. Outre la surcharge applicable pour le modèle, Azure frais de calcul s’appliquent également en fonction de votre configuration de déploiement. Si vous avez des réservations existantes ou un plan d’épargne Azure, la facture des frais de calcul respecte et reflète la tarification des machines virtuelles à tarif réduit.
Cochez la case pour confirmer que vous comprenez et acceptez les conditions d’utilisation. Ensuite, sélectionnez Déployer. Foundry crée votre abonnement à l’offre de la Place de marché, puis crée le déploiement du modèle sur un calcul managé. La fin du déploiement prend environ 15 à 20 minutes.
Consommer des déploiements
Après avoir correctement créé votre déploiement, procédez comme suit pour l’utiliser :
- Sélectionnez Models + Points de terminaison sous Ma ressources dans votre project Foundry.
- Sélectionnez votre déploiement dans l’onglet Déploiements de modèles .
- Accédez à l’onglet Test pour obtenir un exemple d’inférence au point de terminaison.
- Revenez à l’onglet Détails pour copier l’URI cible du déploiement, que vous pouvez utiliser pour exécuter l’inférence avec du code.
- Accédez à l’onglet Consommer du déploiement pour rechercher des exemples de code à des fins de consommation.
Isolement réseau des déploiements
Vous pouvez déployer des regroupements dans le catalogue de modèles au sein de vos réseaux isolés à l’aide d’un virtual network géré par l’espace de travail. Pour plus d’informations sur la configuration de vos réseaux managés d’espace de travail, consultez Configurer un virtual network managé pour autoriser le trafic sortant Internet.
Limitation
Un projet Foundry avec accès réseau public d'entrée désactivé ne peut prendre en charge qu’un seul déploiement actif de l'un des modèles protégés du catalogue. Les tentatives de création de déploiements plus actifs entraînent des échecs de déploiement.
Modèles pris en charge
Les sections suivantes répertorient les modèles pris en charge pour le déploiement de calcul géré avec facturation selon le modèle 'pay-as-you-go', regroupés par collection.
IA Boson
| Modèle | Tâche |
|---|---|
| Higgs-Audio-v2.5 | Génération audio |
Cohere
| Modèle | Tâche |
|---|---|
| Command A | Achèvement du chat |
| Embed v4 | Incorporations |
| Rerank v3.5 | Classification de texte |
| Cohere-rerank-v4.0-pro | réordonnancement de classification de texte |
| Cohere-rerank-v4.0-fast | réordonnancement de classification de texte |
Inception Labs
| Modèle | Tâche |
|---|---|
| Mercury | Achèvement de conversation, génération de texte, résumé |
NVIDIA
Les microservices d’inférence NVIDIA (NIM) sont des conteneurs que NVIDIA crée pour des modèles IA optimisés préentraînés et personnalisés servant sur des GPU NVIDIA. Vous pouvez déployer des cartes réseau NVIDIA disponibles sur le catalogue de modèles Foundry avec un abonnement Standard à l’offre SaaS NVIDIA NIM sur Azure Marketplace.
Voici quelques points spéciaux à noter à propos des NIM :
Les NIMs incluent un essai de 90 jours. La période d'essai s'applique à tous les NIMs associés à un abonnement SaaS particulier et commence dès la création de l'abonnement SaaS.
étendue des abonnements SaaS à un projet Foundry. Étant donné que plusieurs modèles sont associés à une seule offre de Azure Marketplace, vous devez vous abonner une seule fois à l'offre NIM au sein d'un project, puis vous pouvez déployer toutes les cartes réseau proposées par NVIDIA dans le catalogue de modèles Foundry. Si vous souhaitez déployer des modules d’interface réseau dans un autre projet sans abonnement SaaS existant, vous devez souscrire à nouveau à l’offre.
Consommer les déploiements NVIDIA NIM
Après avoir créé votre déploiement, suivez les étapes de l’utilisation des déploiements pour l’utiliser.
Les NIMs NVIDIA sur Foundry exposent une API compatible OpenAI. Consultez la référence de l’API pour en savoir plus sur la charge utile prise en charge. Le paramètre model pour les NIMs sur Foundry est défini par défaut dans le conteneur et n'est pas requis dans la charge utile de la requête pour votre point de terminaison en ligne. L’onglet Consommer du déploiement NIM sur Foundry inclut des exemples de code pour l’inférence avec l’URL cible de votre déploiement.
Vous pouvez également utiliser des déploiements NIM à l’aide du Foundry Models SDK, avec des limitations qui incluent :
- Aucune prise en charge de création et authentification de clients à l’aide de
load_client. - Vous devez appeler la méthode cliente
get_model_infopour retrieve model information.
Développer et exécuter des agents avec des points de terminaison NIM
Les NVIDIA NIMs suivants de type de tâche achèvements de chat dans le catalogue de modèles peuvent être utilisés pour créer et exécuter des agents en utilisant le service agent avec divers outils compatibles, avec les deux exigences supplémentaires suivantes :
- Créez une connexion serverless au projet en utilisant le point de terminaison NIM et la clé. L’URL cible du point de terminaison NIM dans la connexion doit être
https://<endpoint-name>.region.inference.ml.azure.com/v1/. - Définissez le paramètre model dans le corps de la demande pour qu'il ait la forme
https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below>, lors de la création et de l'exécution d'agents.
| NVIDIA NIM |
model valeur du paramètre |
|---|---|
| Llama-3.3-70B-Instruct-NIM-microservice | meta/llama-3.3-70b-instruct |
| Llama-3.1-8B-Instruct-NIM-microservice | meta/llama-3.1-8b-instruct |
| Mistral-7B-Instruct-v0.3-NIM-microservice | mistralai/mistral-7b-instruct-v0.3 |
Scanning de sécurité
NVIDIA garantit la sécurité et la fiabilité des images conteneur NVIDIA NIM grâce à l’analyse des vulnérabilités optimale, à la gestion rigoureuse des correctifs et aux processus transparents. Pour en savoir plus sur l’analyse de sécurité, consultez la page security. Microsoft travaille avec NVIDIA pour obtenir les derniers correctifs pour les modules intelligents de réseau afin de fournir des logiciels sécurisés, stables et de qualité industrielle au sein de Foundry.
Vous pouvez faire référence à la dernière heure mise à jour du NIM dans le volet droit de la page de vue d’ensemble du modèle. Vous pouvez redéployer pour exploiter la dernière version de NIM depuis NVIDIA, disponible sur Foundry.
IA Paige
| Modèle | Tâche |
|---|---|
| Virchow2G | Extraction de caractéristiques d’image |
| Virchow2G-Mini | Extraction de caractéristiques d’image |
Voyage IA
| Modèle | Tâche |
|---|---|
| voyage-3.5-embedding-model | Incorporations |