Fonctionnalités de science des données et de machine learning d’Azure Databricks

Azure Databricks dispose d’une plateforme unifiée pour le cycle de vie complet de la science des données (DS) et du Machine Learning (ML), à partir de l’ingestion de données brutes par le biais de l’ingénierie des fonctionnalités, de l’entraînement des modèles, du déploiement et de la supervision de production. Azure Databricks s’intègre à des frameworks ML open source populaires, en ajoutant une gouvernance de niveau entreprise, une observabilité et des outils opérationnels, collectivement appelés MLOps.

Cette page répertorie les principales fonctionnalités DS et ML, organisées par étape de flux de travail.

Analyse exploratoire des données

Azure Databricks simplifie l’analyse exploratoire des données (EDA) en fournissant des outils interactifs, collaboratifs et assistés par l’IA pour les scientifiques des données. Les scientifiques des données peuvent explorer les données à l’aide de conversation en langage naturel, d’interfaces utilisateur ou de code, et ils peuvent collaborer à l’aide de la co-édition en temps réel et du partage de code basé sur Git. Genie Code peut effectuer une EDA entièrement automatisée ou agir en tant qu’assistant interactif.

Category	Fonctionnalités
Interface utilisateur	Les notebooks fournissent des espaces de collaboration pour l’exploration, la visualisation et la documentation pour EDA. Les tableaux de bord fournissent sql et EDA basé sur la visualisation. Genie Chat dispose d’une interface en langage naturel pour poser des questions sur les données.
Collaboration	Les blocs-notes, les tableaux de bord et d’autres ressources d’espace de travail sont tous partageables et régis par les autorisations de l’espace de travail. Consultez l’exemple Collaborer à l’aide de notebooks Databricks. Les notebooks et les dossiers Git autorisent le contrôle de version et la collaboration basés sur Git.
Assistants IA	Genie Code peut effectuer une EDA entièrement automatisée ou agir en tant qu’assistant interactif. Les compétences de l’agent pour les assistants de codage IA augmentent les performances des assistants tiers écrivant du code pour Azure Databricks.

Préparer et déployer des fonctionnalités

Azure Databricks simplifie les données pour ML en unifiant la gouvernance des données et des charges de travail ML. Avec toutes les données gérées sous Le catalogue Unity avec des contrôles d’accès affinés, vous pouvez ajuster l’ingénierie des données et les limites ml pour qu’elles correspondent à votre organisation. Les données peuvent être préparées pour le ML à l’aide de n’importe quels outils d’ingénierie des données, tels que les pipelines Lakeflow. Les fonctionnalités sont gérées dans un Magasin de fonctionnalités pour le traitement par lots et en temps réel, avec une source unique et régie de vérité pour les fonctionnalités.

Genie Code accélère la découverte et la préparation des données en parcourant le catalogue Unity pour découvrir les tables pertinentes, suggérer des transformations de fonctionnalités et générer du code pour l’ingestion et les pipelines de fonctionnalités.

Type de fonctionnalité	Fonctionnalités
Fonctionnalités par lot	Les tables de fonctionnalités du catalogue Unity stockent les fonctionnalités de traitement par lots précomputées avec traçabilité et gouvernance automatiques. Teams découvre et réutilise les fonctionnalités existantes plutôt que de reconstruire des pipelines à partir de zéro. Les vues de fonctionnalités fournissent une nouvelle API pour définir des fonctionnalités qui peuvent ensuite être utilisées pour le calcul des fonctionnalités en temps réel ou par lots.
Fonctionnalités en temps réel	Pour les variables précalculées, les magasins de variables en ligne fournissent des tables de variables pour les cas d’usage de mise en production de modèles en temps réel. Lorsque les entrées de caractérisation sont disponibles uniquement au moment du service, le service de fonctionnalités dispose d’un calcul de fonctionnalités à la demande pour compléter les tables de fonctionnalités. Les fonctionnalités sont définies en tant que fonctions, plutôt que précomputées. Les vues de fonctionnalités fournissent une nouvelle API pour définir des fonctionnalités qui peuvent ensuite être utilisées pour le calcul des fonctionnalités en temps réel ou par lots.
Données non structurées	La recherche IA permet de traiter des données non structurées et d’exécuter la recherche sémantique.

Entraîner des modèles ML

Azure Databricks dispose d’outils flexibles pour l’apprentissage des modèles ML et Deep Learning. Les environnements préconfigurés et personnalisables vous permettent d’utiliser des bibliothèques de machine learning personnalisées, tandis que des ressources de calcul sans serveur accélérées par CPU et GPU vous permettent d’augmenter les capacités et de mettre à l’échelle horizontalement à la demande. Genie Code fournit un AutoML intelligent, qui prend en charge les requêtes en langage naturel et génère des workflows multi-notebooks complets pour la création de variables, l’entraînement, l’optimisation, l’évaluation et le déploiement.

Category	Fonctionnalités
Types d’apprentissage automatique	Azure Databricks prend en charge tous les types de ML, notamment : ML classique : Apprentissage supervisé et non supervisé avec scikit-learn, XGBoost, LightGBM, Apache Spark MLlib et d’autres frameworks ML Apprentissage profond : entraînement de réseaux neuronaux avec PyTorch, TensorFlow et Hugging Face Transformers, y compris l’entraînement distribué sur plusieurs GPU Réglage des hyperparamètres : recherche automatisée entre les espaces d’algorithme et d’hyperparamètres à l’aide d’outils tels que Optuna et Ray Pour l’IA générative, consultez Azure Databricks fonctionnalités d’IA génératives.
Compute	Le calcul sans serveur démarre instantanément pour les notebooks interactifs et les flux de travail planifiés, avec une mise à l’échelle automatique et sans gestion de cluster. Il prend en charge les clusters processeur et GPU accélérés. Le calcul classique inclut la gestion des machines uniques et des clusters, pour les charges de travail CPU et GPU.
Environnements et bibliothèques	Les environnements de calcul serverless fournissent des environnements de base qui peuvent être entièrement personnalisés pour ML. Pour le calcul GPU serverless, AI Runtime fournit des environnements préconfigurés pour l’apprentissage et l’inférence basés sur GPU. Pour le calcul classique, Databricks Runtime pour Machine Learning fournit des environnements de cluster préconfigurés avec des bibliothèques ML majeures préinstallées et testées ensemble, pour les clusters à accélération PROCESSEUR et GPU.
Assistants de codage IA	Genie Code peut découvrir les données du catalogue Unity, générer des notebooks ML et résoudre les problèmes de pipelines. Les compétences de l’agent pour les assistants de codage IA augmentent les performances des assistants tiers écrivant du code pour Azure Databricks.

Suivre et gérer des expériences

Azure Databricks-managed MLflow fournit la base du développement ML reproductible et auditable. Ses intégrations avec Unity Catalog et Git fournissent un suivi et une traçabilité pour les ressources de données et de code. Chaque version de modèle dans le registre est reliée à l’exécution d’entraînement, au jeu de données, à l’environnement et au commit Git qui l’ont produite, ce qui fournit une piste d’audit complète pour tout modèle déployé.

Category	Fonctionnalités
Suivi des expériences	MLflow tracking enregistre les paramètres, les métriques et les artefacts pour chaque exécution d’entraînement. Comparez les exécutions dans l’interface utilisateur MLflow pour identifier la configuration la plus performante.
Registre de modèles	Les modèles du catalogue Unity fournissent un registre de modèles MLflow intégré au catalogue Unity. Les artefacts de modèle versionnés sont gérés à l’aide d’alias de cycle de vie (Staging, Production), d’un contrôle d’accès, du lignage et du partage inter-espaces de travail.
Reproductibilité	Les notebooks et le code peuvent être versionnés à l’aide de dossiers Git Databricks et intégrés avec n’importe quel fournisseur Git.

Déployer et servir des modèles

Azure Databricks prend en charge l’inférence par lots et le service en temps réel. L’inférence par lots applique efficacement des modèles à des jeux de données volumineux, tandis que le service en temps réel fournit des modèles en tant que points de terminaison d’API à faible latence. Genie Code peut générer du code pour le déploiement de modèle et diagnostiquer les problèmes et les performances pour les points de terminaison de service de modèle.

Schéma de desserte	Fonctionnalités
Inférence par lots	ai_query fournit une inférence par lots efficace pour les modèles personnalisés déployés en tant que points de terminaison de mise en service de modèles. Vous pouvez également utiliser du code personnalisé avec des UDF Apache Spark (exemple) ou mlflow.pyfunc pour effectuer de l’inférence par lots.
Service en temps réel	Model Serving fournit des points de terminaison REST gérés à faible latence et à haute disponibilité, avec mise à l’échelle automatique sans serveur. Cela prend en charge le service CPU et GPU pour n’importe quelle infrastructure ML, et vous pouvez utiliser Genie pour évaluer et dépanner les points de terminaison de mise en service.
Inférence native SQL	Les fonctions IA fournissent des prédictions ML accessibles à SQL pour la prévision, la détection des anomalies et l’analyse des pilotes, sans Python ni déploiement de modèle requis. Pour les modèles personnalisés, la fonction d’IA ai_query fournit une inférence par lots efficace, prise en charge par les points de terminaison de diffusion de modèles.

Évaluer et surveiller

Azure Databricks fournit une évaluation flexible pour la formation et la surveillance continue de la production. Les journaux de service en temps réel vers des tables d’inférence régies dans Unity Catalog, ainsi que la surveillance de la qualité des données, offrent une surveillance avec des métriques, des tableaux de bord et des alertes personnalisés.

Category	Fonctionnalités
Evaluation	L’évaluation MLflow ML peut être utilisée pour définir des métriques pour se connecter à MLflow, ou le suivi MLflow peut journaliser les métriques calculées à l’aide de votre infrastructure personnalisée. Genie Code peut aider à sélectionner des métriques d’évaluation et à écrire du code d’évaluation.
Journalisation des prédictions	Les tables d’inférence consignent les requêtes et les réponses du service, permettant la surveillance, l’analyse et la création de jeux de données d’entraînement.
Surveillance et alertes	La surveillance de la qualité des données suit la qualité des données, la dérive et les métriques personnalisées, avec la détection d’anomalies intégrée et le profilage des données. La surveillance de la qualité des données fournit une interface utilisateur de surveillance et vous pouvez créer des tableaux de bord personnalisés à partir de tables de surveillance. Vous pouvez configurer des alertes de détection d’anomalies afin de faire remonter rapidement les incidents.

MLOps et gouvernance

Azure Databricks fournit une suite complète d’outils pour les opérations ML (MLOps) et la gouvernance. MLOps Stacks fournit des modèles permettant d’activer la promotion automatisée et reproductible du développement à la production à l’aide de l’infrastructure en tant que code. Les données, les fonctionnalités, les modèles et les points de terminaison sont entièrement régies par unity Catalog et AI Gateway.

Category	Fonctionnalités
CI/CD pour le machine learning	MLOps Stacks, basés sur des bundles d’automatisation déclaratifs, permettent la gestion et le déploiement par le code de l’infrastructure ML et des flux de travail. Cela inclut des modèles CI/CD pour automatiser l’apprentissage, l’évaluation et le déploiement.
Orchestration de flux de travail	Lakeflow Jobs permet d’orchestrer des workflows d’apprentissage automatique en plusieurs étapes sous forme de pipelines planifiés ou déclenchés.
Gouvernance des ressources de données et de modèle	Unity Catalog fournit une gouvernance unifiée pour les données, les fonctionnalités et les modèles inscrits. Les contrôles d’accès affinés, le suivi de traçabilité et les journaux d’audit s’appliquent à toutes les ressources.
Gouvernance des points de terminaison de modèle	AI Gateway fournit une gouvernance centralisée et une surveillance pour les points de terminaison de modèle, notamment les limites de débit, le suivi de l’utilisation et la journalisation des charges utiles.

Prise en charge open source

Azure Databricks offre une prise en charge complète de l’écosystème ML open source.

Vous pouvez utiliser n’importe quelle infrastructure ML open source sur Azure Databricks : scikit-learn, XGBoost, LightGBM, PyTorch, TensorFlow, Hugging Face Transformers, Ray, etc. MLflow ou vos outils personnalisés peuvent stocker des artefacts de modèle dans des formats ouverts qui peuvent être exportés et exécutés en dehors de Azure Databricks.

MLflow est open source, créé par Azure Databricks et utilisé par 10 000 organisations. Vos données de suivi des expériences, artefacts de modèle et définitions de pipeline sont stockées dans des formats ouverts.

La gouvernance des données et de l’IA repose sur les API du catalogue Unity open source et le stockage des données est basé sur le format Delta Lake ouvert. Vos données de fonctionnalité et jeux de données d’apprentissage restent dans des fichiers ouverts et portables.

Ressources supplémentaires

• Apprentissage automatique sur Azure Databricks
• Open source et MLflow managé sur Azure Databricks