Clusters Big Data

Les clusters Big Data SQL Server 2019 sont la plateforme multicloud de données ouverte pour l’analytique à n’importe quelle échelle. Les clusters Big Data associeNT SQL Server à Apache Spark pour fournir les meilleurs moteurs de calcul disponibles pour l’analytique dans un déploiement simple et facile à utiliser. Avec ces moteurs, les clusters Big Data sont la plateforme de données idéale pour l’IA, ML, M/R, Streaming, BI, T-SQL et Spark. Fournis dans le cadre de la version de SQL Server 2019, les clusters Big Data sont une solution native cloud orchestrée par Kubernetes. Notre mission est d’accélérer, de ravir et de donner à nos utilisateurs la possibilité de se désaltérer pour les insights pilotés par les données. Le module complémentaire Clusters Big Data Microsoft SQL Server 2019 sera mis hors service. La prise en charge de la plateforme Clusters Big Data Microsoft SQL Server 2019 se terminera le 28 février 2025.

À propos des clusters Big Data

Architecture

• Options de Big Data sur la plateforme Microsoft SQL Server

Vue d’ensemble

• Présentation des clusters Big Data
• Questions fréquentes (FAQ) sur les clusters Big Data

Nouveautés

• Quoi de neuf

video

• Architecture &déploiement

Démarrage rapide

• Déployer
• Charger des données
• Exécuter un travail Spark

Charger des données

Guide pratique

• Virtualiser le fichier CSV
• Configurer la hiérarchisation HDFS
• Monter ADLS Gen2

Concept

• Ingestion de données - curl
• Ingestion de données - Restauration

Didacticiel

• Exemple de notebook à l’aide de Spark
• Ingérer des données dans un pool de données avec des travaux Spark
• Ingérer des données dans un pool de données avec T-SQL
• Charger des exemples de données

Big Data et ML

Concept

• ML Services
• Installer des outils de Big Data

Guide pratique

• Créer, exporter et noter des modèles Spark ML
• Gestion des bibliothèques Spark
• Sparklyr de RStudio
• Guide de diffusion en continu Spark
• Delta Lake

Didacticiel

• Exécuter un exemple de notebook avec Spark
• Interroger HDFS
• Interroger Oracle

Architecte

Architecture

• Déployer sur Kubernetes
• Ressources déployées
• Sécurité
• Configurer la hiérarchisation HDFS

Guide pratique

• Déployer
• Déployer sur AKS avec Notebook
• Configurer les paramètres de déploiement
• Configurer les paramètres après le déploiement
• Déployer hors connexion
• Déploiement de cluster privé
• Mise à niveau

Démarrage rapide

• Déployer sur Azure Kubernetes Service (AKS)
• Déployer sur Azure Red Hat OpenShift (ARO)
• Déploiement sur OpenShift

Didacticiel

• Configurer AKS pour les clusters Big Data
• Kubeadm
• Déployer avec une haute disponibilité
• Déployer en mode Active Directory

Administration et journalisation

Vue d’ensemble

• Ressources d'administration

Concept

• Surveiller le cluster avec Grafana
• Visualiser les journaux avec Kibana
• Notebooks de surveillance de cluster

Didacticiel

• Surveiller l’état du cluster
• Surveiller avec azdata et kubectl

Guide pratique

• Gérer (tableau de bord du contrôleur)
• Résoudre les problèmes de cluster
• Résoudre les problèmes Active Directory
• Résoudre les problèmes HDFS

Sûr

Vue d’ensemble

• Sécurité
• Contrôle RBAC Kubernetes
• Chiffrement au repos

Guide pratique

• Connectez-vous
• Se connecter en mode AD
• Déployer - Active Directory
• Gérer les autorisations HDFS
• Rotation du mot de passe AD

Didacticiel

• Guide d’utilisation des zones de chiffrement HDFS
• Guide d’utilisation de TDE

Technologies connexes

Référence

• Bien démarrer avec Kubernetes
• Résoudre les problèmes liés à Kubernetes
• Apache Spark

Ressources associées

Référence

• Partenaires d’intégration
• Apache Spark
• Exemples (GitHub)
• Partenaires de solutions

Entrainement

• Présentation de Kubernetes
• Systèmes de fichiers distribués (DFS)
• Introduction à Python
• Atelier d’architecture des clusters Big Data