Surveillance renforcée de la sécurité

Cet article présente la fonctionnalité de monitoring de sécurité avancé et explique comment la configurer sur votre espace de travail ou votre compte Azure Databricks.

Si vous activez cette fonctionnalité, vous serez facturé pour le module complémentaire Sécurité et conformité avancées, comme décrit dans la page de tarification.

Vue d’ensemble du monitoring de sécurité avancé

Le monitoring de sécurité avancé Azure Databricks fournit une image disque renforcée et avancée et des agents de monitoring de sécurité supplémentaires qui génèrent des lignes de journal que vous pouvez consulter en utilisant des journaux de diagnostic.

Les améliorations de sécurité s’appliquent uniquement aux ressources de calcul dans le plan de calcul classique, telles que les clusters et les entrepôts SQL non serverless.

Les ressources du plan de calcul serverless, telles que les entrepôts SQL serverless, ne bénéficient pas d’un monitoring supplémentaire quand le monitoring de sécurité renforcée est activé.

Remarque

La plupart des types instance Azure sont pris en charge, mais les machines virtuelles de génération 2 (Gen2) et Arm64 ne sont pas prises en charge. Azure Databricks n’autorise pas le démarrage du calcul avec ces types d’instances quand le monitoring de sécurité renforcée est activé.

Le monitoring de sécurité avancé inclut :

• Une image renforcée et améliorée du système d’exploitation basée sur Ubuntu Advantage.

  Ubuntu Advantage est un package de sécurité d’entreprise et de prise en charge de l’infrastructure open source et d’applications qui inclut une image renforcée cis level 1.

• Agent de surveillance antivirus qui génère des journaux que vous pouvez consulter.

• Agent de surveillance de l’intégrité des fichiers qui génère des journaux que vous pouvez consulter.

Surveillance des agents dans les images de plan de calcul Azure Databricks

Bien que le monitoring de sécurité avancé soit activé, il existe d’autres agents de monitoring de sécurité, notamment deux agents préinstallés dans l’image du plan de calcul amélioré. Vous ne pouvez pas désactiver les agents de surveillance qui se trouvent dans l’image disque du plan de calcul amélioré.

Agent de surveillance	Emplacement	Description	Comment obtenir la sortie
Monitoring d’intégrité de fichier	Image du plan de calcul amélioré	Surveille les violations des limites de sécurité et d’intégrité des fichiers. Cet agent de surveillance s’exécute sur la machine virtuelle worker de votre cluster.	Activez la table système du journal d’audit et passez en revue les journaux correspondant aux nouvelles lignes.
Détection des antivirus et des programmes malveillants	Image du plan de calcul amélioré	Analyse quotidiennement le système de fichiers à la recherche de virus. Cet agent de surveillance s’exécute sur les machines virtuelles de vos ressources de calcul, telles que les clusters et les entrepôts SQL professionnels ou classiques. L’agent de détection des antivirus et des programmes malveillants analyse l’ensemble du système de fichiers du système d’exploitation hôte et le système de fichiers du conteneur Databricks Runtime. Tout ce qui se trouve en dehors des machines virtuelles du cluster est en dehors de son étendue d’analyse.	Activez la table système du journal d’audit et passez en revue les journaux correspondant aux nouvelles lignes.
Analyse des vulnérabilités	L’analyse se produit dans des images représentatives dans les environnements Azure Databricks.	Analyse l’hôte de conteneur (machine virtuelle) à la recherche de certaines vulnérabilités connues et DVC.	Demandez des rapports d’analyse sur l’image à votre équipe de compte Azure Databricks.

Vous pouvez redémarrer vos clusters pour obtenir les dernières versions des agents de surveillance. Si votre espace de travail utilise la mise à jour automatique des clusters, les clusters sont redémarrés par défaut si nécessaire pendant les fenêtres de maintenance planifiées. Si le profil de sécurité de conformité est activé sur un espace de travail, la mise à jour automatique du cluster est activée de façon permanente sur cet espace de travail.

Monitoring d’intégrité de fichier

L’image du plan de calcul amélioré inclut un service de surveillance de l’intégrité des fichiers qui fournit une visibilité d’exécution et une détection des menaces pour les ressources de calcul (Workers de cluster) dans le plan de calcul classique de votre espace de travail.

La sortie du moniteur d’intégrité des fichiers est générée dans vos journaux d’audit, auxquels vous pouvez accéder avec les tables système. Consultez Monitorer l’utilisation avec des tables système. Pour obtenir le schéma JSON des nouveaux événements pouvant être audités qui sont propres à la surveillance de l’intégrité des fichiers, consultez Événements de surveillance de l’intégrité des fichiers.

Important

Il vous incombe de passer en revue ces journaux. Databricks peut, à sa seule discrétion, examiner ces journaux, mais ne s’engage pas à le faire. Si l’agent détecte une activité malveillante, il est de votre responsabilité de trier ces événements et d’ouvrir un ticket de support auprès de Databricks si la résolution ou la correction nécessite une action de la part de Databricks. Databricks peut prendre des mesures sur la base de ces journaux, y compris suspendre ou arrêter les ressources, mais ne s’engage pas à le faire.

Détection des antivirus et des programmes malveillants

L’image du plan de calcul améliorée comprend un moteur antivirus pour détecter les chevaux de Troie, les virus, les programmes malveillants et d’autres menaces malveillantes. Le moniteur antivirus analyse l’ensemble du système d’exploitation hôte et le système de fichiers du conteneur Databricks Runtime. Tout ce qui se trouve en dehors des machines virtuelles du cluster est en dehors de son étendue d’analyse.

La sortie du moniteur antivirus est générée dans des journaux d’audit, auxquels vous pouvez accéder avec les tables système (préversion publique). Pour obtenir le schéma JSON des nouveaux événements auditables spécifiques à la surveillance antivirus, consultez Événements de surveillance antivirus.

Lorsqu’une nouvelle image de machine virtuelle est générée, les fichiers de signature mis à jour y sont inclus.

Important

Il vous incombe de passer en revue ces journaux. Databricks peut, à sa seule discrétion, examiner ces journaux, mais ne s’engage pas à le faire. Si l’agent détecte une activité malveillante, il est de votre responsabilité de trier ces événements et d’ouvrir un ticket de support auprès de Databricks si la résolution ou la correction nécessite une action de la part de Databricks. Databricks peut prendre des mesures sur la base de ces journaux, y compris suspendre ou arrêter les ressources, mais ne s’engage pas à le faire.

Lorsqu’une nouvelle image AMI est générée, les fichiers de signature mis à jour sont inclus dans la nouvelle image AMI.

Analyse des vulnérabilités

Un agent de surveillance des vulnérabilités effectue des analyses de vulnérabilité de l’hôte de conteneur (machine virtuelle) pour certains CVC connus. L’analyse se produit dans des images représentatives dans les environnements Azure Databricks. Vous pouvez demander les rapports d’analyse des vulnérabilités à votre équipe de compte Azure Databricks.

Lorsque des vulnérabilités sont détectées avec cet agent, Databricks les suit par rapport à son contrat SLA de Gestion des vulnérabilités et publie une image mise à jour lorsqu’elle est disponible.

Gestion et mise à niveau des agents de surveillance

Les agents de monitoring supplémentaires qui se trouvent sur les images de disque utilisées pour les ressources de calcul dans le plan de calcul classique font partie du processus Azure Databricks standard pour la mise à niveau des systèmes :

• L’image de disque de base (AMI) du plan de calcul classique est détenue, mangée et corrigée par Databricks.
• Databricks fournit et applique des correctifs de sécurité en publiant de nouvelles images de disque AMI. Le calendrier de livraison dépend des nouvelles fonctionnalités et du contrat SLA pour les vulnérabilités découvertes. La livraison classique est toutes les deux à quatre semaines.
• Le système d’exploitation de base pour le plan de calcul est Ubuntu Advantage.
• Les clusters Azure Databricks et les entrepôts SQL professionnels ou classiques sont éphémères par défaut. Au lancement, les clusters et les entrepôts SQL professionnels ou classiques utilisent la dernière image de base disponible. Les versions antérieures qui peuvent présenter des failles de sécurité ne sont pas disponibles pour les nouveaux clusters.
  • Vous êtes responsable du redémarrage régulier des clusters (à l’aide de l’interface utilisateur ou de l’API) pour vous assurer qu’ils utilisent les dernières images de machine virtuelle hôte corrigées.

Surveiller l’arrêt de l’agent

Si un agent de surveillance sur la machine virtuelle de travail ne s’exécute pas en raison d’un blocage ou d’un autre arrêt, le système tente de redémarrer l’agent.

Stratégie de conservation des données pour les données de l’agent de surveillance

Les journaux de surveillance sont envoyés à la table système du journal d’audit dans votre propre stockage de votre abonnement Azure si vous avez configuré les journaux de diagnostic. La conservation, l’ingestion et l’analyse de ces journaux sont de votre responsabilité.

Les rapports et journaux d’analyse des vulnérabilités sont conservés pendant au moins un an par Databricks. Vous pouvez demander des rapports des vulnérabilités à votre équipe de compte Azure Databricks.

Activer la surveillance renforcée de la sécurité Azure Databricks

• Votre espace de travail Azure Databricks doit être au plan Premium.

Pour activer le monitoring de sécurité avancé sur un espace de travail, consultez Utiliser le Portail Azure pour activer les paramètres d’un nouvel espace de travail.

Les mises à jour peuvent prendre jusqu’à six heures pour se propager à tous les environnements et aux systèmes en aval tels que la facturation. Les charges de travail qui s’exécutent activement continuent avec les paramètres actifs au moment du démarrage du cluster ou d’une autre ressource de calcul, et les nouveaux paramètres commenceront à s’appliquer la prochaine fois que ces charges de travail seront démarrées.