Introduction
Dans ce module, nous abordons deux systèmes de fichiers DFS : HDFS (Hadoop Distributed File System) et Ceph FS. HDFS et Ceph FS sont tous les deux conçus comme des systèmes de fichiers pour le Big Data, mais ils présentent des différences subtiles. D’une part, HDFS est conçu pour les fichiers volumineux avec une sémantique « write-once, read-many » (écriture unique, lecture multiple). D’autre part, Ceph FS est conçu comme un système de fichiers DFS universel qui peut être utilisé pour une variété d’applications déployées sur un cluster virtualisé. Ceph FS est un système de fichiers superposé en couches sur un magasin d’objets distribué. Ce module développe certains des choix de conception retenus par les développeurs de ces systèmes de fichiers pour leurs applications cibles.
Objectifs d’apprentissage
Dans ce module, vous allez :
- Passer en revue les objectifs de conception et les caractéristiques architecturales du système de fichiers DFS Hadoop (HDFS, Hadoop Distributed File System)
- Passer en revue les objectifs de conception et les caractéristiques architecturales du système de fichiers Ceph (Ceph FS, Ceph File System)
- Comparer les systèmes de fichiers HDFS et Ceph
Prérequis
- Comprendre ce qu’est le cloud computing, notamment les modèles de service cloud et les fournisseurs de cloud courants
- Connaître les technologies de cloud computing
- Comprendre comment les fournisseurs de services cloud paient et facturent le cloud
- Savoir ce que sont les centres de données et pourquoi ils existent
- Savoir comment les centres de données sont configurés, alimentés et provisionnés
- Comprendre comment les ressources cloud sont provisionnées et mesurées.
- Être familiarisé avec le concept de virtualisation.
- Connaître les différents types de virtualisation.
- Comprendre la virtualisation des processeurs.
- Comprendre la virtualisation de la mémoire.
- Comprendre la virtualisation des E/S
- Connaître les différents types de données et la façon dont elles sont stockées.