Ingénierie des données avec Databricks

Databricks fournit un ensemble complet de fonctionnalités d’ingénierie des données qui incluent un environnement robuste pour la collaboration entre les scientifiques des données, les ingénieurs et les analystes. Au centre, il s’agit des pipelines qui ingèrent et transforment les données. Pour faciliter l’ingénierie des pipelines les plus efficaces, Databricks offre Structured Streaming et Delta Live Tables. Consultez Streaming sur Azure Databricks et Qu’est-ce que Delta Live Tables ?.

Pour obtenir une vue d’ensemble de la raison pour laquelle le traitement incrémentiel des données fournies par Structured Streaming et Delta Live Tables est la meilleure option pour les pipelines de données, consultez Pourquoi le traitement incrémentiel des flux ?.

Ressources d’ingénierie de données supplémentaires

Databricks fournit des fonctionnalités pour les tâches d’ingénierie des données pour de nombreux scénarios supplémentaires :

• Les notebooks Databricks sont un outil populaire pour la collaboration.
• Planifiez et orchestrez vos flux de travail à l’aide de Travaux Databricks.
• Consultez Databricks Mosaic AI si vous concevez des solutions Machine Learning.

Remarque

Si vous utilisez principalement des requêtes SQL et des outils décisionnels, consultez Databricks SQL.

Pour obtenir des didacticiels de prise en main et une introduction en forme, consultez Prise en main d’Azure Databricks et Présentation d’Azure Databricks ?

Nom	Utilisez-le quand vous souhaitez...
Delta Live Tables	Découvrez comment créer des pipelines de données pour l’ingestion et la transformation avec Databricks Delta Live Tables.
Structured Streaming	Découvrez les charges de travail de diffusion en continu, incrémentielles et en temps réel optimisées par Structured Streaming sur Databricks.