Partager via

Azure Databricks pour les développeurs Scala

  • Article

Cet article fournit un guide pour développer des notebooks et des travaux dans Azure Databricks à l’aide du langage Scala. La première section fournit des liens vers des tutoriels pour les workflows et travaux courants. La deuxième section fournit des liens vers des API, des bibliothèques et des outils clés.

Un workflow de base pour la prise en main est :

Au-delà de cela, vous pouvez vous tourner vers des rubriques plus spécifiques :

Tutoriels

Les tutoriels ci-dessous fournissent des exemples de code et de notebooks pour en savoir plus sur les workflows courants. Consultez Importer un notebook pour obtenir des instructions sur l’importation d’exemples de notebooks dans votre espace de travail.

Informations de référence

Les sous-sections ci-dessous répertorient les principales fonctionnalités et des conseils pour vous aider à commencer à développer dans Azure Databricks avec Scala.

API Scala

Ces liens fournissent une présentation et une référence pour l’API Apache Spark Scala.

Gérer du code avec des notebooks et des dossiers Git Databricks

Les notebooks Databricks prennent en charge Scala. Ces notebooks fournissent des fonctionnalités similaires à celles de Jupyter, mais avec des ajouts tels que des visualisations intégrées à l’aide du Big Data, des intégrations Apache Spark pour le débogage et la supervision des performances et des intégrations MLflow pour le suivi des expériences de Machine Learning. Commencez en important un notebook. Une fois que vous avez accès à un cluster, vous pouvez attacher un notebook au cluster et exécuter le notebook.

Conseil

Pour réinitialiser complètement l’état de votre notebook, il peut être utile de redémarrer le noyau. Pour les utilisateurs Jupyter, l’option « redémarrer le noyau » dans Jupyter correspond au détachement et au rattachement d’un notebook dans Databricks. Pour redémarrer le noyau d’une notebook, cliquez sur le sélecteur de calcul dans la barre d’outils du notebook et survolez le cluster ou l’entrepôt SQL attaché dans la liste pour afficher un menu latéral. Sélectionnez Détacher et rattacher. Cela détache le notebook de votre cluster et le réattache, ce qui redémarre le processus.

Les Dossiers Git Databricks permettent aux utilisateurs de synchroniser des notebooks et d’autres fichiers avec des référentiels Git. Les dossiers Git Databricks facilitent le contrôle de version et la collaboration sur du code. Il peut simplifier l’importation d’un référentiel complet de code dans Azure Databricks, l’affichage des versions passées de notebooks et l’intégration au développement dans les IDE. Commencez en clonant un référentiel Git distant. Vous pouvez ensuite ouvrir ou créer des notebooks avec le clone du référentiel, attacher le notebook à un cluster et exécuter le notebook.

Clusters et bibliothèques

Azure Databricks compute assure la gestion du calcul pour les clusters de toute taille : des clusters à nœud unique aux grands clusters. Vous pouvez personnaliser le matériel et les bibliothèques de cluster en fonction de vos besoins. Les scientifiques des données commencent généralement à travailler en créant un cluster ou en utilisant un cluster partagé existant. Une fois que vous avez accès à un cluster, vous pouvez attacher un notebook au cluster ou exécuter un travail sur le cluster.

Les clusters Azure Databricks utilisent un Databricks Runtime, qui fournit de nombreuses bibliothèques populaires prêtes à l’emploi, notamment Apache Spark, Delta Lake, etc. Vous pouvez également installer d’autres bibliothèques tierces ou personnalisées pour les utiliser avec les notebooks et les travaux.

Visualisations

Les notebooks Scala Azure Databricks prennent en charge de nombreux types de visualisations. Vous pouvez également utiliser des visualisations héritées :

Interopérabilité

Cet article décrit les fonctionnalités qui prennent en charge l’interopérabilité entre Python et SQL.

travaux

Vous pouvez automatiser les charges de travail Scala en tant que travaux planifiés ou déclenchés dans Azure Databricks. Les travaux peuvent exécuter des notebooks et des JAR.

IDE, outils de développement et Kits de développement logiciel (SDK)

En plus de développer du code Scala dans des notebooks Azure Databricks, vous pouvez développer en externe à l’aide d’environnements de développement intégrés (IDE), tels que IntelliJ IDEA. Pour synchroniser le travail entre les environnements de développement externes et Azure Databricks, il existe plusieurs options :

  • Code : vous pouvez synchroniser le code à l’aide de Git. Consultez Intégration de Git pour les dossiers Git Databricks.
  • Bibliothèques et travaux : vous pouvez créer des bibliothèques en externe et les charger dans Azure Databricks. Ces bibliothèques peuvent être importées dans des notebooks Azure Databricks, ou elles peuvent être utilisées pour créer des travaux. Consultez Bibliothèques et Planifier et orchestrer des flux de travail.
  • Exécution d’ordinateur distant : vous pouvez exécuter du code à partir de votre IDE local pour le développement et le test interactifs. L’IDE peut communiquer avec Azure Databricks pour exécuter des calculs volumineux sur des clusters Azure Databricks. Par exemple, vous pouvez utiliser IntelliJ IDEA avec Databricks Connect.

Databricks fournit un ensemble de Kits SDK qui prennent en charge l’automatisation et l’intégration dans des outils externes. Vous pouvez utiliser les Kits SDK Databricks pour gérer des ressources comme des clusters et des bibliothèques, du code et d’autres objets d’espace de travail, des charges de travail et des tâches, etc. Consultez les Kits de développement logiciel (SDK) Databricks.

Pour plus d’informations sur les IDEs, les outils de développement et les kits SDK, consultez Outils de développement.

Ressources supplémentaires

  • Databricks Academy propose des cours auto-rythmés et dirigés par des instructeurs sur de nombreux sujets.