Używanie platformy Spark w notesach
Możesz uruchomić wiele różnych rodzajów aplikacji na platformie Spark, w tym kod w skryptach języka Python lub Scala, kod Java skompilowany jako archiwum Java (JAR) i inne. Platforma Spark jest często używana w dwóch rodzajach obciążenia:
- Zadania przetwarzania wsadowego lub strumieniowego w celu pozyskiwania, czyszczenia i przekształcania danych — często są uruchamiane w ramach zautomatyzowanego potoku.
- Interaktywne sesje analityczne umożliwiające eksplorowanie, analizowanie i wizualizowanie danych.
Uruchamianie kodu platformy Spark w notesach
Usługa Azure Databricks zawiera zintegrowany interfejs notesu do pracy z platformą Spark. Notesy zapewniają intuicyjny sposób łączenia kodu z notatkami markdown, często używanymi przez analityków danych i analityków danych. Wygląd i działanie zintegrowanego środowiska notesu w usłudze Azure Databricks jest podobne do notesów Jupyter — popularnej platformy notesów typu open source.
Notesy składają się z co najmniej jednej komórki zawierającej kod lub znaczniki markdown. Komórki kodu w notesach mają pewne funkcje, które mogą pomóc w bardziej wydajnej pracy, w tym:
- Wyróżnianie składni i obsługa błędów.
- Automatyczne uzupełnianie kodu.
- Interaktywne wizualizacje danych.
- Możliwość eksportowania wyników.
Napiwek
Aby dowiedzieć się więcej na temat pracy z notesami w usłudze Azure Databricks, zobacz artykuł Notesy w dokumentacji usługi Azure Databricks.