Виконання інкрементної обробки за допомогою структурованого потокового передавання spark
Проміжний рівень
Data Engineer
Developer
Data Scientist
Data Analyst
Azure Databricks
Ви досліджуєте різні функції та інструменти, які допомагають зрозуміти та працювати з інкрементними процесами за допомогою структурованого потокового передавання іскр.
Навчальні цілі
У кінці цього модуля можна:
- Ознайомтеся зі структурованим потоковим передаванням Spark.
- Деякі методи оптимізації структурованого потокового передавання.
- Як обробляти події із запізненням або виходом із замовлення.
- Настроювання джерел у реальному часі для інкрементної обробки.
Обов’язкові умови
- Можливість навігації на порталі Azure.
- Розуміння робочої області Azure Databricks.
- Досвід роботи з мовами spark та блокнотами.