Лучшие практики инженерии данных

В следующих статьях приведены рекомендации по проектированию данных в Azure Databricks.

• Оптимизация производительности соединения в Azure Databricks
• Моделирование данных
• Настройка хранилища состояний RocksDB в Azure Databricks
• Асинхронная контрольная точка состояния для запросов с сохранением состояния
• Асинхронное отслеживание хода выполнения
• Производственные аспекты для структурированной потоковой обработки
• Выполнение нескольких структурированных запросов потоковой передачи в одном кластере
• Очистка и проверка данных с помощью пакетной или потоковой обработки
• Наблюдаемость в Azure Databricks для заданий, конвейеров Lakeflow и Lakeflow Connect
• Архитектура fan-in и fan-out в конвейерах Lakeflow
• Рекомендации по конвейерам Lakeflow

Ссылки на другие статьи о рекомендациях, включая рекомендации разработчика и рабочих процессов CI/CD, см. в статье "Рекомендации".