Лучшие практики инженерии данных

В следующих статьях приведены рекомендации по проектированию данных в Azure Databricks.

• Оптимизация производительности соединения в Azure Databricks
• Моделирование данных
• Настройка хранилища состояний RocksDB в Azure Databricks
• Асинхронная контрольная точка состояния для запросов с сохранением состояния
• Асинхронное отслеживание хода выполнения
• Производственные аспекты для структурированной потоковой обработки
• Очистка и проверка данных с помощью пакетной или потоковой обработки
• Наблюдаемость в Azure Databricks для заданий, Декларативные конвейеры Lakeflow Spark и Lakeflow Connect
• Архитектура входящих и исходящих подключений в декларативных конвейерах Spark Lakeflow
• Рекомендации по декларативным конвейерам Spark Lakeflow

Ссылки на другие статьи о рекомендациях, включая рекомендации по рабочим процессам CI/CD, см. в статье "Рекомендации".