Лучшие практики инженерии данных

В следующих статьях приведены рекомендации по проектированию данных в Azure Databricks.

• Оптимизация производительности соединения в Azure Databricks
• Моделирование данных
• Настройка хранилища состояний RocksDB в Azure Databricks
• Асинхронная контрольная точка состояния для запросов с сохранением состояния
• Что такое асинхронное отслеживание хода выполнения?
• Рекомендации по структурированной потоковой передаче в рабочей среде
• Очистка и проверка данных с помощью пакетной или потоковой обработки
• Наблюдаемость в Azure Databricks для заданий, Декларативные конвейеры Lakeflow Spark и Lakeflow Connect

Ссылки на другие статьи о рекомендациях, включая рекомендации по рабочим процессам CI/CD, см. в статьях о рекомендациях.