数据湖屋的卓越运营

卓越运营支柱的体系结构原则涵盖保持湖屋运行的所有运营流程。 卓越运营解决了高效运营湖屋的能力,并讨论了如何运营、管理和监视湖屋,以提供业务价值。

Databricks 的卓越运营数据湖屋体系结构图。

卓越运营原则

  1. 优化生成和发布过程

    在整个湖屋环境中使用软件工程最佳做法。 使用持续集成和持续交付管道来构建和发布 DevOps 和 MLOps 项目。

  2. 自动化部署和工作负载

    自动化 Lakehouse 的部署和工作负载有助于标准化这些流程,消除人为错误,提高工作效率,并提供更高的可重复性。 这包括使用“配置即代码”来避免配置偏移,使用“基础结构即代码”来自动预配所有必需的 lakehouse 和云服务。

    具体而言,对于 ML,进程应推动自动化:并非流程的每个步骤都可以或应该自动化。 人们仍然确定业务问题,某些模型在部署之前始终需要人工监督。 因此,开发过程是主要进程,并且应根据需要自动执行该过程中的每个模块。 这允许逐步构建自动化及定制化功能。

  3. 设置监视、警报和日志记录

    湖屋中的工作负载通常集成 Databricks 平台服务和外部云服务来实现特定目标,例如将其用作数据源或目标。 仅当执行链中的每个服务正常运行时,才能成功执行。 在这种情况下,监视、警报和日志记录对于检测和跟踪问题并了解系统行为非常重要。

  4. 管理容量和配额

    对于在云中启动的任何服务,请考虑到限制,例如访问速率限制、实例数、用户数和内存要求。 在设计解决方案之前,必须了解这些限制。

下一步:卓越运营最佳做法

请参阅 卓越运营最佳做法