卓越运营支柱的体系结构原则涵盖保持湖屋运行的所有运营流程。 卓越运营解决了高效运营湖屋的能力,并讨论了如何运营、管理和监视湖屋,以提供业务价值。
卓越运营原则
优化生成和发布过程
在整个湖屋环境中使用软件工程最佳做法。 使用持续集成和持续交付管道来构建和发布 DevOps 和 MLOps 项目。
自动化部署和工作负载
自动化 Lakehouse 的部署和工作负载有助于标准化这些流程,消除人为错误,提高工作效率,并提供更高的可重复性。 这包括使用“配置即代码”来避免配置偏移,使用“基础结构即代码”来自动预配所有必需的 lakehouse 和云服务。
具体而言,对于 ML,进程应推动自动化:并非流程的每个步骤都可以或应该自动化。 人们仍然确定业务问题,某些模型在部署之前始终需要人工监督。 因此,开发过程是主要进程,并且应根据需要自动执行该过程中的每个模块。 这允许逐步构建自动化及定制化功能。
设置监视、警报和日志记录
湖屋中的工作负载通常集成 Databricks 平台服务和外部云服务来实现特定目标,例如将其用作数据源或目标。 仅当执行链中的每个服务正常运行时,才能成功执行。 在这种情况下,监视、警报和日志记录对于检测和跟踪问题并了解系统行为非常重要。
管理容量和配额
对于在云中启动的任何服务,请考虑到限制,例如访问速率限制、实例数、用户数和内存要求。 在设计解决方案之前,必须了解这些限制。
下一步:卓越运营最佳做法
请参阅 卓越运营最佳做法。