Excelencia operativa del almacén de lago de datos
Los principios arquitectónicos del pilar de excelencia operativa cubren todos los procesos operativos que mantienen el almacén de lago en funcionamiento. La excelencia operativa aborda la capacidad de usar el almacén de lago de forma eficaz y describe cómo operarlo, administrarlo y supervisarlo para ofrecer valor empresarial.
Principios de excelencia operativa
Optimización de los procesos de compilación y lanzamiento
Use procedimientos recomendados de ingeniería de software en todo el entorno del almacén de lago. Compile y cree versiones mediante canalizaciones de integración continua y entrega continua (CI/CD) para DevOps y MLOps.
Automatización de las implementaciones y cargas de trabajo
La automatización de implementaciones y cargas de trabajo para el almacén de lago ayuda a estandarizar estos procesos, eliminar errores humanos, mejorar la productividad y proporcionar mayor repetibilidad. Esto incluye el uso de la “configuración como código” para evitar desfases en configuración y la “infraestructura como código” para automatizar el aprovisionamiento de todos los servicios de almacén de lago y en la nube necesarios.
En el caso concreto de ML, los procesos deben impulsar la automatización: no todos los pasos de un proceso pueden o deben automatizarse. Las personas siguen determinando las cuestiones empresariales, y algunos modelos siempre necesitarán supervisión humana antes de su implementación. Por lo tanto, el proceso de desarrollo es principal y cada módulo de dicho proceso debe automatizarse según sea necesario. Esto permite la compilación incremental de la automatización y la personalización.
Configuración de la supervisión, las alertas y el registro
Las cargas de trabajo del almacén de lago normalmente integran servicios de la plataforma Databricks y servicios en la nube externos, por ejemplo, orígenes o destinos de datos. La ejecución correcta solo puede producirse si cada servicio de la cadena de ejecución funciona correctamente. Cuando esto no sucede, la supervisión, las alertas y el registro son importantes para detectar y realizar un seguimiento de los problemas y comprender el comportamiento del sistema.
Administración de la capacidad y las cuotas
Con cada servicio iniciado en una nube, tenga en cuenta los límites, por ejemplo, los límites de velocidad de acceso, el número de instancias, el número de usuarios y los requisitos de memoria. Antes de diseñar una solución, es necesario comprender estos límites.
Siguiente: Procedimientos recomendados para la excelencia operativa
Consulte Procedimientos recomendados para la excelencia operativa.