Keunggulan operasional untuk data lakehouse
Prinsip arsitektur pilar keunggulan operasional mencakup semua proses operasional yang menjaga lakehouse tetap berjalan. Keunggulan operasional mengatasi kemampuan untuk mengoperasikan lakehouse secara efisien dan membahas cara mengoperasikan, mengelola, dan memantau lakehouse untuk memberikan nilai bisnis.
Prinsip-prinsip keunggulan operasional
Mengoptimalkan proses kompilasi dan rilis
Gunakan praktik terbaik rekayasa perangkat lunak di seluruh lingkungan lakehouse Anda. Bangun dan rilis menggunakan integrasi berkelanjutan dan alur pengiriman berkelanjutan untuk DevOps dan MLOps.
Mengotomatiskan penyebaran dan beban kerja
Mengotomatiskan penyebaran dan beban kerja untuk lakehouse membantu menstandarkan proses ini, menghilangkan kesalahan manusia, meningkatkan produktivitas, dan memberikan pengulangan yang lebih besar. Ini termasuk menggunakan "konfigurasi sebagai kode" untuk menghindari penyimpangan konfigurasi, dan "infrastruktur sebagai kode" untuk mengotomatiskan provisi semua layanan lakehouse dan cloud yang diperlukan.
Untuk ML secara khusus, proses harus mendorong otomatisasi: Tidak setiap langkah proses dapat atau harus diotomatisasi. Orang masih menentukan pertanyaan bisnis, dan beberapa model akan selalu membutuhkan pengawasan manusia sebelum penyebaran. Oleh karena itu, proses pengembangan adalah primer dan setiap modul dalam proses harus diotomatisasi sesuai kebutuhan. Ini memungkinkan build-out otomatisasi dan kustomisasi inkremental.
Menyiapkan pemantauan, pemberitahuan, dan pengelogan
Beban kerja di lakehouse biasanya mengintegrasikan layanan platform Databricks dan layanan cloud eksternal, misalnya sebagai sumber data atau target. Eksekusi yang berhasil hanya dapat terjadi jika setiap layanan dalam rantai eksekusi berfungsi dengan baik. Ketika ini tidak terjadi, pemantauan, peringatan, dan pengelogan penting untuk mendeteksi dan melacak masalah dan memahami perilaku sistem.
Mengelola kapasitas dan kuota
Untuk layanan apa pun yang diluncurkan di cloud, mempertimbangkan batasan, misalnya batas laju akses, jumlah instans, jumlah pengguna, dan persyaratan memori. Sebelum merancang solusi, batas ini harus dipahami.
Berikutnya: Praktik terbaik untuk keunggulan operasional
Lihat Praktik terbaik untuk keunggulan operasional.