Memprovisikan analitik skala cloud
Proses penyebaran zona arahan manajemen data
Tim operasi platform data bertanggung jawab untuk menyebarkan zona arahan manajemen data. Zona arahan manajemen data harus memiliki repositori sendiri yang dikelola oleh tim operasi platform data.
Perhatian
Buat dan sebarkan zona arahan manajemen data sebelum zona arahan data apa pun diterapkan.
Proses penyebaran zona arahan data
Tim dapat menggunakan templat yang disediakan oleh tim operasi platform data untuk menghindari memulai dari awal untuk setiap aset. Sebaiknya gunakan pola bercabang untuk mengotomatiskan penyebaran zona arahan baru.
Misalnya, tim operasi zona arahan data meminta zona arahan data baru menggunakan alat manajemen TI atau Power Apps. Setelah menyetujui permintaan, mulai alur kerja berikut menggunakan parameter dari permintaan:
- Menerapkan langganan baru untuk zona arahan data baru.
- Bagi dua cabang utama dari templat zona arahan data untuk membuat repositori baru.
- Buat koneksi layanan di repositori baru.
- Perbarui parameter di repositori baru berdasarkan parameter dari permintaan.
- Buat alur penyebaran untuk menerapkan layanan, dipicu oleh pemeriksaan parameter yang diperbarui.
- Beri tahu tim operasi zona arahan data bahwa zona arahan baru tersedia.
Tim operasi zona arahan data sekarang dapat mengubah atau menambahkan templat Azure Resource Manager.
Alur kerja ini dapat diotomatisasi menggunakan beberapa set layanan di platform Azure. Menangani beberapa langkah, seperti mengganti nama parameter dalam {i>file
Pola bercabang memungkinkan tim untuk memperbarui templat mereka dari templat asli yang digunakan untuk membagi dua cabang. Jika perbaikan atau fitur baru diimplementasikan dalam repositori templat, tim operasi juga dapat menariknya ke cabang mereka.
Mengadopsi praktik terbaik untuk repositori, seperti:
- Amankan cabang utama.
- Gunakan cabang untuk perubahan, pembaruan, dan peningkatan.
- Tentukan pemilik kode yang menyetujui permintaan {i>pull
- Validasi beberapa cabang melalui pengujian otomatis.
- Batasi jumlah tindakan dan orang dalam tim, seperti siapa yang dapat memicu pembuatan dan pelepasan alur.
Tip
Mengkoordinasikan aktivitas antar tim untuk memastikan bahwa peningkatan atau fitur baru dalam templat asli direplikasi di semua instans zona arahan data. Tim operasi dapat menarik perubahan templat asli ke cabang mereka.
Proses {i>onboarding
Tidak ada API Git yang tersedia untuk mengkloning/memperbarui/berkomitmen/mendorong dalam solusi otomatisasi yang diusulkan. Jadi pendekatan kami adalah menggunakan akun Azure Automation yang berisi runbook PowerShell yang:
- Menyiapkan zona arahan data
- Membuat cabang repositori utama ke repositori Git platform data
- Menyiapkan konfigurasi subnet untuk zona arahan data
- Menyiapkan ID Microsoft Entra
Runbook menggunakan fungsi Git dari GitAutomation modul PowerShell untuk bekerja dengan repositori Git. Dengan menginstal modul ini di dalam akun Azure Automation, pengguna dapat membuat, mengkloning, menanyakan, mendorong, menarik, dan menerapkan operasi di repositori Git. Gambar berikut menunjukkan GitAutomation modul yang diinstal di dalam akun Azure Automation:
Gunakan Copy-GitRepository fungsi dari GitAutomation modul untuk mengkloning repositori Git utama dari URL yang ditentukan oleh URL platform data jalur Git yang ditentukan oleh DestinationPath.
Pendekatan terhadap penyebaran zona arahan data ini fleksibel, sambil memastikan bahwa tindakan tersebut sesuai dengan persyaratan organisasi. Manajemen siklus hidup diaktifkan dengan menerapkan fitur atau pengoptimalan baru dari templat asli.
Proses penyebaran aplikasi data
Setelah zona pendaratan data dibuat, onboarding dapat dimulai untuk tim aplikasi data. Platform data atau tim operasi zona arahan data memberikan persetujuan penyebaran.
Penyebaran dilakukan baik secara langsung menggunakan alat DevOps atau dipanggil melalui alur/alur kerja yang ditampilkan sebagai API. Mirip dengan zona pendaratan data, penyebaran dimulai dengan menempa repositori aplikasi data asli.
- Pengguna membuat permintaan untuk layanan aplikasi data baru.
- Proses alur kerja meminta persetujuan dari platform data atau tim operasi zona arahan data.
- Alur kerja memanggil API manajemen layanan TI untuk membuat grup sumber daya yang diperlukan, dan pembuatan koneksi layanan Azure DevOps. Alur kerja menetapkan tim ke proyek Azure DevOps.
- Alur kerja membuat fork repositori aplikasi data asli untuk membuat proyek Azure DevOps tujuan.
- Alur kerja membuat {i>file
- Alur kerja kemudian memulai alur Azure untuk membuat persyaratan jaringan, dan alur Azure lainnya untuk menyebarkan layanan aplikasi data.
- Alur kerja memberi tahu pengguna setelah selesai.
Tip
Jika Anda baru mengenal DataOps, tinjau DataOps untuk lab langsung gudang data modern di Azure Architecture Center. Skenario lab menggambarkan kantor perencanaan kota fiktif yang dapat menggunakan solusi penyebaran ini. Solusi penyebaran menyediakan alur data {i>end-to-end
Ringkasan
Pola di atas memberikan kontrol, kecerdasan, layanan mandiri, dan manajemen siklus hidup kebijakan.
Pada awal proyek, platform data memiliki satu proyek Azure DevOps dengan satu atau lebih Azure Boards. Tim DevOps individu berfokus pada:
- Satu repositori untuk zona arahan manajemen data, alur, dan koneksi layanan ke lingkungan {i>cloud
- Satu repositori templat untuk zona arahan data, alur untuk menyebarkan instans zona arahan data, dan koneksi layanan ke lingkungan cloud.
- Satu repositori templat untuk layanan produk data, alur untuk menyebarkan instans produk data, dan koneksi layanan ke lingkungan {i>cloud
Setelah zona pendaratan data disebarkan, analitik skala cloud meresepkan bahwa:
- Setiap zona arahan data akan memiliki proyek Azure DevOps sendiri dengan satu atau lebih Azure Boards.
- Untuk setiap aplikasi data, fork proyek Azure DevOps zona pendaratan datanya dibuat setelah persetujuan permintaan.
- Setiap aplikasi data meliputi:
- Koneksi layanan.
- Alur yang terdaftar.
- Tim DevOps dengan akses ke {i>board
- Serangkaian kebijakan yang berbeda untuk repositori bercabang.
Untuk mengontrol penyebaran aplikasi data, ikuti praktik berikut:
- Tim operasi zona arahan data memiliki dan mengamankan cabang repositori utama.
- Hanya cabang utama yang digunakan untuk menyebarkan untuk menguji dan lingkungan produksi.
- Cabang fitur dapat disebarkan ke lingkungan pengembangan.
- Cabang fitur dimiliki oleh tim DataOps. Cabang fitur digunakan untuk menguji fitur baru atau dimodifikasi.
- Tim DataOps dapat menggabungkan cabang fitur ke cabang fitur lain tanpa persetujuan.
- Tim DataOps membuat permintaan {i>pull
- Fitur baru atau perbaikan pada templat asli digabungkan ke dalam repositori bercabang agar tetap diperbarui.