Memahami tim dan fungsi untuk analitik skala cloud di Azure
Untuk analitik skala cloud, kami sarankan dengan memindahkan tim seperti menyerap, memproses, menganalisis, mengonsumsi, dan memvisualisasikan dari bekerja dalam tim yang di-silo secara horizontal ke tim lintas domain vertikal yang gesar di setiap tingkatan. Tim platform seperti operasi platform data dan operasi platform dikelompokkan bersama dalam grup platform umum.
Grup platform
Grup platform terdiri atas dua tim:
- Operasi platform: operasi platform adalah bagian dari grup platform. Ini beroperasi dan memiliki platform cloud. Tim ini bertanggung jawab untuk membuat instans zona pendaratan manajemen data dan perancah zona pendaratan data seperti jaringan, peering, layanan inti, dan pemantauan dalam analitik skala cloud.
Mereka biasanya membantu operasi platform data untuk mengembangkan antarmuka manajemen layanan TI untuk persona di zona pendaratan data pada awal meluncurkan analitik skala cloud. Antarmuka ini cenderung merupakan panggilan REST API ke layanan untuk onboarding produk data, mengatur keamanan, dan menambahkan layanan ke zona pendaratan data.
- Operasi platform data: Grup operasi platform data ditempatkan di dalam grup platform. Operasi platform data menyediakan layanan seperti pemantauan pusat, katalogisasi, dan kebijakan yang dapat digunakan kembali untuk zona pendaratan data dan produk. Operasi platform data memiliki zona pendaratan manajemen data, dan tanggung jawab tim lainnya adalah:
Mengembangkan infrastruktur
- Mengembangkan templat infrastruktur sebagai kode untuk zona pendaratan data; templat harus diperbarui dan dikelola dari waktu ke waktu, dan dapat mencakup beberapa skenario.
- Prioritaskan templat dan tambahkan fungsionalitas baru berdasarkan siklus tanggapan dari tim lain.
- Bekerja dalam kerangka kerja tangkas dengan tujuan bersama untuk menghasilkan templat infrastruktur standar.
Menanggapi permintaan zona pendaratan data baru
Tim operasi platform data harus menyediakan alat dan layanan untuk mendukung templat yang telah dibuatnya. Alat manajemen layanan TI seperti ServiceNow dapat menangani permintaan tiket yang disetujui oleh tim operasi platform data untuk membuat zona pendaratan data baru. Setelah disetujui, zona pendaratan baru akan bercabang dari templat dasar untuk membuat proyek Azure DevOps baru, dan alur akan menyebarkan templat ke lingkungan baru.
Tanggapan operasi platform data dan perulangan peningkatan
Dua opsi tersedia untuk meningkatkan templat:
Tim yang bertanggung jawab atas instans templat infrastruktur akan meningkatkan templat dan penyebaran Azure DevOps. Jika tim menemukan masalah dalam templat, operasi platform data dapat mendukung tim dan menggabungkan perubahan kembali dari forknya ke dalam templat.
Tim zona pendaratan data lainnya harus dapat membuat peningkatan dan backlog tiket yang akan meningkatkan templat berdasarkan bagaimana tiket diprioritaskan.
Kebijakan Azure untuk analitik skala cloud
Prinsip analitik skala cloud menekankan kelincahan dan pagar pembatas layanan mandiri untuk melindungi data, biaya, dan pola. Operasi platform data bekerja dengan operasi platform untuk menentukan kualitas, dan tim ini berkolaborasi untuk menerapkan kebijakan data tertentu. Operasi platform data harus mengikuti proses peninjauan untuk memperbarui dan memelihara fitur baru yang ditambahkan ke produk.
Menyebarkan dan mengoperasikan zona pendaratan manajemen data
Operasi platform data dan operasi platform bekerja sama untuk menyebarkan dan mengoperasikan zona pendaratan manajemen data. Zona pendaratan manajemen data menyediakan layanan bersama ke zona pendaratan data, menjadikannya bagian terpusat dari analitik skala cloud.
Operasi zona pendaratan data
Operasi zona pendaratan data beroperasi dan mempertahankan instans zona pendaratan data mereka sambil menanggapi permintaan tim aplikasi data. Mereka menyediakan banyak layanan yang sama dengan operasi platform data tetapi terbatas pada zona pendaratan datanya.
Mereka bekerja di luar repositori fork yang dibuat saat zona pendaratan data dibuat. Untuk meminta perubahan kebijakan, mereka harus menaikkan tiket ke operasi platform data untuk memungkinkan pengecualian ini.
Mendukung tim aplikasi data untuk menyesuaikan produk data
Tim ops zona pendaratan data mendukung tim aplikasi data dengan menggunakan permintaan pull untuk mengirimkan templat produk baru ke repositori produk data masing-masing.
Sebagai pemilik zona pendaratan, Azure DevOps akan merutekan persetujuan untuk perubahan pada operasi zona pendaratan data:
Jika disetujui, perubahan templat akan dipindahkan ke cabang utama dan disebarkan untuk produksi melalui integrasi berkelanjutan/pengembangan berkelanjutan, menyebabkan platform/infrastruktur produk data diperbarui.
Jika ditolak, operasi zona pendaratan data akan bekerja sama dengan tim aplikasi data untuk memperbaiki perubahan.
Menanggapi permintaan produk data baru
Operasi zona pendaratan data mendukung tim aplikasi data untuk membuat produk data baru. Ketika tim aplikasi data meminta bantuan, solusi manajemen layanan TI, misalnya, aplikasi logika otomatisasi, mengatur persetujuan atau penyebaran repositori aplikasi data baru. Operasi zona pendaratan data akan diberitahu tentang permintaan baru dan menyetujui atau menolak penyebaran. Setelah disetujui, proyek DevOps baru dibuat, templat utama dan artefak di fork, dan aplikasi data baru disebarkan.
Patuhi Azure Well-Architected Framework
Operasi zona pendaratan data bertanggung jawab atas zona pendaratan data, dan disarankan agar tim mahir dalam Azure Well-Architected Framework, yang memberikan panduan tentang pengoptimalan biaya, keandalan, dan keamanan.
Bisnis seperti biasa
Operasi zona pendaratan data bertanggung jawab atas tugas bisnis yang mencakup pengumpulan tanggapan dan permintaan peningkatan. Permintaan ini diprioritaskan dan dibagikan dengan operasi platform data secara teratur. Tim memantau zona pendaratan data untuk insiden dan kejadian kesehatan. Mereka akan melibatkan tim operasi lain selama insiden parah untuk mengurangi, memulihkan pencadangan, failover, dan layanan skala.
Tim aplikasi data
Tim aplikasi data mengirimkan produk data baru ke bisnis. Mereka bersumber dari penyimpanan data baca integrasi data dan mengubahnya menjadi solusi bisnis. Apa pun yang mengubah data untuk digunakan diklasifikasikan sebagai produk data. Tim ini sering merupakan campuran spesialis teknis dan ahli materi pelajaran yang dapat membantu bisnis untuk mencapai nilai dengan cepat. Produk data dapat berkisar dari laporan sederhana dan produk data baru hingga penyiapan kustom dengan aplikasi web Kubernetes berbasis data.
Produk data baru
Pemilik produk dan perwakilan bisnis membuat permintaan untuk produk data baru saat diperlukan. Kantor data menilai persyaratan dan menyusun tim aplikasi data baru dengan berbagai keahlian. Tim mengidentifikasi produk data yang diperlukan untuk produk data dan meminta izin ke aset data. Jika produk data baru diperlukan, tim aplikasi data menerima tiket untuk menyerapnya. Tim mengidentifikasi layanan yang diperlukan untuk produk data baru dan meminta produk data baru melalui proses penyebaran aplikasi data. Tim aplikasi data menerima repositori fork dari templat aplikasi data master untuk menyebarkan aplikasi data.
Sertifikasi produk data
Di platform layanan mandiri, siapa pun dapat membuat laporan, mengumpulkan produk data di akun penyimpanan pengembang Azure Data Lake, dan merilis produk data untuk digunakan bisnis. Permintaan peninjauan produk data terjadi ketika:
- Sponsor bisnis mencatat tiket untuk mengesahkan produk data.
- Operasi platform data menominasikan produk data berdasarkan popularitas.
Tim aplikasi data dapat mendorong proses sertifikasi, untuk didefinisikan operasi platform data dan keamanan digital, yang mungkin mencakup:
- Tes yang dirancang untuk memvalidasi transformasi data dan logika bisnis
- Penilaian untuk: keamanan, kepatuhan, atau dampak performa
Setelah sertifikasi, artefak disusun dan diunggah ke repositori produk data, dokumentasi diterbitkan, dan tim aplikasi data diberi tahu.
Dukungan produk
Pengguna dapat mengirimkan tanggapan dengan solusi manajemen layanan TI atau langsung di dalam produk saat tiket dirutekan ke pemilik produk data. Individu ini melakukan triase permintaan dan menentukan apakah akan meningkatkannya ke tim aplikasi data untuk memperbaiki atau memasukkan umpan balik ke dalam backlog produk dan meninjau selama siklus perencanaan produk.
Tim aplikasi ilmu data
Sementara tim produk ilmu data membuat produk data, itu berbeda karena fungsinya mengarah pada produk data. Ini menghasilkan model yang diterbitkan menjadi produk data untuk digunakan orang lain, dan polanya mengikuti model operasi Pembelajaran Mesin yang dikaitkan dengan zona pendaratan data.
Tim produk ilmu data dimulai dengan mencari dan menemukan produk data yang relevan untuk kasus penggunaannya. Solusi tata kelola data dapat mengungkapkan rincian selengkapnya seperti kualitas data, silsilah data, atau himpunan data atau profil serupa. Mereka meneliti apakah himpunan data sampel tersedia dan jika data relevan dengan proyek. Setelah akses data diberikan melalui katalog data atau paket akses Microsoft Entra, tim menggunakan layanan di zona pendaratan data untuk menjelajahi dan menganalisis data.
Sebelum memproses semua data, tim menggunakan komputasi lokal atau jarak jauh untuk memproses dan menganalisis produk data sampel. Mereka dapat mengoptimalkan target komputasi jarak jauh dengan produk data yang lebih besar untuk melatih dan mengembangkan model pembelajaran mesin dengan eksekusi, output, dan model yang dilacak di dalam Azure Pembelajaran Mesin.
Ketika tim telah mengembangkan model pembelajaran mesin, mereka mulai mengoperasionalkannya. Untuk ini, mereka memperluas tim untuk menyertakan DataOps dan teknisi pembelajaran mesin yang dapat membantu memindahkan model ke dalam produk data baru, seperti yang diuraikan dalam peran tim aplikasi data.
Tim ilmu data akan terus bekerja dengan pemilik produk data terkait untuk menangkap tanggapan, dukungan, dan menyelesaikan serta memperbarui model dalam produksi menggunakan metodologi operasi pembelajaran mesin.
Analis
Analis mewakili grup besar yang mencakup analis bisnis, pengguna listrik, dan umumnya siapa pun dalam organisasi dengan minat dalam mengoptimalkan data untuk menciptakan wawasan bisnis baru. Pemberdayaan layanan mandiri adalah prinsip utama yang mendukung analis untuk mengakses analitik dan data tanpa harus mengamankan anggaran dan sumber daya TI formal.
Tip
Perusahaan harus melihat wawasan yang dibuat oleh analis sebagai set produk data potensial berikutnya yang akan disertifikasi bagi orang lain untuk digunakan dalam bisnis.
Menemukan dan meminta data
Analis berkonsultasi dengan marketplace/katalog data untuk menemukan produk data yang relevan.
Jika aset data tidak dapat ditemukan atau tidak ada, analis membuka tiket dukungan dengan tim aplikasi data. Tim aplikasi data membantu menemukan himpunan data atau menambahkan permintaan ke backlog mereka untuk menilainya di siklus pengembangan lain.
Jika himpunan data ada, analitik dapat mengidentifikasi keanggotaan grup Microsoft Entra untuk aset yang tercantum dalam katalog dan menggunakan portal paket akses Azure untuk meminta akses ke grup Microsoft Entra.
Membangun laporan baru
Analis dapat menggunakan alat seperti Microsoft Power BI untuk mengintegrasikan produk data ke dalam laporan. Laporan-laporan ini dapat digunakan sendiri atau menerbitkan produk data bersertifikat. Sebelum menerbitkan laporan di seluruh organisasi, itu perlu disertifikasi dengan proses sertifikasi produk data untuk keamanan, kepatuhan, dan performa.
Menjalankan kueri sesuai kebutuhan
Analitik skala cloud memiliki ruang kerja bersama di mana analis dapat mengkueri data, tunduk pada izin. Adalah umum bagi produk data untuk menyediakan komputasi khusus untuk menjalankan kueri sesuai kebutuhan. Dalam kedua kasus, analis dapat menjalankan kueri terhadap produk data di zona pendaratan data. Ini juga tunduk pada izin. Hasil dari kueri dapat disimpan di ruang kerja Azure Data Lake untuk digunakan lagi.
Tanggapan pengguna
Karena analis dapat berfungsi sebagai informasi dan peningkatan sumber yang belum dimanfaatkan, perusahaan sangat didorong untuk membuat kelompok tanggapan pengguna untuk setiap zona pendaratan data.
Selain berpartisipasi dalam grup pengguna ini, analis harus mengirimkan umpan balik aset data ke tim aplikasi data dan masalah katalog data dalam katalog data atau solusi manajemen layanan TI. Mereka dapat mengirimkan masalah proses data ke tim aplikasi data atau dalam solusi manajemen layanan TI.
Catatan
Manajemen layanan TI harus berfungsi sebagai lokasi pusat untuk mengirimkan tanggapan dan masalah yang meningkat. Mengirimkan tanggapan langsung ke masing-masing tim mungkin tampak sebagai solusi yang lebih cepat, tetapi pendekatan ini tidak memberikan visibilitas bisnis ke dalam tantangan di platform. Solusi manajemen layanan TI dengan perutean yang benar ke tim aplikasi data dapat memberikan tampilan bisnis satu di seluruh perusahaan.
Matriks penugasan tanggung jawab
- Bertanggung jawab: Siapa yang menyelesaikan tugas?
- Bertanggung jawab: Siapa yang membuat keputusan dan mengambil tindakan atas tugas itu?
- Dikonsultasikan: Siapa yang menerima komunikasi tentang keputusan dan tugas?
- Diberitahukan: Siapa yang diperbarui tentang keputusan dan tindakan selama proyek?
| Peran | Lingkungan cloud | Zona arahan manajemen data | Zona arahan data | Integrasi data | Produk data |
|---|---|---|---|---|---|
| Pemilik layanan | Diberitahukan | Dapat Dipertanggungjawabkan | Informasi yang dikonsultasikan | Informasi yang dikonsultasikan | Informasi yang dikonsultasikan |
| Pemilik layanan zona pendaratan data | Diberitahukan | Informasi yang dikonsultasikan | Dapat Dipertanggungjawabkan | Dapat Dipertanggungjawabkan | Dapat Dipertanggungjawabkan |
| Operasi platform Cloud | Bertanggung jawab | Dikonsultasikan | Dikonsultasikan | Dikonsultasikan | Dikonsultasikan |
| Operasi platform data | Dikonsultasikan | Bertanggung jawab | Bertanggung jawab | Dikonsultasikan | Dikonsultasikan |
| Operasi zona pendaratan data | Diberitahukan | Bertanggung jawab | Bertanggung jawab | Bertanggung jawab | Bertanggung jawab |
| Tim aplikasi data | Diberitahukan | Diberitahukan | Diberitahukan | Bertanggung jawab |