Menerapkan FinOps ke Azure Data Factory
Artikel ini menjelaskan cara menerapkan FinOps di Azure Data Factory.
Apa itu FinOps?
Dewan Penasihat Teknis FinOps Foundation mendefinisikan FinOps yang sesuai:
FinOps adalah praktik disiplin manajemen keuangan dan budaya cloud yang berkembang yang memungkinkan organisasi mendapatkan nilai bisnis maksimum dengan membantu tim teknik, keuangan, teknologi, dan bisnis untuk berkolaborasi dalam keputusan pengeluaran berbasis data.
Pada intinya, FinOps adalah praktik budaya. Ini adalah cara bagi tim untuk mengelola biaya cloud mereka, di mana semua orang mengambil kepemilikan atas penggunaan cloud mereka yang didukung oleh grup praktik terbaik pusat. Tim lintas fungsi dalam Teknik, Keuangan, Produk, dll. bekerja sama untuk memungkinkan pengiriman produk yang lebih cepat, sementara pada saat yang sama mendapatkan lebih banyak kontrol dan prediksi keuangan.
Cara menerapkan FinOps ke Azure Data Factory
Azure Data Factory adalah layanan Integrasi Data dan ETL Microsoft (ekstrak, transformasi, muat) di cloud. Untuk mencapai anggaran dan kontrol biaya yang efektif di pabrik data, kami terlebih dahulu meninjau cara memahami model harga. Selanjutnya, penting untuk menganalisis pengeluaran Anda di tingkat pabrik dan alur. Anda dapat melakukan ini dengan laporan konsumsi bawaan pabrik data dan di tingkat langganan Azure menggunakan fitur manajemen biaya dan analisis biaya Azure. Terakhir, kita berbicara tentang menetapkan batas pengeluaran pada langganan Azure Anda untuk membantu memberikan kontrol biaya.
Memahami harga Azure Data Factory
Bagan di bawah ini menjelaskan alur umum penghitungan harga pabrik data. Ini menunjukkan cara menggunakan Kalkulator Harga Azure untuk menghitung harga. Secara keseluruhan, bagian utama untuk memahami penagihan pabrik data melibatkan biaya ini: orkestrasi, eksekusi, jenis runtime integrasi (IR), pergerakan data (salinan), dan aliran data.
- Periksa apakah sumber pabrik data atau runtime integrasi sink Anda menggunakan jaringan virtual terkelola (VNET). Jika demikian, orkestrasi dan eksekusi dihitung menggunakan runtime integrasi VNET terkelola Azure. Jika tidak, lanjutkan ke langkah berikutnya.
- Konfirmasi apakah sumber atau sink menggunakan runtime integrasi yang dihost sendiri. Jika demikian, orkestrasi dan eksekusi dihitung oleh IR yang dihost sendiri, dan total biaya sama dengan jumlah biaya untuk orkestrasi dan eksekusi. Jika tidak, orkestrasi dan eksekusi dihitung oleh Runtime integrasi Azure.
- Untuk Runtime integrasi Azure IR dan VNET terkelola Azure, konfirmasikan apakah Anda menggunakan aliran data. Jika demikian, total biaya sama dengan jumlah biaya untuk kluster aliran data, orkestrasi, dan eksekusi. Jika tidak, total biaya hanyalah jumlah biaya untuk orkestrasi dan eksekusi.
Skenario contoh
Mari kita lihat beberapa contoh skenario pabrik data umum dan perkiraan biaya yang terkait dengan setiap beban kerja. Saat kita bekerja melalui setiap contoh, ingatlah standar ini untuk biaya pabrik data:
- Saat Anda meninjau tagihan Anda, perlu diingat bahwa pabrik data membulatkan hingga menit untuk setiap durasi aktivitas (yaitu, 1 menit 1 detik = penagihan 2 menit).
- Contoh berikut didasarkan pada skenario umum dan menunjukkan perkiraan biaya.
- Biaya lain dapat dikeluarkan dari penyimpanan data dan layanan eksternal di Azure yang Anda gunakan.
- Biaya aktual Anda dapat sedikit berbeda dari contoh ini berdasarkan persyaratan kontrak penjualan yang Anda miliki dengan Microsoft.
- Tautan ini menyediakan lebih banyak contoh: Memahami harga Azure Data Factory melalui contoh.
Contoh: Menyalin data dan mengubah dengan Azure Databricks per jam
Dalam skenario ini, Anda ingin menyalin data dari AWS S3 ke penyimpanan Azure Blob dan mengubah data dengan Azure Databricks pada jadwal per jam selama 8 jam per hari selama 30 hari.
Harga yang digunakan dalam contoh ini bersifat hipotetis dan tidak dimaksudkan untuk menyiratkan harga persis aktual. Biaya baca/tulis dan pemantauan tidak ditampilkan karena biasanya dapat diabaikan dan tidak akan berdampak pada biaya keseluruhan secara signifikan. Eksekusi aktivitas juga dibulatkan ke 1000 terdekat dalam perkiraan kalkulator harga.
Konfigurasi
Untuk mencapai skenario, Anda perlu membuat alur dengan item berikut:
- Satu aktivitas salinan dengan himpunan data agar data disalin dari AWS S3, dan himpunan data output untuk data penyimpanan Azure.
- Satu aktivitas Azure Databricks untuk transformasi data.
- Satu pemicu terjadwal untuk menjalankan alur setiap jam. Saat ingin menjalankan alur, Anda dapat segera memicunya atau menjadwalkannya. Selain alur itu sendiri, setiap instans pemicu dihitung sebagai satu eksekusi Aktivitas.
Perkiraan biaya
Lihat Kalkulator Harga Azure dan alur menggunakan langkah-langkah berikut:
- Jika sumber dan sink tidak menggunakan VNET terkelola Azure, buka Langkah 2.
- Jika sumber dan sink tidak menggunakan IR yang dihost sendiri, orkestrasi dan eksekusi dihitung menggunakan Runtime integrasi Azure.
- Kami hanya menggunakan aktivitas salin dan aktivitas eksternal di sini. Ini tidak menggunakan aktivitas aliran data, sehingga total biaya sama dengan jumlah biaya untuk orkestrasi dan eksekusi.
Estimasi harga untuk sebulan (8 jam per hari selama 30 hari):
| Jenis | Penghitungan |
|---|---|
| Orkestrasi (jumlah eksekusi aktivitas dalam ribuan) | 3 aktivitas berjalan per eksekusi (1 untuk eksekusi pemicu, 2 untuk eksekusi aktivitas). Jumlah eksekusi aktivitas/bulan = 3 * 8 * 30 = 720. Jumlah eksekusi aktivitas dalam seribu/bulan = 1 |
| Eksekusi | 1. Jam unit integrasi data (DIU): • Jam DIU per eksekusi = 10 menit • Pengaturan DIU default = 4 • Jam/bulan DIU = (10 menit / 60 menit) * 4 * 8 * 30 = 160 2. Jam eksekusi aktivitas alur eksternal: • Per waktu eksekusi: 10 menit • Jam eksekusi aktivitas alur eksternal = (10 menit / 60 menit) * 8 * 30 = 40 |
Contoh kalkulator harga
Total harga skenario selama 30 hari: $41,01
Contoh: Menggunakan debug aliran data pemetaan untuk hari kerja normal
Contoh ini menunjukkan pemetaan biaya debug aliran data untuk hari kerja biasa untuk teknisi data. Harga yang digunakan dalam contoh berikut bersifat hipotetis dan tidak dimaksudkan untuk menyiratkan harga aktual yang tepat. Biaya baca/tulis dan pemantauan tidak ditampilkan karena biasanya dapat diabaikan dan tidak akan berdampak pada biaya keseluruhan secara signifikan. Eksekusi aktivitas juga dibulatkan ke 1000 terdekat dalam perkiraan kalkulator harga.
Teknisi Azure Data Factory
Teknisi pabrik data bertanggung jawab untuk merancang, membangun, dan menguji aliran data pemetaan setiap hari. Teknisi masuk ke Azure Data Factory Studio di pagi hari dan mengaktifkan mode debug untuk Aliran data. Time to Live (TTL) default untuk sesi debug adalah 60 menit. Teknisi bekerja sepanjang hari selama 8 jam, sehingga sesi debug tidak pernah kedaluwarsa. Oleh karena itu, biaya teknisi untuk hari itu adalah:
8 jam * 8 inti yang dioptimalkan komputasi * $0,193 per jam per inti = $12,35
Penganggaran
Saat merencanakan implementasi Azure Data Factory, penting untuk memahami dan memperkirakan biaya Anda untuk membantu membangun anggaran untuk proyek integrasi ETL dan data Anda.
Pilih tombol laporan konsumsi dari tampilan pemantauan alur untuk mendapatkan rekam jepret unit yang ditagih untuk setiap eksekusi.
Pada halaman pemantauan, Anda dapat menggunakan laporan konsumsi secara manual untuk eksekusi alur apa pun dari debug atau eksekusi yang dipicu secara manual, atau bahkan dari eksekusi pemicu otomatis.
Laporan konsumsi alur pabrik data menyediakan perkiraan unit yang ditagih. Anda dapat menjalankan pengujian ini menggunakan eksekusi debug alur Anda pada himpunan data yang lebih kecil lalu mengekstrapolasi anggaran produksi Anda dari perkiraan ini.
Laporan konsumsi menyediakan nilai dalam unit. Untuk memperoleh perkiraan moneter dari ini, kalikan nilai unit dalam laporan ini dengan harga di wilayah Anda berdasarkan kalkulator harga Azure. Ini menghasilkan perkiraan untuk eksekusi alur tersebut. Praktik terbaik adalah menjalankan alur beberapa kali dengan himpunan data yang berbeda untuk mendapatkan rentang biaya dasar dan menggunakan rata-rata eksekusi tersebut untuk penganggahan Anda.
Pengoptimalan biaya Azure
Bagian ini membahas pengoptimalan biaya dengan manajemen biaya Microsoft, Azure Advisor, dan untuk instans cadangan di pabrik data.
Manajemen biaya Microsoft
Microsoft Azure menyediakan alat yang membantu Anda melacak, mengoptimalkan, dan mengontrol pengeluaran Azure Anda. Jika pengeluaran pabrik data Anda adalah prioritas utama, rekomendasinya adalah membuat grup sumber daya terpisah di Azure untuk setiap pabrik data. Dengan cara ini, mudah untuk membangun anggaran, melacak pengeluaran Anda, dan menerapkan kontrol biaya menggunakan Microsoft Cost Management.
Saat ini organisasi bekerja lebih keras daripada sebelumnya untuk mengontrol pengeluaran dan melakukan lebih banyak hal dengan lebih sedikit. Anda dapat menggunakan fitur anggaran Azure untuk mengatur batas pengeluaran pada penggunaan Azure Data Factory v2 dan grup sumber daya Azure keseluruhan yang Anda gunakan untuk pabrik data.
Dari jendela buat anggaran, gunakan filter untuk memilih layanan Azure Data Factory atau grup sumber daya.
Azure Advisor
Alat berharga lainnya untuk mengoptimalkan anggaran Azure Anda adalah Azure Advisor. Dengan Azure Advisor, Anda dapat menerima rekomendasi untuk mengurangi keseluruhan pengeluaran Azure Anda. Ini termasuk pemanfaatan harga instans cadangan Azure Data Factory untuk mengurangi biaya pemetaan aliran data. Anda juga dapat membayar biaya Azure Data Factory dengan kredit pra-pembayaran Azure Anda.
Instans yang dipesan di Azure Data Factory
Instans yang dipesan tersedia di Azure Data Factory untuk memetakan aliran data, yang dapat Anda gunakan untuk memberikan penghematan atas harga daftar normal aliran data. Dengan instans yang dipesan, Anda melakukan pra-pembelian reservasi 1 tahun atau 3 tahun pada tingkat diskon berdasarkan lamanya reservasi. Untuk melihat tampilan penghematan biaya yang disesuaikan menggunakan instans yang dipesan, navigasikan ke portal Azure dan pilih Reservasi, lalu pilih pabrik data. Dari sana, Anda akan memilih jenis aliran data yang biasanya Anda gunakan, dan portal Azure kemudian akan memperkirakan penghematan Anda di masa mendatang berdasarkan pemanfaatan pabrik data Anda sebelumnya.
Memesan kapasitas aliran data pemetaan menggunakan instans yang dipesan dapat memberikan diskon langsung pada keseluruhan pengeluaran pabrik data Anda yang terkait langsung dengan penggunaan aliran data Anda.
Melacak pengeluaran pabrik data Anda
Saat Anda membangun infrastruktur integrasi data di Azure, penting untuk melacak pengeluaran Anda dari waktu ke waktu. Ada beberapa cara untuk melacak anggaran pabrik data Anda. Secara default, pabrik data menyediakan biaya ringkasan all-up untuk pabrik Anda berdasarkan berbagai meter penagihan yang digunakan layanan.
Cara menggunakan tampilan terperinci penagihan alur
Anda dapat meminta pabrik data untuk menyediakan roll-up tingkat alur biaya Anda dengan mengatur pabrik untuk digunakan oleh penagihan alur sebagai opsi di bawah pengaturan pabrik.
Tampilan ini memberi Anda perincian pengeluaran pabrik data oleh setiap alur. Ini dapat berguna untuk mengaitkan biaya pada tingkat item baris daripada roll-up pabrik (yang merupakan default).
Tampilan tingkat alur tagihan pabrik data Anda berguna untuk mengaitkan biaya pabrik data secara keseluruhan ke setiap sumber daya alur. Ini juga berguna untuk menyediakan mekanisme yang mudah digunakan untuk menerapkan penagihan kembali kepada pengguna pabrik Anda, baik untuk konsumsi organisasi internal maupun penggunaan pelanggan atau mitra eksternal.
Cara menggunakan tag untuk atribusi biaya alur
Mekanisme lain untuk melacak biaya attributing untuk sumber daya pabrik data Anda adalah dengan menggunakan penandaan di pabrik Anda. Anda dapat menetapkan tag yang sama ke pabrik data dan sumber daya Azure lainnya, memasukkannya ke dalam kategori yang sama untuk melihat penagihan terkonsolidasi. Semua IR SSIS (SQL Server Integration Services) dalam pabrik mewarisi tag ini. Perlu diingat bahwa jika Anda mengubah tag pabrik data, Anda perlu menghentikan dan memulai ulang semua IR SSIS di dalam pabrik agar mereka mewarisi tag baru. Untuk detail selengkapnya, lihat bagian konfigurasi ulang runtime integrasi SSIS.