Bagikan melalui

Mengelola biaya untuk Azure Data Factory

  • Artikel

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menjelaskan cara merencanakan dan mengelola biaya untuk Azure Data Factory.

Pertama, pada awal proyek ETL, Anda menggunakan kombinasi harga Azure dan kalkulator konsumsi dan harga per alur untuk membantu merencanakan biaya Azure Data Factory sebelum Anda menambahkan sumber daya apa pun untuk layanan tersebut untuk memperkirakan biaya. Berikutnya, saat Anda menambahkan sumber daya Azure, tinjau perkiraan biayanya. Setelah mulai menggunakan sumber daya Azure Data Factory, gunakan fitur Cost Management untuk mengatur anggaran dan memantau biaya. Anda juga dapat meninjau perkiraan biaya dan mengidentifikasi tren pengeluaran untuk mengidentifikasi area yang ingin ditindaklanjuti. Biaya untuk Azure Data Factory hanya sebagian dari biaya bulanan dalam tagihan Azure Anda. Perhatikan bahwa artikel ini hanya menjelaskan cara merencanakan dan mengelola biaya untuk pabrik data. Anda ditagih untuk semua layanan dan sumber daya Azure yang digunakan dalam langganan Azure Anda, termasuk layanan pihak ketiga.

Prasyarat

Analisis biaya dalam Cost Management mendukung sebagian besar jenis akun Azure, tetapi tidak semuanya. Untuk melihat daftar lengkap jenis akun yang didukung, lihat Memahami data Manajemen Biaya. Untuk melihat data biaya, Anda memerlukan setidaknya akses baca untuk akun Azure. Untuk informasi terkait cara menetapkan akses ke data Azure Cost Management, lihat Menetapkan akses ke data.

Memperkirakan biaya sebelum menggunakan Azure Data Factory

Anda dapat menggunakan kalkulator harga ADF untuk mendapatkan perkiraan biaya menjalankan beban kerja ETL Anda di Azure Data Factory. Untuk menggunakan kalkulator, Anda harus memasukkan detail seperti jumlah eksekusi aktivitas, jumlah jam unit integrasi data, jenis komputasi yang digunakan untuk Aliran Data, jumlah inti, jumlah instans, durasi eksekusi, dan lain-lain.

Salah satu pertanyaan yang umum diajukan untuk kalkulator harga adalah nilai apa yang harus digunakan sebagai input. Selama fase tanda konsep, Anda dapat melakukan uji coba menggunakan himpunan data sampel untuk memahami konsumsi untuk berbagai meter Azure Data Factory. Kemudian berdasarkan konsumsi untuk himpunan data sampel, Anda dapat memproyesikan konsumsi untuk himpunan data lengkap dan jadwal operasional.

Catatan

Harga yang digunakan dalam contoh ini di bawah ini bersifat hipotetis dan tidak dimaksudkan untuk menyiratkan harga aktual.

Misalnya, Anda perlu memindahkan 1 TB data tiap hari dari AWS S3 ke Azure Data Lake Gen2. Anda dapat menjalankan POC untuk memindahkan data 100 GB guna mengukur throughput penyerapan data dan memahami konsumsi tagihan yang sesuai.

Berikut adalah contoh detail eksekusi aktivitas penyalinan (jarak tempuh aktual Anda akan bervariasi berdasarkan bentuk himpunan data tertentu, kecepatan jaringan, batas keluar pada akun S3, batas ingress pada ADLS Gen2, dan faktor lainnya).

Eksekusi salin S3

Dengan menggunakan pemantauan konsumsi pada tingkat eksekusi alur, Anda dapat melihat jumlah konsumsi pengukur pergerakan data yang sesuai:

Konsumsi alur salin S3

Oleh karena itu, jumlah total jam DIU yang diperlukan untuk memindahkan 1 TB per hari selama satu bulan penuh adalah:

1.2667 (jam DIU) * (1 TB/100 GB) * 30 (hari dalam sebulan) = 380 jam DIU

Sekarang Anda dapat menyambungkan 30 eksekusi aktivitas dan 380 jam DIU ke kalkulator harga Azure Data Factory untuk mendapatkan perkiraan tagihan bulanan Anda:

Kalkulator harga salin S3

Memahami model penagihan lengkap untuk Azure Data Factory

Azure Data Factory berjalan di infrastruktur Azure yang mengumpulkan biaya saat Anda menyebarkan sumber daya baru. Penting untuk dipahami bahwa biaya infrastruktur tambahan lainnya mungkin bertambah.

Cara Anda ditagih untuk Azure Data Factory

Azure Data Factory adalah layanan integrasi data tanpa server dan elastis yang dibangun untuk skala cloud. Tidak ada komputasi ukuran tetap yang perlu Anda rencanakan untuk beban puncak; sebaliknya Anda menentukan berapa banyak sumber daya untuk dialokasikan sesuai permintaan per operasi, yang memungkinkan Anda merancang proses ETL dengan cara yang jauh lebih dapat diskalakan. Selain itu, Azure Data Factory ditagih berdasarkan paket berbasis konsumsi, yang berarti Anda hanya membayar apa yang Anda gunakan.

Saat Anda membuat atau menggunakan sumber daya Azure Data Factory, Anda mungkin ditagih untuk meteran berikut:

  • Eksekusi Aktivitas Orkestrasi - Anda dikenakan biaya berdasarkan jumlah orkestra aktivitas yang dijalankan.
  • Jam Integrasi Data Unit (DIU) - Untuk aktivitas penyalinan yang berjalan pada Azure Integration Runtime, Anda dikenakan biaya berdasarkan jumlah DIU yang digunakan dan durasi eksekusi.
  • Jam vCore - untuk eksekusi dan penelusuran kesalahan aliran data, Anda dikenakan biaya berdasarkan jenis komputasi, jumlah vCore, dan durasi eksekusi.

Pada akhir siklus penagihan, biaya untuk setiap meter dijumlahkan. Tagihan atau faktur Anda memperlihatkan bagian untuk semua biaya Azure Data Factory. Ada item baris terpisah untuk setiap meter.

Biaya lain yang mungkin bertambah dengan Azure Data Factory

Saat Anda membuat sumber daya untuk Azure Data Factory (ADF), sumber daya untuk layanan Azure lainnya juga dibuat. Meliputi:

  • Eksekusi Aktivitas Alur
  • Eksekusi Aktivitas Alur Eksternal
  • Membuat/mengedit/mengambil/memantau artefak pabrik data
  • Durasi SSIS Microsoft Integration Runtime (IR) berdasarkan jenis dan durasi instans

Catatan

Anda dapat menetapkan tag yang sama ke ADF dan sumber daya Azure lainnya, memasukkannya ke dalam kategori yang sama untuk melihat penagihan konsolidasinya. Tag ADF akan diwarisi oleh semua IR SSIS di dalamnya. Jika Anda mengubah tag ADF, Anda harus menghentikan dan memulai ulang semua IR SSIS di dalamnya agar mereka mewarisi tag baru, lihat bagian Mengonfigurasi ulang IR SSIS.

Menggunakan Prabayar Azure dengan Azure Data Factory

Anda dapat membayar biaya Azure Data Factory dengan kredit Prabayar Azure Anda. Namun, Anda tidak dapat menggunakan kredit Azure Prepayment untuk membayar biaya untuk produk dan layanan pihak ketiga termasuk yang berasal dari Marketplace Azure.

Memantau biaya

Biaya Azure Data Factory dapat dipantau di tingkat pabrik, alur, eksekusi alur, dan eksekusi aktivitas.

Memantau biaya di tingkat pabrik dengan Analisis Biaya

Saat Anda menggunakan sumber daya Azure dengan Data Factory, Anda akan dikenakan biaya. Biaya unit penggunaan sumber daya Azure bervariasi menurut interval waktu (detik, menit, jam, dan hari) atau berdasarkan penggunaan unit (byte, megabyte, dan sebagainya). Setelah penggunaan Data Factory dimulai, biaya dikenakan dan Anda dapat melihat biaya dalam analisis biaya.

Saat menggunakan analisis biaya, Anda melihat biaya Data Factory dalam grafik dan tabel untuk interval waktu yang berbeda. Beberapa contohnya adalah harian, bulan ini dan sebelumnya, serta tahun. Anda juga dapat melihat biaya terhadap anggaran dan perkiraan biaya. Beralih ke tampilan yang lebih panjang dari waktu ke waktu dapat membantu Anda mengidentifikasi tren pengeluaran. Dan Anda melihat di mana pengeluaran berlebih mungkin telah terjadi. Jika Anda telah membuat anggaran, Anda juga dapat dengan mudah melihat di mana anggaran tersebut terlampaui.

Untuk melihat biaya Data Factory dalam analisis biaya:

  1. Masuk ke portal Azure.
  2. Buka lingkup di portal Microsoft Azure dan pilih Analisis biaya di menu. Misalnya, masuk ke Langganan, pilih langganan dari daftar, lalu pilih Analisis biaya di menu. Pilih Cakupan untuk beralih ke cakupan lain dalam analisis biaya.
  3. Secara default, biaya untuk layanan ditampilkan di bagan donat pertama. Pilih area dalam bagan berlabel Azure Data Factory v2.

Biaya bulanan aktual ditampilkan ketika Anda pertama kali membuka analisis biaya. Berikut ini contoh yang memperlihatkan semua biaya penggunaan bulanan.

Contoh yang menampilkan biaya yang terakumulasi untuk suatu langganan

  • Untuk mempersempit biaya satu layanan, seperti Data Factory, pilih Tambahkan filter, lalu pilih Nama layanan. Lalu, pilih Azure Data Factory v2.

Berikut contoh yang menunjukkan biaya hanya untuk Data Factory.

Contoh yang memperlihatkan akumulasi biaya untuk ServiceName

Dalam contoh sebelumnya, Anda melihat biaya layanan saat ini. Biaya menurut wilayah (lokasi) Azure dan biaya Data Factory berdasarkan grup sumber daya juga ditampilkan. Dari sini, Anda dapat mengeksplorasi sendiri informasi terkait biaya.

Memantau biaya pada tingkat alur dengan Analisis Biaya

Dalam kasus tertentu, Anda mungkin menginginkan perincian terperinci biaya operasi dalam pabrik kami, misalnya, untuk tujuan penagihan balik. Mengintegrasikan platform analisis biaya Penagihan Azure, Data Factory dapat memisahkan biaya penagihan untuk setiap alur. Dengan memilih dalam pelaporan tagihan terperinci Azure Data Factory untuk pabrik, Anda dapat lebih memahami berapa banyak setiap alur yang dikenakan biaya, dalam pabrik tersebut.

Anda perlu ikut serta untuk setiap pabrik yang ingin Anda tagihan terperinci. Untuk mengaktifkan fitur penagihan terperinci per alur,

  1. Buka portal Azure Data Factory
  2. Di bawah tab Kelola, pilih Pengaturan pabrik di bagian Umum
  3. Pilih Tampilkan laporan penagihan menurut alur
  4. Menerbitkan perubahan

Cuplikan layar langkah-langkah untuk mengaktifkan fitur penagihan per alur.

Catatan

Pengaturan penagihan alur terperinci tidak disertakan dalam templat ARM yang diekspor dari pabrik Anda. Itu berarti Integrasi dan Pengiriman Berkelanjutan (CI/CD) tidak akan menimpa perilaku penagihan untuk pabrik. Ini memungkinkan Anda mengatur perilaku penagihan yang berbeda untuk pabrik pengembangan, pengujian, dan produksi.

Setelah fitur diaktifkan, setiap alur akan memiliki entri terpisah dalam laporan Penagihan kami: Ini menunjukkan dengan tepat berapa banyak setiap biaya alur, dalam interval waktu yang dipilih. Ini memungkinkan Anda mengidentifikasi tren pengeluaran, dan melihat pengeluaran berlebihan, jika ada yang terjadi.

Cuplikan layar contoh memperlihatkan biaya terperinci untuk alur.

Dengan menggunakan alat grafik Analisis Biaya, Anda mendapatkan bagan dan garis tren serupa seperti yang ditunjukkan di atas, tetapi untuk alur individual. Anda juga mendapatkan tampilan ringkasan berdasarkan nama pabrik, karena nama pabrik disertakan dalam laporan penagihan, memungkinkan pemfilteran yang tepat jika diperlukan.

Perubahan hanya berdampak pada bagaimana tagihan dikeluarkan ke depannya, dan tidak mengubah biaya sebelumnya. Harap beri waktu sebelum perubahan diisi ke laporan penagihan: biasanya, perubahan tercermin dalam waktu 1 hari.

Peringatan

Dengan memilih pengaturan per penagihan, akan ada satu entri untuk setiap alur di pabrik Anda. Perlu diketahui secara khusus jika Anda memiliki jumlah alur yang berlebihan di pabrik, karena dapat memperpanjang dan mempersulit laporan penagihan Anda secara signifikan.

Batasan

Berikut ini adalah batasan yang diketahui dari fitur penagihan per alur. Pengukur penagihan ini tidak akan diajukan di bawah alur yang memutarnya, tetapi sebaliknya akan mengajukan di bawah item baris mundur untuk pabrik Anda.

Memantau konsumsi pada tingkat eksekusi alur di Azure Data Factory

Bergantung pada jenis aktivitas yang Anda miliki di alur Anda, berapa banyak data yang Anda pindahkan dan ubah, dan kompleksitas transformasi, menjalankan alur akan memutar pengukur penagihan yang berbeda di Azure Data Factory.

Anda dapat melihat jumlah konsumsi meter yang berbeda untuk tiap alur yang berjalan dalam pengalaman pengguna Azure Data Factory. Untuk membuka pengalaman pemantauan, pilih petak peta Pantau & Kelola di bilah pabrik data portal Microsoft Azure. Jika Anda sudah berada di ADF UX, pilih ikon Monitor di bar samping kiri. Tampilan pemantauan default adalah daftar eksekusi alur.

Mengeklik tombol Konsumsi di samping nama alur akan menampilkan jendela pop-up yang memperlihatkan konsumsi agregat eksekusi alur Anda di semua aktivitas dalam alur.

Konsumsi eksekusi alur

Detail konsumsi alur

Tampilan konsumsi eksekusi alur menunjukkan jumlah yang digunakan untuk setiap meter ADF untuk eksekusi alur tertentu, tetapi tidak menampilkan harga aktual yang ditagihkan, karena jumlah yang ditagihkan kepada Anda bergantung pada jenis akun Azure yang Anda miliki dan jenis mata uang yang digunakan. Untuk melihat daftar lengkap jenis akun yang didukung, lihat Memahami data Manajemen Biaya.

Memantau konsumsi pada tingkat eksekusi aktivitas di Azure Data Factory

Setelah Anda memahami konsumsi agregat pada tingkat eksekusi alur, ada skenario yang mengharuskan Anda menelusuri lebih lanjut dan mengidentifikasi mana yang merupakan aktivitas paling mahal dalam alur.

Untuk melihat konsumsi pada tingkat eksekusi aktivitas, buka antarmuka pengguna Penulis & Monitor pabrik data Anda. Dari tab Monitor tempat Anda melihat daftar eksekusi alur, pilih tautan nama alur untuk mengakses daftar aktivitas yang dijalankan dalam eksekusi alur. Pilih tombol Output di samping nama aktivitas dan cari properti billableDuration di output JSON:

Berikut adalah sampel dari aktivitas salin yang dijalankan:

Output salin

Dan berikut adalah sampel dari aktivitas Pemetaan Aliran Data yang dijalankan:

Output aliran data

Membuat anggaran

Anda dapat membuat anggaran untuk mengelola biaya dan membuat peringatan yang secara otomatis memberi tahu pemangku kepentingan tentang anomali pengeluaran dan risiko pengeluaran berlebihan. Peringatan didasarkan pada pengeluaran dibandingkan dengan ambang batas anggaran dan biaya. Anggaran dan peringatan dibuat untuk langganan Azure dan grup sumber daya, sehingga berguna sebagai bagian dari strategi pemantauan biaya secara keseluruhan.

Anggaran dapat dibuat dengan filter untuk sumber daya atau layanan tertentu di Azure jika Anda menginginkan lebih banyak granularitas yang ada dalam pemantauan Anda. Filter membantu memastikan bahwa Anda tidak membuat sumber daya baru yang menghabiskan biaya tambahan secara tidak sengaja. Untuk informasi lebih lanjut tentang opsi filter yang tersedia saat Anda membuat anggaran, lihat Opsi mengelompokkan dan memfilter.

Mengekspor data biaya

Anda juga dapat mengekspor data biaya ke akun penyimpanan. Ini berguna ketika Anda membutuhkan atau orang lain untuk melakukan analisis data lain untuk biaya. Misalnya, tim keuangan dapat menganalisis data menggunakan Excel atau Power BI. Anda dapat mengekspor biaya pada jadwal harian, mingguan, atau bulanan dan menetapkan rentang tanggal kustom. Mengekspor data biaya adalah cara yang disarankan untuk mengambil kumpulan data biaya.

Konten terkait