Rencanakan untuk mengelola biaya untuk Azure Data Factory

Azure Data Factory Azure Synapse Analytics

Tips

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

• Mulai uji coba gratis Fabric.
• Upgrade dari Azure Data Factory ke Data Factory di Microsoft Fabric.

Artikel ini menjelaskan cara Anda merencanakan dan mengelola biaya untuk Azure Data Factory.

Pertama, di awal proyek ETL, Anda menggunakan kombinasi kalkulator harga Azure dan kalkulator konsumsi per alur dan harga untuk membantu merencanakan biaya Azure Data Factory sebelum Anda menambahkan sumber daya apa pun untuk memperkirakan biaya layanan. Selanjutnya, saat Anda menambahkan sumber daya Azure, tinjau perkiraan biaya. Setelah Anda mulai menggunakan sumber daya Azure Data Factory, gunakan fitur Cost Management untuk menetapkan anggaran dan memantau biaya. Anda juga dapat meninjau perkiraan biaya dan mengidentifikasi tren pengeluaran untuk mengidentifikasi area tempat Anda mungkin ingin bertindak. Biaya untuk Azure Data Factory hanya sebagian dari biaya bulanan dalam tagihan Azure Anda. Perhatikan bahwa artikel ini hanya menjelaskan cara merencanakan dan mengelola biaya untuk pabrik data. Anda ditagih untuk semua layanan dan sumber daya Azure yang digunakan dalam langganan Azure Anda, termasuk layanan pihak ketiga.

Prasyarat

Analisis biaya dalam Cost Management mendukung sebagian besar jenis akun Azure, tetapi tidak semuanya. Untuk melihat daftar lengkap jenis akun yang didukung, lihat Memahami data Manajemen Biaya. Untuk melihat data biaya, Anda memerlukan setidaknya akses baca untuk akun Azure. Untuk informasi tentang menetapkan akses ke data Azure Cost Management, lihat Menetapkan akses ke data.

Memperkirakan biaya sebelum menggunakan Azure Data Factory

Gunakan kalkulator harga ADF untuk mendapatkan perkiraan biaya menjalankan beban kerja ETL Anda di Azure Data Factory. Untuk menggunakan kalkulator, Anda harus memasukkan detail seperti jumlah eksekusi aktivitas, jumlah jam unit integrasi data, jenis komputasi yang digunakan untuk Data Flow, jumlah inti, jumlah instans, durasi eksekusi, dan lain-lain.

Salah satu pertanyaan yang umum diajukan untuk kalkulator harga adalah nilai apa yang harus digunakan sebagai input. Selama fase bukti-konsep, Anda dapat melakukan uji coba menggunakan himpunan data sampel untuk memahami konsumsi untuk berbagai meter ADF. Kemudian berdasarkan konsumsi untuk himpunan data sampel, Anda dapat memproyesikan konsumsi untuk himpunan data lengkap dan jadwal operasional.

Catatan

Harga yang digunakan dalam contoh ini di bawah ini bersifat hipotetis dan tidak dimaksudkan untuk menyiratkan harga aktual.

Misalnya, Anda perlu memindahkan 1 TB data setiap hari dari AWS S3 ke Azure Data Lake Gen2. Anda dapat menjalankan POC untuk memindahkan data 100 GB guna mengukur throughput penyerapan data dan memahami konsumsi tagihan yang sesuai.

Berikut adalah contoh detail eksekusi aktivitas penyalinan (jarak tempuh aktual Anda akan bervariasi berdasarkan bentuk himpunan data tertentu, kecepatan jaringan, batas keluar pada akun S3, batas ingress pada ADLS Gen2, dan faktor lainnya).

Dengan menggunakan pemantauan konsumsi pada tingkat operasi pipeline, Anda dapat melihat jumlah pemakaian meteran pergerakan data yang sesuai:

Oleh karena itu, jumlah total jam DIU yang diperlukan untuk memindahkan 1 TB per hari selama satu bulan penuh adalah:

1.2667 (jam DIU) * (1 TB/100 GB) * 30 (hari dalam sebulan) = 380 jam DIU

Sekarang Anda dapat memasukkan 30 aktivitas berjalan dan 380 jam DIU ke dalam kalkulator harga Azure Data Factory untuk mendapatkan perkiraan tagihan bulanan Anda.

Memahami model penagihan lengkap untuk Azure Data Factory

Azure Data Factory berjalan pada infrastruktur Azure yang mengumpulkan biaya saat Anda menyebarkan sumber daya baru. Penting untuk dipahami bahwa biaya infrastruktur tambahan lainnya mungkin bertambah.

Bagaimana Anda dikenakan biaya untuk Azure Data Factory

Azure Data Factory adalah layanan integrasi data tanpa server dan elastis yang dibangun untuk skala cloud. Tidak ada komputasi ukuran tetap yang perlu Anda rencanakan untuk beban puncak; sebaliknya Anda menentukan berapa banyak sumber daya untuk dialokasikan sesuai permintaan per operasi, yang memungkinkan Anda merancang proses ETL dengan cara yang jauh lebih dapat diskalakan. Selain itu, Azure Data Factory ditagih berdasarkan paket berbasis konsumsi, yang berarti Anda hanya membayar apa yang Anda gunakan.

Saat membuat atau menggunakan sumber daya Azure Data Factory, Anda mungkin dikenakan biaya untuk meteran berikut:

• Aktivitas Orkestrasi - Anda dikenakan biaya berdasarkan jumlah aktivitas yang diorkestrasikan.
• Jam Unit Integrasi Data (DIU) - Untuk aktivitas penyalinan yang berjalan pada Azure Integration Runtime, Anda dikenakan biaya berdasarkan jumlah DIU yang digunakan dan durasi eksekusi.
• Jam vCore - untuk eksekusi dan penelusuran kesalahan aliran data, Anda dikenakan biaya berdasarkan jenis komputasi, jumlah vCore, dan durasi eksekusi.

Pada akhir siklus penagihan, biaya untuk setiap meter dijumlahkan. Tagihan atau faktur Anda memperlihatkan bagian untuk semua biaya Azure Data Factory. Ada item baris terpisah untuk setiap meter.

Biaya lain yang mungkin bertambah dengan Azure Data Factory

Saat Anda membuat sumber daya untuk Azure Data Factory (ADF), sumber daya untuk layanan Azure lainnya juga dibuat. Meliputi:

• Eksekusi Aktivitas Pengelolaan Pipa
• Eksekusi Aktivitas Alur Eksternal
• Membuat/mengedit/mengambil/memantau artefak pusat data
• Durasi SSIS Integration Runtime (IR) berdasarkan jenis instans dan durasinya

Catatan

Anda dapat menetapkan tag yang sama ke ADF dan sumber daya Azure lainnya, memasukkannya ke dalam kategori yang sama untuk melihat penagihan terkonsolidasi. Tag ADF akan diwarisi oleh semua IR SSIS yang ada di dalamnya. Jika Anda mengubah tag ADF, Anda harus menghentikan dan memulai ulang semua IR SSIS di dalamnya agar mereka mewarisi tag baru, lihat bagian Mengonfigurasi ulang IR SSIS.

Menggunakan Saldo Prabayar Azure dengan Azure Data Factory

Anda dapat membayar biaya Azure Data Factory dengan kredit Prabayar Azure Anda. Namun, Anda tidak dapat menggunakan kredit prabayar Azure untuk membayar biaya untuk produk dan layanan pihak ketiga termasuk yang berasal dari Marketplace Azure.

Memantau biaya

Biaya Azure Data Factory dapat dipantau di tingkat fasilitas, alur, eksekusi alur, dan eksekusi aktivitas.

Memantau biaya di tingkat pabrik dengan Analisis Biaya

Saat Anda menggunakan sumber daya Azure dengan Data Factory, Anda dikenakan biaya. Azure biaya unit pemakaian sumber daya bervariasi menurut interval waktu (detik, menit, jam, dan hari) atau berdasarkan pemakaian unit (byte, megabyte, dan sebagainya). Segera setelah penggunaan Data Factory dimulai, biaya mulai timbul dan Anda dapat melihat biaya dalam analisis biaya.

Saat menggunakan analisis biaya, Anda melihat biaya Data Factory dalam grafik dan tabel untuk interval waktu yang berbeda. Beberapa contohnya adalah harian, bulan ini dan sebelumnya, serta tahun. Anda juga dapat melihat biaya dibandingkan dengan anggaran dan biaya yang diperkirakan. Beralih ke tampilan yang lebih panjang dari waktu ke waktu dapat membantu Anda mengidentifikasi tren pengeluaran. Dan Anda melihat di mana pengeluaran berlebih mungkin telah terjadi. Jika Anda telah membuat anggaran, Anda juga dapat dengan mudah melihat di mana anggaran tersebut terlampaui.

Untuk melihat biaya Data Factory dalam analisis biaya:

1. Masuk ke portal Azure.
2. Buka cakupan di portal Azure dan pilih Analisis Biaya di menu. Misalnya, masuk ke Langganan, pilih langganan dari daftar, lalu pilih Analisis biaya di menu. Pilih Cakupan untuk beralih ke cakupan lain dalam analisis biaya.
3. Secara default, biaya untuk layanan ditampilkan di bagan donat pertama. Pilih area dalam bagan berlabel Azure Data Factory v2.

Biaya bulanan aktual ditampilkan ketika Anda pertama kali membuka analisis biaya. Berikut ini contoh yang memperlihatkan semua biaya penggunaan bulanan.

• Untuk mempersempit biaya satu layanan, seperti Data Factory, pilih Tambahkan filter, lalu pilih Nama layanan. Kemudian, pilih Azure Data Factory v2.

Berikut contoh yang menunjukkan biaya hanya untuk Data Factory.

Dalam contoh sebelumnya, Anda melihat biaya layanan saat ini. Biaya berdasarkan wilayah Azure (lokasi) dan biaya Data Factory berdasarkan grup sumber daya juga ditampilkan. Dari sini, Anda dapat mengeksplorasi sendiri informasi terkait biaya.

Memantau biaya pada tingkat alur dengan Analisis Biaya

Dalam kasus tertentu, Anda mungkin menginginkan perincian terperinci biaya operasi dalam pabrik kami, misalnya, untuk tujuan penagihan balik. Mengintegrasikan Azure Billing cost analysis platform, Data Factory dapat memisahkan biaya penagihan untuk setiap alur. Dengan memilih untuk mengikuti pelaporan terperinci penagihan Azure Data Factory untuk suatu pabrik, Anda dapat lebih memahami berapa biaya setiap pipeline dalam Azure Data Factory tersebut.

Anda perlu mendaftar untuk setiap pabrik yang Anda inginkan tagihannya terperinci. Untuk mengaktifkan fitur penagihan terperinci per alur,

1. Buka portal Azure Data Factory
2. Di bawah tab Kelola, pilih Pengaturan pabrik di bagian Umum
3. Pilih Tampilkan laporan penagihan menurut alur
4. Menerbitkan perubahan

Catatan

Pengaturan penagihan alur terperinci tidak disertakan dalam templat ARM yang diekspor dari pabrik Anda. Itu berarti Integrasi dan Pengiriman Berkelanjutan (CI/CD) tidak akan menimpa proses penagihan untuk pabrik. Ini memungkinkan Anda mengatur perilaku penagihan yang berbeda untuk pabrik pengembangan, pengujian, dan produksi.

Setelah fitur diaktifkan, setiap alur akan memiliki entri terpisah dalam laporan Penagihan kami: Ini menunjukkan dengan tepat berapa banyak setiap biaya alur, dalam interval waktu yang dipilih. Ini memungkinkan Anda mengidentifikasi tren pengeluaran, dan melihat pengeluaran berlebihan, jika ada yang terjadi.

Dengan menggunakan alat grafik Analisis Biaya, Anda mendapatkan bagan dan garis tren serupa seperti yang ditunjukkan di atas, tetapi untuk alur individual. Anda juga mendapatkan tampilan ringkasan berdasarkan nama pabrik, karena nama pabrik disertakan dalam laporan penagihan, memungkinkan pemfilteran yang tepat jika diperlukan.

Perubahan hanya berdampak pada bagaimana tagihan dikeluarkan ke depannya, dan tidak mengubah biaya sebelumnya. Harap beri waktu sebelum perubahan diisi ke laporan penagihan: biasanya, perubahan tercermin dalam waktu 1 hari.

Peringatan

Dengan memilih pengaturan per penagihan, akan ada satu entri untuk setiap alur di pabrik Anda. Harap diperhatikan secara khusus jika Anda memiliki jumlah pipa yang berlebihan di pabrik, karena hal ini dapat memperpanjang dan mempersulit laporan penagihan Anda secara signifikan.

Batasan

Berikut ini adalah batasan yang diketahui dari fitur penagihan per alur. Pengukur penagihan ini tidak akan diajukan di bawah sistem yang memutarnya, tetapi akan diajukan sebagai item cadangan untuk pabrik Anda.

• Biaya Operasi Data Factory, termasuk Baca/Tulis dan Pemantauan
• Biaya untuk node Azure Data Factory Layanan Integrasi SQL Server (SSIS)
• Jika Anda memiliki Time to Live (TTL) dengan dikonfigurasi untuk Azure Integration Runtime (runtime integrasi Azure), aktivitas Data Flow yang berjalan pada runtime integrasi ini tidak akan terdaftar di bawah alur pipa individual.

Memantau konsumsi pada tingkat eksekusi alur di Azure Data Factory

Bergantung pada jenis aktivitas yang Anda miliki dalam alur kerja Anda, berapa banyak data yang Anda pindahkan dan ubah, serta kompleksitas transformasi, menjalankan alur akan mengaktifkan pengukur penagihan yang berbeda dalam Azure Data Factory.

Anda dapat melihat jumlah konsumsi untuk meter yang berbeda untuk eksekusi alur individual dalam pengalaman pengguna Azure Data Factory. Untuk membuka antarmuka pemantauan, pilih Monitor & Kelola di panel Data Factory dari portal Azure. Jika Anda sudah berada di ADF UX, pilih ikon Monitor di bar samping kiri. Tampilan pemantauan default adalah daftar jalinan pemrosesan.

Mengeklik tombol Konsumsi di samping nama alur akan menampilkan jendela pop-up yang memperlihatkan konsumsi agregat eksekusi alur Anda di semua aktivitas dalam alur.

Tampilan konsumsi jalur pipeline menunjukkan jumlah yang dikonsumsi oleh setiap meter ADF untuk jalur pipeline tertentu. Namun, tampilan ini tidak menunjukkan harga aktual yang dibebankan, karena jumlah yang ditagihkan kepada Anda bergantung pada jenis akun Azure yang Anda miliki dan jenis mata uang yang digunakan. Untuk melihat daftar lengkap jenis akun yang didukung, lihat Memahami data Manajemen Biaya.

Memantau penggunaan sumber daya pada level eksekusi aktivitas di Azure Data Factory

Setelah Anda memahami konsumsi agregat pada tingkat jalur-pipa, ada skenario yang mengharuskan Anda menelusuri lebih lanjut dan mengidentifikasi kegiatan mana yang merupakan yang paling mahal dalam jalur-pipa.

Untuk melihat konsumsi pada tingkat eksekusi aktivitas, buka antarmuka pengguna Penulis & Monitor pabrik data Anda. Dari tab Monitor tempat Anda melihat daftar eksekusi pipeline, pilih tautan nama pipeline untuk mengakses daftar aktivitas yang dijalankan dalam satu eksekusi pipeline. Pilih tombol Output di samping nama aktivitas dan cari properti billableDuration di output JSON:

Berikut adalah sampel dari aktivitas salin yang dijalankan:

Dan berikut adalah sampel dari aktivitas Data Flow Pemetaan yang dijalankan:

Membuat anggaran

Anda dapat membuat anggaran untuk mengelola biaya dan membuat peringatan yang secara otomatis memberi tahu pemangku kepentingan tentang anomali pengeluaran dan risiko pengeluaran berlebihan. Peringatan didasarkan pada pengeluaran dibandingkan dengan ambang batas anggaran dan biaya. Anggaran dan pemberitahuan dibuat untuk langganan Azure dan grup sumber daya, sehingga berguna sebagai bagian dari strategi pemantauan biaya secara keseluruhan.

Anggaran dapat dibuat dengan filter untuk sumber daya atau layanan tertentu di Azure jika Anda menginginkan lebih banyak granularitas yang ada dalam pemantauan Anda. Filter membantu memastikan bahwa Anda tidak membuat sumber daya baru yang menghabiskan biaya tambahan secara tidak sengaja. Untuk informasi lebih lanjut tentang opsi filter yang tersedia saat Anda membuat anggaran, lihat Opsi mengelompokkan dan memfilter.

Data biaya ekspor

Anda juga dapat mengekspor data biaya ke akun penyimpanan. Ini berguna ketika Anda memerlukan atau orang lain memerlukan analisis data lain terkait biaya. Misalnya, tim keuangan dapat menganalisis data menggunakan Excel atau Power BI. Anda dapat mengekspor biaya pada jadwal harian, mingguan, atau bulanan dan menetapkan rentang tanggal kustom. Mengekspor data biaya adalah cara yang disarankan untuk mengambil kumpulan data biaya.

Konten terkait

• Pelajari cara mengoptimalkan investasi cloud Anda dengan Azure Cost Management.
• Pelajari lebih lanjut mengelola biaya dengan analisis biaya.
• Pelajari cara mencegah biaya tak terduga.
• Ikuti kursus pembelajaran terpandu Cost Management.
• halaman harga dari Azure Data Factory
• Pahami Azure Data Factory melalui contoh
• Azure Data Factory kalkulator penetapan harga