Ekstraksi, transformasi, dan pemuatan (ETL)

Microsoft Fabric
Azure Data Factory

Organisasi biasanya perlu mengumpulkan data dari beberapa sumber dalam berbagai format dan memindahkannya ke satu atau beberapa penyimpanan data. Tujuan mungkin bukan jenis penyimpanan data yang sama dengan sumbernya, dan data sering kali perlu dibentuk, dibersihkan, atau diubah sebelum dimuat.

Berbagai alat, layanan, dan proses membantu mengatasi tantangan ini. Terlepas dari pendekatannya, Anda perlu mengoordinasikan pekerjaan dan menerapkan transformasi data dalam alur data. Bagian berikut menyoroti metode dan praktik umum untuk tugas-tugas ini.

Proses ekstrak, transformasi, muat (ETL)

Ekstrak, transformasi, muat (ETL) adalah proses integrasi data yang mengonsolidasikan data dari berbagai sumber ke dalam penyimpanan data terpadu. Selama fase transformasi, data dimodifikasi sesuai dengan aturan bisnis menggunakan mesin khusus. Ini sering melibatkan tabel penahapan yang untuk sementara menyimpan data saat diproses dan pada akhirnya dimuat ke tujuannya.

Diagram proses ekstrak, transformasi, pemuatan (ETL).

Transformasi data yang terjadi biasanya melibatkan berbagai operasi, seperti penyaringan, penyortiran, penggabungan, penggabungan data, membersihkan data, menghilangkan duplikasi, dan validasi data.

Seringkali, tiga fase ETL berjalan secara paralel untuk menghemat waktu. Misalnya, saat data sedang diekstrak, proses transformasi dapat bekerja pada data yang sudah diterima dan menyiapkannya untuk pemuatan, dan proses pemuatan dapat mulai mengerjakan data yang disiapkan, daripada menunggu seluruh proses ekstraksi selesai. Anda biasanya merancang paralelisasi seputar batas partisi data (tanggal, penyewa, kunci shard) untuk menghindari ketidakcocokan tulis dan mengaktifkan percobaan ulang idempoten.

Layanan yang relevan:

Alat lain:

Ekstrak, muat, transformasi (ELT)

Ekstrak, muat, transformasi (ELT) berbeda dari ETL semata-mata di mana transformasi terjadi. Dalam alur ELT, transformasi terjadi di penyimpanan data target. Alih-alih menggunakan mesin transformasi terpisah, kemampuan pemrosesan penyimpanan data target digunakan untuk mengubah data. Ini menyederhanakan arsitektur dengan menghapus mesin transformasi dari alur. Manfaat lain untuk pendekatan ini adalah bahwa penskalaan penyimpanan data target juga menskalakan performa alur ELT. Namun, ELT hanya bekerja dengan baik ketika sistem target cukup kuat untuk mengubah data secara efisien.

Diagram proses ekstrak, muat, transformasi (ELT).

Kasus penggunaan khas untuk ELT termasuk dalam ranah data besar. Misalnya, Anda mungkin mulai dengan mengekstrak data sumber ke file datar dalam penyimpanan yang dapat diskalakan, seperti Hadoop Distributed File System (HDFS), penyimpanan blob Azure, atau Azure Data Lake Storage Gen2. Teknologi seperti Spark, Apache Hive, atau PolyBase, kemudian dapat digunakan untuk mengkueri data sumber. Poin utama dengan ELT adalah bahwa penyimpanan data yang digunakan untuk melakukan transformasi adalah penyimpanan data yang sama di mana data akhirnya dikonsumsi. Penyimpanan data ini membaca langsung dari penyimpanan yang dapat diskalakan, alih-alih memuat data ke penyimpanan terpisahnya sendiri. Pendekatan ini melewati langkah-langkah penyalinan data yang ada di ETL, yang sering kali dapat memakan waktu untuk himpunan data besar. Beberapa beban kerja mewujudkan tabel atau tampilan yang diubah untuk meningkatkan performa kueri atau menerapkan aturan tata kelola; ELT tidak selalu menyiratkan transformasi virtual murni.

Fase akhir alur ELT biasanya mengubah data sumber menjadi format yang lebih efisien untuk jenis kueri yang perlu didukung. Misalnya, data mungkin dipartisi oleh kunci yang umum difilter. ELT mungkin juga menggunakan format penyimpanan yang dioptimalkan seperti Parquet, yang merupakan format penyimpanan kolom yang mengatur data menurut kolom untuk mengaktifkan pemadatan, pendorongan predikat, dan pemindaian analitik yang efisien.

Layanan Microsoft yang relevan:

Memilih ETL atau ELT

Pilihan antara pendekatan ini tergantung pada kebutuhan Anda.

Pilih ETL saat:

  • Anda perlu membongkar transformasi berat dari sistem target yang dibatasi
  • Aturan bisnis yang kompleks memerlukan mesin transformasi khusus
  • Persyaratan peraturan atau kepatuhan mengamanatkan audit penahapan yang dikumpulkan sebelum memuat

Pilih ELT saat:

  • Sistem target Anda adalah gudang data modern atau lakehouse dengan penskalaan komputasi elastis
  • Anda perlu mempertahankan data mentah untuk analisis eksploratif atau evolusi skema di masa mendatang
  • Keuntungan logika transformasi dari kemampuan asli sistem target

Aliran data dan aliran kontrol

Dalam konteks alur data, alur kontrol memastikan pemrosesan tugas yang teratur. Untuk menegakkan urutan pemrosesan yang benar dari tugas-tugas ini, batasan prioritas digunakan. Anda dapat menganggap batasan ini sebagai konektor dalam diagram alur kerja, seperti yang ditunjukkan pada gambar berikut. Setiap tugas memiliki hasil, seperti keberhasilan, kegagalan, atau penyelesaian. Setiap tugas berikutnya tidak memulai pemrosesan sampai pendahulunya selesai dengan salah satu hasil ini.

Aliran kontrol mengeksekusi aliran data sebagai tugas. Dalam tugas aliran data, data diekstraksi dari sumber, diubah, atau dimuat ke dalam penyimpanan data. Output dari satu tugas aliran data dapat menjadi input ke tugas aliran data berikutnya, dan aliran data dapat berjalan secara paralel. Tidak seperti alur kontrol, Anda tidak dapat menambahkan batasan antar tugas dalam aliran data. Namun, Anda dapat menambahkan penampil data untuk mengamati data saat diproses oleh setiap tugas.

Diagram aliran data yang dijalankan sebagai tugas dalam aliran kontrol.

Dalam diagram, ada beberapa tugas dalam alur kontrol, salah satunya adalah tugas aliran data. Salah satu tugas bersarang di dalam kontainer. Kontainer dapat digunakan untuk menyediakan struktur untuk tugas-tugas, menyediakan unit kerja. Salah satu contohnya adalah mengulangi elemen dalam koleksi, seperti file dalam folder atau pernyataan database.

Layanan yang relevan:

ETL Terbalik

Reverse ETL adalah proses pemindahan data yang diubah dan dimodelkan dari sistem analitik menjadi alat dan aplikasi operasional. Tidak seperti ETL tradisional, yang mengalirkan data dari sistem operasional ke analitik, ETL terbalik mengaktifkan wawasan dengan mendorong data yang dikumpulkan kembali ke tempat pengguna bisnis dapat bertindak di atasnya. Dalam alur ETL terbalik, data mengalir dari gudang data, lakehouse, atau penyimpanan analitik lainnya ke sistem operasional seperti:

  • Platform manajemen hubungan pelanggan (CRM)
  • Alat otomatisasi pemasaran
  • Sistem dukungan pelanggan
  • Database beban kerja

Pendekatan ini masih mengikuti proses ekstraksi, transformasi, dan beban. Langkah transformasi adalah tempat Anda mengonversi dari format tertentu yang digunakan oleh gudang data Anda atau sistem analitik lainnya untuk menyelaraskan dengan sistem target Anda.

Lihat Mengekstrak balik, mengubah, & memuat (ETL) dengan Azure Cosmos DB untuk NoSQL misalnya.

Streaming data dan arsitektur jalur panas

Saat Anda memerlukan jalur panas Lambda atau arsitektur Kappa, Anda dapat berlangganan sumber data saat data dihasilkan. Tidak seperti ETL atau ELT, yang beroperasi pada himpunan data dalam batch terjadwal, streaming real time memproses data saat tiba, memungkinkan wawasan dan tindakan segera.

Diagram proses pendorongan, transformasi, dan pemuatan.

Dalam arsitektur streaming, data diserap dari sumber peristiwa ke broker pesan atau hub peristiwa (seperti Azure Event Hubs atau Kafka), lalu diproses oleh prosesor stream (seperti Fabric Real-Time Intelligence, Azure Stream Analytics, atau Apache Flink). Prosesor menerapkan transformasi seperti memfilter, menggabungkan, memperkaya, atau bergabung dengan data referensi—semuanya bergerak—sebelum merutekan hasil ke sistem hilir seperti dasbor, pemberitahuan, atau database.

Pendekatan ini sangat ideal untuk skenario di mana latensi rendah dan pembaruan berkelanjutan sangat penting, seperti:

  • Memantau peralatan manufaktur untuk anomali
  • Mendeteksi penipuan dalam transaksi keuangan
  • Mendukung dasbor real-time untuk logistik atau operasi
  • Memicu pemberitahuan berdasarkan ambang sensor

Pertimbangan keandalan untuk streaming

  • Gunakan titik pemeriksaan untuk menjamin pemrosesan setidaknya sekali dan pulih dari kegagalan
  • Mendesain transformasi agar idempotensi untuk menangani potensi pemrosesan duplikat
  • Menerapkan watermarking untuk peristiwa yang terlambat tiba dan pemrosesan yang tidak berurutan
  • Gunakan antrean surat mati untuk pesan yang tidak dapat diproses

Pilihan teknologi

Penyimpanan data:

Alur dan orkestrasi:

Lakehouse dan analitik modern:

Langkah berikutnya

Panduan keputusan fabric untuk transformasi data