Menjelaskan proses pabrik data
Alur kerja berbasis data
Alur (alur kerja berbasis data) di Azure Data Factory biasanya melakukan tiga langkah berikut:
Menyambungkan dan mengumpulkan
Langkah pertama dalam membuat sistem orkestrasi adalah menentukan dan menghubungkan semua sumber data yang diperlukan bersama-sama, seperti database, berbagi file, dan layanan web FTP. Langkah selanjutnya adalah menyerap data sesuai kebutuhan ke lokasi terpusat untuk pemrosesan berikutnya.
Mengubah dan memperkaya
Layanan komputasi seperti Databricks dan ML dapat digunakan untuk menyiapkan atau menghasilkan data transformasi pada jadwal yang dapat dipertahankan dan dikontrol untuk mengumpan lingkungan produksi dengan data yang dibersihkan dan ditransformasi. Dalam beberapa kasus, Anda bahkan dapat menambahkan data sumber dengan data tambahan untuk membantu analisis, atau mengonsolidasikannya melalui proses normalisasi yang akan digunakan dalam eksperimen ML sebagai contoh.
Terbitkan
Setelah data mentah disempurnakan dalam bentuk yang siap dipakai dalam dunia bisnis dari tahap transformasi dan pengayaan, Anda dapat muat data ke Azure Data Warehouse, Azure SQL Database, Azure Cosmos DB, atau mesin analitik apa pun yang dapat diarahkan pengguna bisnis Anda dari alat inteligensi bisnis mereka
Monitor
Azure Data Factory memiliki dukungan bawaan untuk pemantauan alur melalui Azure Monitor, API, PowerShell, log Azure Monitor, dan panel kesehatan di portal Azure, untuk memantau aktivitas dan alur terjadwal untuk tingkat keberhasilan dan kegagalan.