FAQ Azure Data Factory

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menyediakan jawaban untuk tanya jawab umum tentang Azure Data Factory.

Apa itu Azure Data Factory?

Azure Data Factory adalah layanan ETL integrasi data berbasis cloud yang dikelola penuh yang mengotomatiskan pergerakan dan transformasi data. Seperti pabrik yang menjalankan peralatan untuk mengubah bahan baku menjadi barang jadi, Azure Data Factory mengorkestrasi layanan yang ada yang mengumpulkan data mentah dan mengubahnya menjadi informasi yang siap digunakan.

Dengan menggunakan Azure Data Factory, Anda dapat membuat alur kerja berbasis data untuk memindahkan data antara penyimpanan data lokal dan cloud. Anda juga dapat memproses dan mengubah data dengan Aliran Data. ADF juga mendukung mesin komputasi eksternal untuk transformasi kode manual menggunakan layanan komputasi seperti Azure HDInsight, Azure Databricks, dan runtime integrasi SQL Server Integration Services (SSIS).

Dengan Azure Data Factory, Anda dapat menjalankan pemrosesan data baik di layanan cloud berbasis Azure maupun di lingkungan komputasi mandiri Anda sendiri, seperti SSIS, SQL Server, atau Oracle. Setelah membuat alur yang menjalankan tindakan yang Anda butuhkan, Anda dapat menjadwalkannya agar berjalan secara berkala (per jam, harian, atau mingguan, misalnya), penjadwalan jendela waktu, atau memicu alur dari kemunculan kejadian. Untuk informasi selengkapnya, lihat Pengantar Azure Data Factory.

Pertimbangan Kepatuhan dan Keamanan

Azure Data Factory disertifikasi untuk berbagai sertifikasi kepatuhan, termasuk SOC 1, 2, 3, HIPAA BAA, dan HITRUST. Daftar lengkap dan berkembang sertifikasi dapat ditemukan di sini. Salinan digital untuk laporan audit dan sertifikasi kepatuhan dapat ditemukan di Pusat Kepercayaan Layanan

Mengontrol aliran dan skala

Untuk mendukung beragam alur dan pola integrasi di gudang data modern, Azure Data Factory memungkinkan pemodelan alur data yang fleksibel. Ini memerlukan paradigma pemrograman alur kontrol penuh, yang mencakup eksekusi bersyarat, pencabangan dalam alur data, dan kemampuan untuk secara eksplisit melewati parameter di dalam dan di seluruh alur ini. Alur kontrol juga mencakup transformasi data melalui pengiriman aktivitas ke mesin eksekusi eksternal dan kemampuan alur data, termasuk pergerakan data dalam skala besar, melalui aktivitas Salin.

Azure Data Factory memberikan kebebasan untuk memodelkan gaya alur apa pun yang diperlukan untuk integrasi data dan yang dapat dikirim sesuai permintaan atau berulang kali sesuai jadwal. Beberapa alur umum yang diaktifkan model ini adalah:

• Alur kontrol:
  • Aktivitas dapat disatukan secara berurutan dalam alur.
  • Aktivitas dapat dicabangkan dalam alur.
  • Parameter:
    • Parameter dapat didefinisikan pada tingkat alur dan argumen dapat diteruskan saat Anda memanggil alur sesuai permintaan atau dari pemicu.
    • Aktivitas dapat mengonsumsi argumen yang diteruskan ke pipeline.
  • Status kustom melewati:
    • Output aktivitas, termasuk status, dapat dikonsumsi oleh aktivitas berikutnya dalam alur.
  • Kontainer perulangan:
    • Aktivitas foreach akan mengulangi koleksi aktivitas tertentu dalam perulangan.
• Alur berbasis pemicu:
  • Alur dapat dipicu sesuai permintaan, berdasarkan waktu jam dinding, atau sebagai respons terhadap topik Event Grid
• Alur delta:
  • Parameter dapat digunakan untuk menentukan marka air tinggi Anda untuk salinan delta saat memindahkan tabel dimensi atau referensi dari penyimpanan relasional, baik lokal maupun di cloud, untuk memuat data ke dalam danau.

Untuk informasi selengkapnya, lihat Tutorial: Alur kontrol.

Data yang diubah sesuai skala dengan alur bebas kode

Pengalaman peralatan berbasis browser baru menyediakan penulisan dan penyebaran alur bebas kode dengan pengalaman berbasis web interaktif yang modern.

Untuk pengembang data visual dan insinyur data, antarmuka pengguna web Azure Data Factory adalah lingkungan desain bebas kode yang akan Anda gunakan untuk membangun alur. Ini sepenuhnya terintegrasi dengan Visual Studio Codespace Git dan menyediakan integrasi untuk CI/CD dan pengembangan berulang dengan opsi debugging.

SDK lintas platform yang kaya untuk pengguna tingkat lanjut

Azure Data Factory V2 menyediakan sekumpulan SDK kaya yang dapat digunakan untuk menulis, mengelola, dan memantau alur menggunakan IDE favorit Anda, termasuk:

• Python SDK
• PowerShell CLI
• C# SDK

Pengguna juga dapat menggunakan API REST yang didokumentasikan untuk berinteraksi dengan Azure Data Factory V2.

Pengembangan dan penelusuran kesalahan berulang menggunakan alat visual

Alat visual Azure Data Factory memungkinkan pengembangan dan penelusuran kesalahan berulang. Anda dapat membuat alur dan melakukan uji coba menggunakan kemampuan Debug di kanvas alur tanpa menulis satu baris kode pun. Anda dapat melihat hasil uji coba yang berjalan di jendela Output kanvas alur Anda. Setelah uji coba berhasil, Anda dapat menambahkan lebih banyak aktivitas ke alur dan melanjutkan penelusuran kesalahan dengan cara yang berulang. Anda juga dapat membatalkan uji coba setelah uji coba berlangsung.

Anda tidak diharuskan memublikasikan perubahan Anda pada layanan pabrik data sebelum memilih Debug. Ini berguna dalam skenario ketika Anda ingin memastikan penambahan atau perubahan baru akan berfungsi seperti yang diharapkan sebelum Anda memperbarui alur kerja pabrik data Anda di lingkungan pengembangan, pengujian, atau produksi.

Kemampuan untuk menyebarkan paket SSIS ke Azure

Jika ingin memindahkan beban kerja SSIS, Anda dapat membuat Azure Data Factory dan menyediakan runtime integrasi Azure-SSIS. Runtime integrasi Azure-SSIS adalah kluster komputer virtual Azure (simpul) yang dikelola penuh dan didedikasikan untuk menjalankan paket SSIS Anda di cloud. Untuk instruksi langkah demi langkah, lihat tutorial Menyebarkan paket SSIS ke Azure.

SDK

Jika Anda adalah pengguna tingkat lanjut dan mencari antarmuka terprogram, Azure Data Factory menyediakan sekumpulan SDK kaya yang dapat Anda gunakan untuk menulis, mengelola, atau memantau alur menggunakan IDE favorit Anda. Dukungan bahasa mencakup .NET, PowerShell, Python, dan REST.

Pemantauan

Anda dapat memantau Azure Data Factory melalui PowerShell, SDK, atau Alat Pemantauan Visual di antarmuka pengguna browser. Anda dapat memantau dan mengelola alur kustom sesuai permintaan, berbasis pemicu, dan berbasis jam dengan cara yang efisien dan efektif. Batalkan tugas yang ada, lihat kegagalan sekilas, telusuri paling detail untuk mendapatkan pesan kesalahan mendetail, dan men-debug masalah, semua dari satu panel kaca tanpa harus beralih atau menavigasi bolak-balik di antara layar.

Fitur baru untuk SSIS di Azure Data Factory

Sejak rilis pratinjau publik awal pada tahun 2017, Azure Data Factory sudah menambahkan fitur berikut untuk SSIS:

• Dukungan untuk tiga konfigurasi/varian Azure SQL Database lainnya untuk menghosting database SSIS (SSISDB) proyek/paket:
• SQL Database dengan titik akhir layanan jaringan virtual
• Instans Terkelola SQL
• Kumpulan elastis
• Dukungan untuk jaringan virtual Azure Resource Manager di atas jaringan virtual klasik yang ditolak di masa depan, yang memungkinkan Anda menyuntikkan/menggabungkan runtime integrasi Azure-SSIS Anda ke jaringan virtual yang dikonfigurasi untuk SQL Database dengan titik akhir layanan jaringan virtual/MI/ akses data lokal. Untuk informasi selengkapnya, lihat Menggabungkan Runtime integrasi Azure-SSIS dengan jaringan virtual.
• Dukungan untuk autentikasi Microsoft Entra dan autentikasi SQL untuk menyambungkan ke SSISDB, memungkinkan autentikasi Microsoft Entra dengan identitas terkelola Data Factory Anda untuk sumber daya Azure
• Dukungan untuk membawa lisensi SQL Server Anda yang sudah ada untuk mendapatkan penghematan biaya substansial dari opsi Manfaat Hibrid Azure
• Dukungan untuk Edisi Perusahaan dari runtime integrasi Azure-SSIS yang memungkinkan Anda menggunakan fitur tingkat lanjut/premium, antarmuka penyiapan kustom untuk menginstal komponen/ekstensi tambahan, dan ekosistem mitra. Untuk informasi selengkapnya, lihat juga Edisi Perusahaan, Penyiapan Kustom, dan Ekstensibilitas Pihak ke-3 untuk SSIS di ADF.
• Integrasi SSIS yang lebih mendalam di Azure Data Factory yang memungkinkan Anda memanggil/memicu aktivitas Jalankan Paket SSIS kelas satu di alur Azure Data Factory dan menjadwalkannya melalui SQL Server Management Studio. Untuk informasi selengkapnya, lihat juga Memodernkan dan memperluas alur kerja ETL/ELT Anda dengan aktivitas SSIS di alur ADF.

Apa itu runtime integrasi?

Runtime integrasi adalah infrastruktur komputasi yang digunakan Azure Data Factory untuk memberikan kemampuan integrasi data berikut di berbagai lingkungan jaringan:

• Pergerakan data: Untuk pergerakan data, runtime integrasi memindahkan data antara penyimpanan data sumber dan tujuan, sambil memberikan dukungan untuk konektor bawaan, konversi format, pemetaan kolom, dan transfer data yang berperforma serta dapat diskalakan.
• Alur data: Untuk aliran data, Jalankan Arus Data di lingkungan komputasi Azure terkelola.
• Aktivitas pengiriman: Untuk transformasi, runtime integrasi memberikan kemampuan untuk menjalankan paket SSIS secara asli.
• Jalankan paket SSIS:Runtime integrasi secara asli menjalankan paket SSIS di lingkungan komputasi Azure terkelola. Runtime integrasi juga mendukung pengiriman dan pemantauan aktivitas transformasi yang berjalan di berbagai layanan komputasi, seperti Azure HDInsight, Azure Machine Learning, SQL Database, dan SQL Server.

Anda dapat menyebarkan satu atau banyak instans runtime integrasi sebagaimana diperlukan untuk memindahkan dan mengubah data. Runtime integrasi dapat berjalan di jaringan publik Azure atau di jaringan privat (lokal, Azure Virtual Network, atau cloud privat virtual [VPC] AWS). Di Data Factory, aktivitas menentukan tindakan yang akan dilakukan. Layanan tertaut menentukan penyimpanan data target atau layanan komputasi. Runtime integrasi merupakan jembatan antara aktivitas dan Layanan tertaut. Ini dirujuk oleh layanan atau aktivitas tertaut, dan menyediakan lingkungan komputasi tempat aktivitas dijalankan atau dikirim. Dengan begitu, aktivitas dapat dilakukan di wilayah yang paling dekat dengan penyimpanan data target atau layanan komputasi melalui cara paling berperforma sekaligus memenuhi kebutuhan keamanan dan kepatuhan.

Runtime integrasi dapat dibuat di UX Azure Data Factory melalui hub manajemen dan aktivitas, himpunan data, atau aliran data apa pun yang mereferensikannya. Untuk informasi selengkapnya, lihat Runtime integrasi di Azure Data Factory.

Berapa batas jumlah runtime integrasi?

Tidak ada batasan keras pada jumlah instans runtime integrasi yang dapat Anda miliki di pabrik data. Namun, ada batasan jumlah inti komputer virtual yang dapat digunakan runtime integrasi per langganan untuk eksekusi paket SSIS. Untuk informasi selengkapnya, lihat Batas Azure Data Factory.

Apa saja konsep tingkat atas Azure Data Factory?

Langganan Azure dapat memiliki satu atau beberapa instans Azure Data Factory (atau pabrik data). Azure Data Factory berisi empat komponen utama yang bekerja sama sebagai platform tempat Anda dapat menyusun alur kerja berbasis data dengan langkah-langkah untuk memindahkan dan mengubah data.

Pipelines

Pabrik data dapat memiliki satu atau beberapa alur. Alur adalah pengelompokan logis dari aktivitas untuk menjalankan unit kerja. Bersama-sama, aktivitas dalam alur menjalankan tugas. Misalnya, alur dapat berisi grup aktivitas yang menyerap data dari Azure blob, lalu menjalankan kueri Apache Hive pada kluster Azure HDInsight untuk membagi data. Manfaatnya adalah Anda dapat menggunakan alur untuk mengelola aktivitas sebagai kumpulan alih-alih harus mengelola tiap aktivitas secara individual. Anda dapat menggabungkan aktivitas dalam alur untuk mengoperasikannya secara berurutan, atau Anda dapat mengoperasikannya secara terpisah, secara paralel.

Aliran data

Aliran data adalah objek yang Anda bangun secara visual di Azure Data Factory yang mengubah data sesuai skala pada layanan Spark ujung belakang. Anda tidak perlu memahami internal pemrograman atau Spark. Cukup rancang maksud transformasi data Anda menggunakan grafik (Pemetaan) atau spreadsheet (Aktivitas kueri daya).

Aktivitas

Aktivitas mewakili langkah pemrosesan dalam alur. Misalnya, Anda dapat menggunakan aktivitas Salin untuk menyalin data dari satu penyimpanan data ke penyimpanan data lain. Demikian juga, aktivitas Apache Hive dapat menjalankan kueri Apache Hive pada kluster Azure HDInsight untuk mengubah atau menganalisis data Anda. Azure Data Factory memiliki tiga pengelompokan aktivitas: aktivitas pemindahan data, aktivitas transformasi data, dan aktivitas kontrol.

Himpunan data

Himpunan data mewakili struktur data dalam penyimpanan data, yang hanya menunjuk ke atau mereferensikan data yang ingin Anda gunakan dalam aktivitas Anda sebagai input atau output.

Layanan Tertaut

Layanan tertaut mirip seperti string koneksi, yang menentukan informasi koneksi yang diperlukan agar Azure Data Factory tersambung ke sumber daya eksternal. Anggap seperti ini: Layanan tertaut menentukan koneksi ke sumber data, dan himpunan data mewakili struktur data. Misalnya, layanan yang ditautkan Azure Storage menentukan string koneksi untuk tersambung ke akun Azure Storage. Himpunan data Azure blob juga menentukan kontainer blob dan folder yang berisi data.

Layanan tertaut memiliki dua tujuan di Azure Data Factory:

• Untuk mewakili penyimpanan data yang mencakup, tetapi tidak terbatas pada, instans SQL Server, instans database Oracle, berbagi file, atau akun penyimpanan Azure Blob. Untuk daftar penyimpanan data yang didukung, lihat Menyalin Aktivitas di Azure Data Factory.
• Untuk mewakili sumber daya komputasi yang dapat menghosting eksekusi aktivitas. Misalnya, aktivitas Apache Hive Azure HDInsight berjalan di kluster HDInsight Hadoop. Untuk daftar aktivitas transformasi dan lingkungan komputasi yang didukung, lihat Data transformasi di Azure Data Factory.

Pemicu

Pemicu mewakili unit pemrosesan yang menentukan kapan eksekusi alur dimulai. Ada berbagai jenis pemicu untuk berbagai jenis peristiwa.

Eksekusi alur

Eksekusi alur adalah contoh eksekusi alur. Anda biasanya membuat eksekusi alur dengan meneruskan argumen ke parameter yang ditentukan dalam alur. Anda dapat meneruskan argumen secara manual atau dalam definisi pemicu.

Parameter

Parameter adalah pasangan nilai kunci dari konfigurasi baca-saja. Anda menentukan parameter dalam alur, dan Anda meneruskan argumen untuk parameter yang ditentukan selama eksekusi dari konteks eksekusi. Konteks eksekusi dibuat oleh pemicu atau dari alur yang Anda jalankan secara manual. Aktivitas dalam alur mengonsumsi nilai parameter.

Himpunan data adalah parameter pengetikan kuat dan entitas yang dapat Anda gunakan kembali atau referensikan. Aktivitas dapat mereferensikan himpunan data dan dapat mengonsumsi properti yang ditentukan dalam definisi himpunan data.

Layanan tertaut juga merupakan parameter pengetikan kuat yang berisi informasi koneksi ke penyimpanan data atau lingkungan komputasi. Ini juga merupakan entitas yang dapat Anda gunakan kembali atau referensikan.

Alur kontrol

Alur kontrol mengorkestrasi aktivitas alur yang mencakup aktivitas penautan dalam urutan, pencabangan, parameter yang Anda tentukan di tingkat alur, dan argumen yang Anda teruskan saat Anda memanggil alur sesuai permintaan atau dari pemicu. Alur kontrol juga mencakup kontainer passing dan looping status kustom (yaitu iterator foreach).

Untuk informasi selengkapnya tentang konsep Azure Data Factory, lihat artikel berikut:

• Kumpulan data dan layanan tertaut
• Alur dan aktivitas
• Runtime integrasi

Apa model harga untuk Azure Data Factory?

Untuk detail harga Azure Data Factory, lihat Detail harga Azure Data Factory.

Bagaimana cara agar tetap mendapatkan informasi terbaru tentang Data Factory?

Untuk informasi terbaru tentang Azure Data Factory, buka situs berikut:

• Blog
• Halaman beranda dokumentasi
• Halaman beranda produk

Penyelaman teknis mendalam

Berapa banyak instans Azure Data Factory yang harus saya miliki?

Jawaban atas pertanyaan ini tergantung pada model keamanan yang telah diadopsi organisasi Anda. Setiap instans Data Factory harus dilingkup dengan mengingat akses Hak Istimewa Terkecil. Ini bisa menjadi situasi di mana satu instans Data Factory mendukung semua beban kerja SDM dan yang lain mendukung semua data Keuangan. Setiap instans Data Factory memiliki akses ke Layanan Tertaut yang berbeda, dan setiap instans dapat didukung oleh tim pengembangan yang berbeda. Tidak ada biaya tambahan karena Anda ditagih dengan kenaikan komputasi, sehingga 100 alur yang sama dalam 1 instans Data Factory akan dikenakan biaya yang sama dengan 10 alur di 10 instans Data Factory.

Bagaimana cara menjadwalkan alur?

Anda dapat menggunakan pemicu penjadwal atau pemicu jendela waktu untuk menjadwalkan alur. Pemicu menggunakan jadwal kalender jam dinding, yang dapat menjadwalkan alur secara berkala atau dalam pola berulang berbasis kalender (misalnya, pada hari Senin pukul 18.00 dan Kamis pukul 21.00). Untuk informasi selengkapnya, lihat Eksekusi dan pemicu alur.

Dapatkah saya meneruskan parameter ke eksekusi alur?

Ya, parameter adalah konsep tingkat atas kelas satu di Azure Data Factory. Anda dapat menentukan parameter pada tingkat alur dan meneruskan argumen saat Anda menjalankan eksekusi alur sesuai permintaan atau menggunakan pemicu.

Dapatkah saya menentukan nilai default untuk parameter alur?

Ya. Anda dapat menentukan nilai default untuk parameter dalam alur.

Dapatkah aktivitas dalam alur mengonsumsi argumen yang diteruskan ke eksekusi alur?

Ya. Tiap aktivitas dalam alur dapat mengonsumsi nilai parameter yang diteruskan ke alur dan berjalan dengan konstruksi @parameter.

Dapatkah properti output aktivitas dikonsumsi dalam aktivitas lain?

Ya. Output aktivitas dapat dikonsumsi dalam aktivitas berikutnya dengan konstruksi @activity.

Bagaimana cara menangani nilai kosong dengan baik dalam output aktivitas?

Anda dapat menggunakan konstruksi @coalesce dalam ekspresi untuk menangani nilai kosong dengan baik.

Berapa banyak aktivitas alur yang dapat dijalankan secara bersamaan?

Maksimal 50 aktivitas alur bersamaan diizinkan. Aktivitas alur ke-51 akan diantrekan hingga slot gratis dibuka. Maksimal 800 aktivitas eksternal bersamaan akan diizinkan, setelah itu mereka akan diantrekan dengan cara yang sama.

Pemetaan aliran data

Saya memerlukan bantuan untuk memecahkan masalah logika aliran data saya. Info apa yang perlu saya berikan untuk mendapatkan bantuan?

Saat Microsoft memberikan bantuan atau pemecahan masalah dengan aliran data, berikan file dukungan saluran ADF. Ini adalah skrip kode tersembunyi dari grafik aliran data Anda. Dari UI ADF, pilih ... di samping alur, lalu pilih Unduh file dukungan.

Bagaimana cara mengakses data menggunakan 90 tipe himpunan data lainnya di Azure Data Factory?

Fitur aliran data pemetaan saat ini memungkinkan Azure SQL Database, Azure Synapse Analytics, membatasi file teks dari penyimpanan Azure Blob atau Azure Data Lake Storage Gen2, dan file Parquet dari penyimpanan Blob atau Data Lake Storage Gen2 secara asli untuk sumber dan sink.

Gunakan aktivitas Salin untuk menyajikan data dari konektor lain, lalu jalankan aktivitas Aliran Data untuk mentransformasi data setelah disajikan. Misalnya, alur Anda akan terlebih dahulu disalin ke penyimpanan Blob, lalu aktivitas Aliran Data akan menggunakan himpunan data di sumber untuk mengubah data tersebut.

Apakah runtime integrasi yang dihosting sendiri tersedia untuk aliran data?

Runtime integrasi yang dihost sendiri adalah konstruksi alur ADF yang dapat Anda gunakan dengan Aktivitas Salin untuk memperoleh atau memindahkan data ke dan dari sumber dan sink data lokal atau berbasis VM. Komputer virtual yang Anda gunakan untuk IR yang dihost sendiri juga dapat ditempatkan di dalam VNET yang sama dengan penyimpanan data yang dilindungi untuk akses ke penyimpanan data tersebut dari ADF. Dengan aliran data, Anda akan mencapai hasil akhir yang sama menggunakan Azure IR dengan VNET terkelola sebagai gantinya.

Apakah mesin komputasi aliran data melayani beberapa penyewa?

Kluster tidak pernah dibagikan. Kami menjamin isolasi untuk tiap eksekusi pekerjaan dalam eksekusi produksi. Dalam hal skenario debug, satu orang mendapatkan satu kluster, dan semua debug akan masuk ke kluster tersebut yang diinisialisasi oleh pengguna tersebut.

Apakah ada cara untuk menulis atribut di Cosmos DB dalam urutan yang sama seperti yang ditentukan dalam sink dalam aliran data ADF?

Untuk Cosmos DB, format yang mendasar dari setiap dokumen adalah objek JSON yang merupakan sekumpulan pasangan nama/nilai yang tidak diurutkan, sehingga urutan tidak dapat dicadangkan.

Mengapa pengguna tidak dapat menggunakan pratinjau data dalam alur data?

Anda harus memeriksa izin untuk peran kustom. Ada beberapa tindakan yang terlibat dalam pratinjau data aliran data. Anda mulai dengan memeriksa lalu lintas jaringan saat menelusuri kesalahan di browser Anda. Harap ikuti semua tindakan, untuk detailnya, lihat Penyedia sumber daya.

Di ADF, bisakah saya menghitung nilai untuk kolom baru dari kolom yang sudah ada dari pemetaan?

Anda dapat menggunakan transformasi Derive dalam memetakan aliran data untuk membuat kolom baru pada logika yang Anda inginkan. Saat membuat kolom turunan, Anda bisa membuat kolom baru atau memperbarui kolom yang sudah ada. Di kotak teks Kolom, masukkan kolom yang sedang Anda buat. Untuk mengganti kolom yang ada dalam skema, Anda bisa menggunakan menu tarik-turun kolom. Untuk menyusun ekspresi kolom turunan, pilih pada kotak teks Masukkan ekspresi. Anda dapat mulai mengetik ekspresi atau membuka penyusun ekspresi untuk membangun logika Anda.

Mengapa pemetaan pratinjau aliran data gagal dengan batas waktu Gateway?

Cobalah untuk menggunakan kluster yang lebih besar dan manfaatkan batas baris dalam pengaturan debug ke nilai yang lebih kecil untuk mengurangi ukuran output debug.

Bagaimana cara memparameterkan nama kolom dalam aliran data?

Nama kolom dapat diparameterkan yang mirip dengan properti lain. Seperti di kolom turunan, pelanggan dapat menggunakan $ColumnNameParam = toString(byName($myColumnNameParamInData)). Parameter ini dapat diteruskan dari eksekusi alur ke aliran Data.

Pemberitahuan aliran data tentang TTL dan biaya

Dokumen pemecahan masalah ini dapat membantu mengatasi masalah Anda: Memetakan performa alur data dan menyetel panduan-Time to live.

Manipulasi Data Power Query

Apa wilayah yang didukung untuk perselisihan data?

Pabrik data tersedia di wilayah berikut. Fitur Power Query tersedia di semua wilayah aliran data. Jika fitur tersebut tidak tersedia di wilayah Anda, periksa dengan dukungan.

Apa perbedaan antara pemetaan aliran data dan aktivitas kueri Power (manipulasi data)?

Pemetaan aliran data menyediakan cara untuk mengubah data dalam skala besar tanpa perlu pengkodean. Anda dapat merancang pekerjaan transformasi data di kanvas aliran data dengan membangun serangkaian transformasi. Mulailah dengan sejumlah transformasi sumber yang diikuti dengan langkah transformasi data. Lengkapi aliran data Anda dengan sink untuk mendaratkan hasil Anda di tujuan. Pemetaan aliran data sangat bagus dalam memetakan dan mengubah data dengan skema yang diketahui dan tidak diketahui di sink dan sumber.

Power Query Data Wrangling memungkinkan Anda melakukan persiapan dan eksplorasi data yang gesit menggunakan editor mashup Power Query Online dalam skala besar melalui eksekusi percikan. Dengan munculnya data lake terkadang Anda hanya perlu menjelajahi himpunan data atau membuat himpunan data di lake. Anda tidak memetakan ke target yang dikenal.

Jenis SQL yang Didukung

Power Query Data Wrangling mendukung tipe data berikut dalam SQL. Anda akan mendapatkan kesalahan validasi untuk menggunakan jenis data yang tidak didukung.

• pendek
• ganda
• real
• float
• char
• nchar
• varchar
• nvarchar
• Integer
• int
• bit
• Boolean
• smallint
• tinyint
• bigint
• long
• text
• date
• datetime
• tanggalwaktu2
• smalldatetime
• rentang waktu
• uniqueidentifier
• xml

Konten terkait

Untuk instruksi langkah demi langkah untuk membuat pabrik data, lihat tutorial berikut:

• Mulai cepat: Membuat pabrik data
• Tutorial: Menyalin data di cloud

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menyediakan jawaban untuk tanya jawab umum tentang Azure Data Factory.

Azure Data Factory adalah layanan ETL integrasi data berbasis cloud yang dikelola penuh yang mengotomatiskan pergerakan dan transformasi data. Seperti pabrik yang menjalankan peralatan untuk mengubah bahan baku menjadi barang jadi, Azure Data Factory mengorkestrasi layanan yang ada yang mengumpulkan data mentah dan mengubahnya menjadi informasi yang siap digunakan.

Dengan menggunakan Azure Data Factory, Anda dapat membuat alur kerja berbasis data untuk memindahkan data antara penyimpanan data lokal dan cloud. Anda juga dapat memproses dan mengubah data dengan Aliran Data. ADF juga mendukung mesin komputasi eksternal untuk transformasi kode manual menggunakan layanan komputasi seperti Azure HDInsight, Azure Databricks, dan runtime integrasi SQL Server Integration Services (SSIS).

Dengan Azure Data Factory, Anda dapat menjalankan pemrosesan data baik di layanan cloud berbasis Azure maupun di lingkungan komputasi mandiri Anda sendiri, seperti SSIS, SQL Server, atau Oracle. Setelah membuat alur yang menjalankan tindakan yang Anda butuhkan, Anda dapat menjadwalkannya agar berjalan secara berkala (per jam, harian, atau mingguan, misalnya), penjadwalan jendela waktu, atau memicu alur dari kemunculan kejadian. Untuk informasi selengkapnya, lihat Pengantar Azure Data Factory.

Azure Data Factory disertifikasi untuk berbagai sertifikasi kepatuhan, termasuk SOC 1, 2, 3, HIPAA BAA, dan HITRUST. Daftar lengkap dan berkembang sertifikasi dapat ditemukan di sini. Salinan digital untuk laporan audit dan sertifikasi kepatuhan dapat ditemukan di Pusat Kepercayaan Layanan

Mengontrol aliran dan skala

Untuk mendukung beragam alur dan pola integrasi di gudang data modern, Azure Data Factory memungkinkan pemodelan alur data yang fleksibel. Ini memerlukan paradigma pemrograman alur kontrol penuh, yang mencakup eksekusi bersyarat, pencabangan dalam alur data, dan kemampuan untuk secara eksplisit melewati parameter di dalam dan di seluruh alur ini. Alur kontrol juga mencakup transformasi data melalui pengiriman aktivitas ke mesin eksekusi eksternal dan kemampuan alur data, termasuk pergerakan data dalam skala besar, melalui aktivitas Salin.

Azure Data Factory memberikan kebebasan untuk memodelkan gaya alur apa pun yang diperlukan untuk integrasi data dan yang dapat dikirim sesuai permintaan atau berulang kali sesuai jadwal. Beberapa alur umum yang diaktifkan model ini adalah:

• Alur kontrol:
  • Aktivitas dapat disatukan secara berurutan dalam alur.
  • Aktivitas dapat dicabangkan dalam alur.
  • Parameter:
    • Parameter dapat didefinisikan pada tingkat alur dan argumen dapat diteruskan saat Anda memanggil alur sesuai permintaan atau dari pemicu.
    • Aktivitas dapat mengonsumsi argumen yang diteruskan ke pipeline.
  • Status kustom melewati:
    • Output aktivitas, termasuk status, dapat dikonsumsi oleh aktivitas berikutnya dalam alur.
  • Kontainer perulangan:
    • Aktivitas foreach akan mengulangi koleksi aktivitas tertentu dalam perulangan.
• Alur berbasis pemicu:
  • Alur dapat dipicu sesuai permintaan, berdasarkan waktu jam dinding, atau sebagai respons terhadap topik Event Grid
• Alur delta:
  • Parameter dapat digunakan untuk menentukan marka air tinggi Anda untuk salinan delta saat memindahkan tabel dimensi atau referensi dari penyimpanan relasional, baik lokal maupun di cloud, untuk memuat data ke dalam danau.

Untuk informasi selengkapnya, lihat Tutorial: Alur kontrol.

Data yang diubah sesuai skala dengan alur bebas kode

Pengalaman peralatan berbasis browser baru menyediakan penulisan dan penyebaran alur bebas kode dengan pengalaman berbasis web interaktif yang modern.

Untuk pengembang data visual dan insinyur data, antarmuka pengguna web Azure Data Factory adalah lingkungan desain bebas kode yang akan Anda gunakan untuk membangun alur. Ini sepenuhnya terintegrasi dengan Visual Studio Codespace Git dan menyediakan integrasi untuk CI/CD dan pengembangan berulang dengan opsi debugging.

SDK lintas platform yang kaya untuk pengguna tingkat lanjut

Azure Data Factory V2 menyediakan sekumpulan SDK kaya yang dapat digunakan untuk menulis, mengelola, dan memantau alur menggunakan IDE favorit Anda, termasuk:

• Python SDK
• PowerShell CLI
• C# SDK

Pengguna juga dapat menggunakan API REST yang didokumentasikan untuk berinteraksi dengan Azure Data Factory V2.

Pengembangan dan penelusuran kesalahan berulang menggunakan alat visual

Alat visual Azure Data Factory memungkinkan pengembangan dan penelusuran kesalahan berulang. Anda dapat membuat alur dan melakukan uji coba menggunakan kemampuan Debug di kanvas alur tanpa menulis satu baris kode pun. Anda dapat melihat hasil uji coba yang berjalan di jendela Output kanvas alur Anda. Setelah uji coba berhasil, Anda dapat menambahkan lebih banyak aktivitas ke alur dan melanjutkan penelusuran kesalahan dengan cara yang berulang. Anda juga dapat membatalkan uji coba setelah uji coba berlangsung.

Anda tidak diharuskan memublikasikan perubahan Anda pada layanan pabrik data sebelum memilih Debug. Ini berguna dalam skenario ketika Anda ingin memastikan penambahan atau perubahan baru akan berfungsi seperti yang diharapkan sebelum Anda memperbarui alur kerja pabrik data Anda di lingkungan pengembangan, pengujian, atau produksi.

Kemampuan untuk menyebarkan paket SSIS ke Azure

Jika ingin memindahkan beban kerja SSIS, Anda dapat membuat Azure Data Factory dan menyediakan runtime integrasi Azure-SSIS. Runtime integrasi Azure-SSIS adalah kluster komputer virtual Azure (simpul) yang dikelola penuh dan didedikasikan untuk menjalankan paket SSIS Anda di cloud. Untuk instruksi langkah demi langkah, lihat tutorial Menyebarkan paket SSIS ke Azure.

SDK

Jika Anda adalah pengguna tingkat lanjut dan mencari antarmuka terprogram, Azure Data Factory menyediakan sekumpulan SDK kaya yang dapat Anda gunakan untuk menulis, mengelola, atau memantau alur menggunakan IDE favorit Anda. Dukungan bahasa mencakup .NET, PowerShell, Python, dan REST.

Pemantauan

Anda dapat memantau Azure Data Factory melalui PowerShell, SDK, atau Alat Pemantauan Visual di antarmuka pengguna browser. Anda dapat memantau dan mengelola alur kustom sesuai permintaan, berbasis pemicu, dan berbasis jam dengan cara yang efisien dan efektif. Batalkan tugas yang ada, lihat kegagalan sekilas, telusuri paling detail untuk mendapatkan pesan kesalahan mendetail, dan men-debug masalah, semua dari satu panel kaca tanpa harus beralih atau menavigasi bolak-balik di antara layar.

Fitur baru untuk SSIS di Azure Data Factory

Sejak rilis pratinjau publik awal pada tahun 2017, Azure Data Factory sudah menambahkan fitur berikut untuk SSIS:

• Dukungan untuk tiga konfigurasi/varian Azure SQL Database lainnya untuk menghosting database SSIS (SSISDB) proyek/paket:
• SQL Database dengan titik akhir layanan jaringan virtual
• Instans Terkelola SQL
• Kumpulan elastis
• Dukungan untuk jaringan virtual Azure Resource Manager di atas jaringan virtual klasik yang ditolak di masa depan, yang memungkinkan Anda menyuntikkan/menggabungkan runtime integrasi Azure-SSIS Anda ke jaringan virtual yang dikonfigurasi untuk SQL Database dengan titik akhir layanan jaringan virtual/MI/ akses data lokal. Untuk informasi selengkapnya, lihat Menggabungkan Runtime integrasi Azure-SSIS dengan jaringan virtual.
• Dukungan untuk autentikasi Microsoft Entra dan autentikasi SQL untuk menyambungkan ke SSISDB, memungkinkan autentikasi Microsoft Entra dengan identitas terkelola Data Factory Anda untuk sumber daya Azure
• Dukungan untuk membawa lisensi SQL Server Anda yang sudah ada untuk mendapatkan penghematan biaya substansial dari opsi Manfaat Hibrid Azure
• Dukungan untuk Edisi Perusahaan dari runtime integrasi Azure-SSIS yang memungkinkan Anda menggunakan fitur tingkat lanjut/premium, antarmuka penyiapan kustom untuk menginstal komponen/ekstensi tambahan, dan ekosistem mitra. Untuk informasi selengkapnya, lihat juga Edisi Perusahaan, Penyiapan Kustom, dan Ekstensibilitas Pihak ke-3 untuk SSIS di ADF.
• Integrasi SSIS yang lebih mendalam di Azure Data Factory yang memungkinkan Anda memanggil/memicu aktivitas Jalankan Paket SSIS kelas satu di alur Azure Data Factory dan menjadwalkannya melalui SQL Server Management Studio. Untuk informasi selengkapnya, lihat juga Memodernkan dan memperluas alur kerja ETL/ELT Anda dengan aktivitas SSIS di alur ADF.

Runtime integrasi adalah infrastruktur komputasi yang digunakan Azure Data Factory untuk memberikan kemampuan integrasi data berikut di berbagai lingkungan jaringan:

• Pergerakan data: Untuk pergerakan data, runtime integrasi memindahkan data antara penyimpanan data sumber dan tujuan, sambil memberikan dukungan untuk konektor bawaan, konversi format, pemetaan kolom, dan transfer data yang berperforma serta dapat diskalakan.
• Alur data: Untuk aliran data, Jalankan Arus Data di lingkungan komputasi Azure terkelola.
• Aktivitas pengiriman: Untuk transformasi, runtime integrasi memberikan kemampuan untuk menjalankan paket SSIS secara asli.
• Jalankan paket SSIS:Runtime integrasi secara asli menjalankan paket SSIS di lingkungan komputasi Azure terkelola. Runtime integrasi juga mendukung pengiriman dan pemantauan aktivitas transformasi yang berjalan di berbagai layanan komputasi, seperti Azure HDInsight, Azure Machine Learning, SQL Database, dan SQL Server.

Anda dapat menyebarkan satu atau banyak instans runtime integrasi sebagaimana diperlukan untuk memindahkan dan mengubah data. Runtime integrasi dapat berjalan di jaringan publik Azure atau di jaringan privat (lokal, Azure Virtual Network, atau cloud privat virtual [VPC] AWS). Di Data Factory, aktivitas menentukan tindakan yang akan dilakukan. Layanan tertaut menentukan penyimpanan data target atau layanan komputasi. Runtime integrasi merupakan jembatan antara aktivitas dan Layanan tertaut. Ini dirujuk oleh layanan atau aktivitas tertaut, dan menyediakan lingkungan komputasi tempat aktivitas dijalankan atau dikirim. Dengan begitu, aktivitas dapat dilakukan di wilayah yang paling dekat dengan penyimpanan data target atau layanan komputasi melalui cara paling berperforma sekaligus memenuhi kebutuhan keamanan dan kepatuhan.

Runtime integrasi dapat dibuat di UX Azure Data Factory melalui hub manajemen dan aktivitas, himpunan data, atau aliran data apa pun yang mereferensikannya. Untuk informasi selengkapnya, lihat Runtime integrasi di Azure Data Factory.

Tidak ada batasan keras pada jumlah instans runtime integrasi yang dapat Anda miliki di pabrik data. Namun, ada batasan jumlah inti komputer virtual yang dapat digunakan runtime integrasi per langganan untuk eksekusi paket SSIS. Untuk informasi selengkapnya, lihat Batas Azure Data Factory.

Langganan Azure dapat memiliki satu atau beberapa instans Azure Data Factory (atau pabrik data). Azure Data Factory berisi empat komponen utama yang bekerja sama sebagai platform tempat Anda dapat menyusun alur kerja berbasis data dengan langkah-langkah untuk memindahkan dan mengubah data.

Pipelines

Pabrik data dapat memiliki satu atau beberapa alur. Alur adalah pengelompokan logis dari aktivitas untuk menjalankan unit kerja. Bersama-sama, aktivitas dalam alur menjalankan tugas. Misalnya, alur dapat berisi grup aktivitas yang menyerap data dari Azure blob, lalu menjalankan kueri Apache Hive pada kluster Azure HDInsight untuk membagi data. Manfaatnya adalah Anda dapat menggunakan alur untuk mengelola aktivitas sebagai kumpulan alih-alih harus mengelola tiap aktivitas secara individual. Anda dapat menggabungkan aktivitas dalam alur untuk mengoperasikannya secara berurutan, atau Anda dapat mengoperasikannya secara terpisah, secara paralel.

Aliran data

Aliran data adalah objek yang Anda bangun secara visual di Azure Data Factory yang mengubah data sesuai skala pada layanan Spark ujung belakang. Anda tidak perlu memahami internal pemrograman atau Spark. Cukup rancang maksud transformasi data Anda menggunakan grafik (Pemetaan) atau spreadsheet (Aktivitas kueri daya).

Aktivitas

Aktivitas mewakili langkah pemrosesan dalam alur. Misalnya, Anda dapat menggunakan aktivitas Salin untuk menyalin data dari satu penyimpanan data ke penyimpanan data lain. Demikian juga, aktivitas Apache Hive dapat menjalankan kueri Apache Hive pada kluster Azure HDInsight untuk mengubah atau menganalisis data Anda. Azure Data Factory memiliki tiga pengelompokan aktivitas: aktivitas pemindahan data, aktivitas transformasi data, dan aktivitas kontrol.

Himpunan data

Himpunan data mewakili struktur data dalam penyimpanan data, yang hanya menunjuk ke atau mereferensikan data yang ingin Anda gunakan dalam aktivitas Anda sebagai input atau output.

Layanan Tertaut

Layanan tertaut mirip seperti string koneksi, yang menentukan informasi koneksi yang diperlukan agar Azure Data Factory tersambung ke sumber daya eksternal. Anggap seperti ini: Layanan tertaut menentukan koneksi ke sumber data, dan himpunan data mewakili struktur data. Misalnya, layanan yang ditautkan Azure Storage menentukan string koneksi untuk tersambung ke akun Azure Storage. Himpunan data Azure blob juga menentukan kontainer blob dan folder yang berisi data.

Layanan tertaut memiliki dua tujuan di Azure Data Factory:

• Untuk mewakili penyimpanan data yang mencakup, tetapi tidak terbatas pada, instans SQL Server, instans database Oracle, berbagi file, atau akun penyimpanan Azure Blob. Untuk daftar penyimpanan data yang didukung, lihat Menyalin Aktivitas di Azure Data Factory.
• Untuk mewakili sumber daya komputasi yang dapat menghosting eksekusi aktivitas. Misalnya, aktivitas Apache Hive Azure HDInsight berjalan di kluster HDInsight Hadoop. Untuk daftar aktivitas transformasi dan lingkungan komputasi yang didukung, lihat Data transformasi di Azure Data Factory.

Pemicu

Pemicu mewakili unit pemrosesan yang menentukan kapan eksekusi alur dimulai. Ada berbagai jenis pemicu untuk berbagai jenis peristiwa.

Eksekusi alur

Eksekusi alur adalah contoh eksekusi alur. Anda biasanya membuat eksekusi alur dengan meneruskan argumen ke parameter yang ditentukan dalam alur. Anda dapat meneruskan argumen secara manual atau dalam definisi pemicu.

Parameter

Parameter adalah pasangan nilai kunci dari konfigurasi baca-saja. Anda menentukan parameter dalam alur, dan Anda meneruskan argumen untuk parameter yang ditentukan selama eksekusi dari konteks eksekusi. Konteks eksekusi dibuat oleh pemicu atau dari alur yang Anda jalankan secara manual. Aktivitas dalam alur mengonsumsi nilai parameter.

Himpunan data adalah parameter pengetikan kuat dan entitas yang dapat Anda gunakan kembali atau referensikan. Aktivitas dapat mereferensikan himpunan data dan dapat mengonsumsi properti yang ditentukan dalam definisi himpunan data.

Layanan tertaut juga merupakan parameter pengetikan kuat yang berisi informasi koneksi ke penyimpanan data atau lingkungan komputasi. Ini juga merupakan entitas yang dapat Anda gunakan kembali atau referensikan.

Alur kontrol

Alur kontrol mengorkestrasi aktivitas alur yang mencakup aktivitas penautan dalam urutan, pencabangan, parameter yang Anda tentukan di tingkat alur, dan argumen yang Anda teruskan saat Anda memanggil alur sesuai permintaan atau dari pemicu. Alur kontrol juga mencakup kontainer passing dan looping status kustom (yaitu iterator foreach).

Untuk informasi selengkapnya tentang konsep Azure Data Factory, lihat artikel berikut:

• Kumpulan data dan layanan tertaut
• Alur dan aktivitas
• Runtime integrasi

Untuk detail harga Azure Data Factory, lihat Detail harga Azure Data Factory.

Untuk informasi terbaru tentang Azure Data Factory, buka situs berikut:

• Blog
• Halaman beranda dokumentasi
• Halaman beranda produk

Berapa banyak instans Azure Data Factory yang harus saya miliki?

Jawaban atas pertanyaan ini tergantung pada model keamanan yang telah diadopsi organisasi Anda. Setiap instans Data Factory harus dilingkup dengan mengingat akses Hak Istimewa Terkecil. Ini bisa menjadi situasi di mana satu instans Data Factory mendukung semua beban kerja SDM dan yang lain mendukung semua data Keuangan. Setiap instans Data Factory memiliki akses ke Layanan Tertaut yang berbeda, dan setiap instans dapat didukung oleh tim pengembangan yang berbeda. Tidak ada biaya tambahan karena Anda ditagih dengan kenaikan komputasi, sehingga 100 alur yang sama dalam 1 instans Data Factory akan dikenakan biaya yang sama dengan 10 alur di 10 instans Data Factory.

Bagaimana cara menjadwalkan alur?

Anda dapat menggunakan pemicu penjadwal atau pemicu jendela waktu untuk menjadwalkan alur. Pemicu menggunakan jadwal kalender jam dinding, yang dapat menjadwalkan alur secara berkala atau dalam pola berulang berbasis kalender (misalnya, pada hari Senin pukul 18.00 dan Kamis pukul 21.00). Untuk informasi selengkapnya, lihat Eksekusi dan pemicu alur.

Dapatkah saya meneruskan parameter ke eksekusi alur?

Ya, parameter adalah konsep tingkat atas kelas satu di Azure Data Factory. Anda dapat menentukan parameter pada tingkat alur dan meneruskan argumen saat Anda menjalankan eksekusi alur sesuai permintaan atau menggunakan pemicu.

Dapatkah saya menentukan nilai default untuk parameter alur?

Ya. Anda dapat menentukan nilai default untuk parameter dalam alur.

Dapatkah aktivitas dalam alur mengonsumsi argumen yang diteruskan ke eksekusi alur?

Ya. Tiap aktivitas dalam alur dapat mengonsumsi nilai parameter yang diteruskan ke alur dan berjalan dengan konstruksi @parameter.

Dapatkah properti output aktivitas dikonsumsi dalam aktivitas lain?

Ya. Output aktivitas dapat dikonsumsi dalam aktivitas berikutnya dengan konstruksi @activity.

Bagaimana cara menangani nilai kosong dengan baik dalam output aktivitas?

Anda dapat menggunakan konstruksi @coalesce dalam ekspresi untuk menangani nilai kosong dengan baik.

Berapa banyak aktivitas alur yang dapat dijalankan secara bersamaan?

Maksimal 50 aktivitas alur bersamaan diizinkan. Aktivitas alur ke-51 akan diantrekan hingga slot gratis dibuka. Maksimal 800 aktivitas eksternal bersamaan akan diizinkan, setelah itu mereka akan diantrekan dengan cara yang sama.

Saya memerlukan bantuan untuk memecahkan masalah logika aliran data saya. Info apa yang perlu saya berikan untuk mendapatkan bantuan?

Saat Microsoft memberikan bantuan atau pemecahan masalah dengan aliran data, berikan file dukungan saluran ADF. Ini adalah skrip kode tersembunyi dari grafik aliran data Anda. Dari UI ADF, pilih ... di samping alur, lalu pilih Unduh file dukungan.

Bagaimana cara mengakses data menggunakan 90 tipe himpunan data lainnya di Azure Data Factory?

Fitur aliran data pemetaan saat ini memungkinkan Azure SQL Database, Azure Synapse Analytics, membatasi file teks dari penyimpanan Azure Blob atau Azure Data Lake Storage Gen2, dan file Parquet dari penyimpanan Blob atau Data Lake Storage Gen2 secara asli untuk sumber dan sink.

Gunakan aktivitas Salin untuk menyajikan data dari konektor lain, lalu jalankan aktivitas Aliran Data untuk mentransformasi data setelah disajikan. Misalnya, alur Anda akan terlebih dahulu disalin ke penyimpanan Blob, lalu aktivitas Aliran Data akan menggunakan himpunan data di sumber untuk mengubah data tersebut.

Apakah runtime integrasi yang dihosting sendiri tersedia untuk aliran data?

Runtime integrasi yang dihost sendiri adalah konstruksi alur ADF yang dapat Anda gunakan dengan Aktivitas Salin untuk memperoleh atau memindahkan data ke dan dari sumber dan sink data lokal atau berbasis VM. Komputer virtual yang Anda gunakan untuk IR yang dihost sendiri juga dapat ditempatkan di dalam VNET yang sama dengan penyimpanan data yang dilindungi untuk akses ke penyimpanan data tersebut dari ADF. Dengan aliran data, Anda akan mencapai hasil akhir yang sama menggunakan Azure IR dengan VNET terkelola sebagai gantinya.

Apakah mesin komputasi aliran data melayani beberapa penyewa?

Kluster tidak pernah dibagikan. Kami menjamin isolasi untuk tiap eksekusi pekerjaan dalam eksekusi produksi. Dalam hal skenario debug, satu orang mendapatkan satu kluster, dan semua debug akan masuk ke kluster tersebut yang diinisialisasi oleh pengguna tersebut.

Apakah ada cara untuk menulis atribut di Cosmos DB dalam urutan yang sama seperti yang ditentukan dalam sink dalam aliran data ADF?

Untuk Cosmos DB, format yang mendasar dari setiap dokumen adalah objek JSON yang merupakan sekumpulan pasangan nama/nilai yang tidak diurutkan, sehingga urutan tidak dapat dicadangkan.

Mengapa pengguna tidak dapat menggunakan pratinjau data dalam alur data?

Anda harus memeriksa izin untuk peran kustom. Ada beberapa tindakan yang terlibat dalam pratinjau data aliran data. Anda mulai dengan memeriksa lalu lintas jaringan saat menelusuri kesalahan di browser Anda. Harap ikuti semua tindakan, untuk detailnya, lihat Penyedia sumber daya.

Di ADF, bisakah saya menghitung nilai untuk kolom baru dari kolom yang sudah ada dari pemetaan?

Anda dapat menggunakan transformasi Derive dalam memetakan aliran data untuk membuat kolom baru pada logika yang Anda inginkan. Saat membuat kolom turunan, Anda bisa membuat kolom baru atau memperbarui kolom yang sudah ada. Di kotak teks Kolom, masukkan kolom yang sedang Anda buat. Untuk mengganti kolom yang ada dalam skema, Anda bisa menggunakan menu tarik-turun kolom. Untuk menyusun ekspresi kolom turunan, pilih pada kotak teks Masukkan ekspresi. Anda dapat mulai mengetik ekspresi atau membuka penyusun ekspresi untuk membangun logika Anda.

Mengapa pemetaan pratinjau aliran data gagal dengan batas waktu Gateway?

Cobalah untuk menggunakan kluster yang lebih besar dan manfaatkan batas baris dalam pengaturan debug ke nilai yang lebih kecil untuk mengurangi ukuran output debug.

Bagaimana cara memparameterkan nama kolom dalam aliran data?

Nama kolom dapat diparameterkan yang mirip dengan properti lain. Seperti di kolom turunan, pelanggan dapat menggunakan $ColumnNameParam = toString(byName($myColumnNameParamInData)). Parameter ini dapat diteruskan dari eksekusi alur ke aliran Data.

Pemberitahuan aliran data tentang TTL dan biaya

Dokumen pemecahan masalah ini dapat membantu mengatasi masalah Anda: Memetakan performa alur data dan menyetel panduan-Time to live.

Apa wilayah yang didukung untuk perselisihan data?

Pabrik data tersedia di wilayah berikut. Fitur Power Query tersedia di semua wilayah aliran data. Jika fitur tersebut tidak tersedia di wilayah Anda, periksa dengan dukungan.

Apa perbedaan antara pemetaan aliran data dan aktivitas kueri Power (manipulasi data)?

Pemetaan aliran data menyediakan cara untuk mengubah data dalam skala besar tanpa perlu pengkodean. Anda dapat merancang pekerjaan transformasi data di kanvas aliran data dengan membangun serangkaian transformasi. Mulailah dengan sejumlah transformasi sumber yang diikuti dengan langkah transformasi data. Lengkapi aliran data Anda dengan sink untuk mendaratkan hasil Anda di tujuan. Pemetaan aliran data sangat bagus dalam memetakan dan mengubah data dengan skema yang diketahui dan tidak diketahui di sink dan sumber.

Power Query Data Wrangling memungkinkan Anda melakukan persiapan dan eksplorasi data yang gesit menggunakan editor mashup Power Query Online dalam skala besar melalui eksekusi percikan. Dengan munculnya data lake terkadang Anda hanya perlu menjelajahi himpunan data atau membuat himpunan data di lake. Anda tidak memetakan ke target yang dikenal.

Jenis SQL yang Didukung

Power Query Data Wrangling mendukung tipe data berikut dalam SQL. Anda akan mendapatkan kesalahan validasi untuk menggunakan jenis data yang tidak didukung.

• pendek
• ganda
• real
• float
• char
• nchar
• varchar
• nvarchar
• Integer
• int
• bit
• Boolean
• smallint
• tinyint
• bigint
• long
• text
• date
• datetime
• tanggalwaktu2
• smalldatetime
• rentang waktu
• uniqueidentifier
• xml

Konten terkait

Untuk instruksi langkah demi langkah untuk membuat pabrik data, lihat tutorial berikut:

• Mulai cepat: Membuat pabrik data
• Tutorial: Menyalin data di cloud