Pertimbangan gateway data lokal untuk tujuan data di Dataflow Gen2

Artikel ini mencoba mencantumkan batasan dan pertimbangan saat menggunakan Gateway Data dengan skenario tujuan data di Dataflow Gen2.

Waktu evaluasi habis

Aliran data yang menggunakan Gateway dan fitur tujuan data terbatas pada evaluasi atau waktu refresh satu jam.

Pelajari selengkapnya tentang batasan ini dari artikel pada artikel Memecahkan masalah gateway data lokal.

Masalah jaringan dengan port 1433

Saat menggunakan Microsoft Fabric Dataflow Gen2 dengan gateway data lokal, Anda mungkin mengalami masalah dengan proses refresh aliran data. Masalah yang mendasar terjadi ketika gateway tidak dapat tersambung ke dataflow staging Lakehouse untuk membaca data sebelum menyalinnya ke tujuan data yang diinginkan. Masalah ini dapat terjadi terlepas dari jenis tujuan data yang digunakan.

Selama refresh aliran data keseluruhan, refresh tabel dapat ditampilkan sebagai "Berhasil", tetapi bagian aktivitas ditampilkan sebagai "Gagal". Detail kesalahan untuk aktivitas WriteToDatabaseTableFrom_... menunjukkan kesalahan berikut:

Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013

Catatan

Dari perspektif arsitektur, mesin aliran data menggunakan titik akhir HTTPS keluar (port 443) untuk menulis data ke Lakehouse. Namun, membaca data dari Lakehouse memerlukan penggunaan protokol TDS (TCP melalui port 1433). Protokol ini digunakan untuk menyalin data dari lakehouse penahapan ke tujuan data. Ini menjelaskan mengapa langkah Pemuatan Tabel berhasil saat aktivitas tujuan data gagal, bahkan ketika kedua lakehouse berada dalam instans OneLake yang sama.

Pemecahan Masalah

Untuk memecahkan masalah ini, ikuti langkah-langkah berikut:

1. Konfirmasikan bahwa aliran data dikonfigurasi dengan tujuan data.

   

2. Verifikasi bahwa refresh aliran data gagal, dengan refresh tabel yang ditampilkan sebagai "Berhasil" dan aktivitas yang ditampilkan sebagai "Gagal".

   

3. Tinjau detail kesalahan untuk Aktivitas WriteToDatabaseTableFrom_..., yang menyediakan informasi tentang kesalahan yang ditemui.

   

Solusi: Atur aturan firewall baru di server yang menjalankan gateway

Aturan firewall di server gateway dan/atau server proksi pelanggan perlu diperbarui untuk mengizinkan lalu lintas keluar dari server gateway ke yang berikut ini:

• Protocol: TCP
• Titik akhir: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
• Port: 1433

Catatan

Dalam skenario tertentu, terutama ketika kapasitas terletak di wilayah yang bukan yang terdekat dengan Gateway, mungkin perlu untuk mengonfigurasi firewall untuk memungkinkan akses ke beberapa titik akhir(*cloudapp.azure.com). Penyesuaian ini diperlukan untuk mengakomodasi pengalihan yang mungkin terjadi dalam kondisi ini. Jika lalu lintas yang ditujukan ke *.cloudapp.azure.com tidak dicegat oleh aturan, Anda dapat mengizinkan alamat IP untuk wilayah data Anda di firewall Anda.

Jika Anda ingin mempersempit cakupan titik akhir ke instans OneLake aktual di ruang kerja (bukan wildcard *.datawarehouse.pbidedicated.windows.net), URL tersebut dapat ditemukan dengan menavigasi ke ruang kerja Fabric, menemukan DataflowsStagingLakehouse, dan memilih Lihat Detail. Kemudian, salin dan tempel string koneksi SQL.

Seluruh nama titik akhir terlihat mirip dengan contoh berikut:

x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net

Solusi sementara: Pisahkan aliran data dalam penyerapan terpisah dan muat aliran data

Jika Anda tidak dapat memperbarui aturan firewall, Anda dapat membagi aliran data menjadi dua aliran data terpisah. Aliran data pertama bertanggung jawab untuk menyerap data ke dalam lakehouse penahapan. Aliran data kedua bertanggung jawab untuk memuat data dari lakehouse penahapan ke tujuan data. Solusi ini tidak ideal, karena memerlukan penggunaan dua aliran data terpisah, tetapi dapat digunakan sebagai solusi sementara sampai aturan firewall dapat diperbarui.

Untuk menerapkan solusi ini, ikuti langkah-langkah berikut:

1. Hapus tujuan data dari aliran data Anda saat ini yang menyerap data melalui gateway Anda.

   

2. Buat aliran data baru yang menggunakan konektor aliran data untuk menyambungkan ke aliran data penyerapan. Aliran data ini bertanggung jawab untuk menyerap data dari penahapan ke tujuan data.

   

   

3. Atur tujuan data menjadi tujuan data pilihan Anda untuk aliran data baru ini.

   

4. Secara opsional, Anda dapat menonaktifkan penahapan untuk aliran data baru ini. Perubahan ini mencegah data disalin ke lakehouse penahapan lagi dan sebaliknya menyalin data langsung dari aliran data penyerapan ke tujuan data.