Bagikan melalui

Menyambungkan ke tabel Delta di Azure Data Lake Storage

  • Artikel

Sambungkan ke data dalam tabel Delta dan bawa ke dalamnya Dynamics 365 Customer Insights - Data.

Alasan utama untuk terhubung ke data yang disimpan dalam format Delta:

  • Langsung impor data berformat Delta untuk menghemat waktu dan tenaga.
  • Hilangkan biaya komputasi dan penyimpanan yang terkait dengan transformasi dan penyimpanan salinan data lakehouse Anda.
  • Secara otomatis meningkatkan keandalan penyerapan data yang disediakan Customer Insights - Data oleh penerapan versi Delta.

Fitur dan versi Databricks yang didukung

Customer Insights - Data mendukung fitur Databricks dengan 'minReaderVersion' 2 atau sebelumnya. Fitur Databricks yang memerlukan Pembaca Databricks versi 3 atau yang lebih baru tidak didukung. Tabel ini menunjukkan fitur Databricks yang didukung dan tidak didukung.

Fitur yang Didukung Fitur yang tidak didukung
Fungsionalitas dasar Vektor penghapusan
Mengubah umpan data Pengelompokan cairan
Periksa batasan Fitur tabel menulis
Pemetaan kolom Stempel waktuNTZ
Menghasilkan kolom Pelebaran jenis
Kolom identitas Varian
Pelacakan baris
Fitur tabel dibaca
Seragam

Pelajari selengkapnya: Bagaimana Databricks mengelola kompatibilitas fitur Delta Lake?.

Prasyarat

  • Harus Azure Data Lake Storage berada di penyewa dan wilayah Azure yang sama dengan Customer Insights - Data.

  • Perwakilan Customer Insights - Data layanan harus memiliki izin Kontributor Data Blob Penyimpanan untuk mengakses akun penyimpanan. Untuk informasi selengkapnya, lihat Memberikan izin kepada perwakilan layanan untuk mengakses akun penyimpanan.

  • Pengguna yang menyiapkan atau memperbarui sumber data memerlukan setidaknya izin Pembaca Data Blob Penyimpanan di Azure Data Lake Storage akun.

  • Data yang disimpan dalam layanan online mungkin disimpan di lokasi yang berbeda dari tempat data diproses atau disimpan. Dengan mengimpor atau menghubungkan ke data yang disimpan di layanan online, Anda setuju bahwa data dapat ditransfer. Pelajari selengkapnya di Pusat Kepercayaan Microsoft.

  • Customer Insights - Data mendukung Pembaca Databricks versi 2. Tabel delta yang menggunakan fitur yang memerlukan Pembaca Databricks versi 3 atau lebih tinggi tidak didukung. Pelajari selengkapnya: Fitur Databricks yang didukung.

  • Tabel Delta harus berada di folder di kontainer penyimpanan dan tidak boleh berada di direktori akar kontainer. Contoh: 

    storageaccountcontainer/
    DeltaDataRoot/
       ADeltaTable/
             _delta_log/
                 0000.json
                 0001.json
             part-0001-snappy.parquet
             part-0002-snappy.parquet
  • Data di Anda Azure Data Lake Storage harus berada dalam tabel Delta. Customer Insights - Data bergantung pada properti versi dalam riwayat tabel untuk mengidentifikasi perubahan terbaru untuk pemrosesan inkremental.

Menyambungkan ke data Delta dari Azure Data Lake Storage

  1. Buka Sumber> data data.

  2. Pilih Tambahkan sumber data.

  3. Pilih tabel Azure Data Lake Delta.

    Kotak dialog untuk memasukkan detail koneksi untuk Delta Lake.

  4. Masukkan aNama sumber data dan Deskripsi opsional. Nama direferensikan dalam proses hilir dan tidak mungkin untuk mengubahnya setelah membuat sumber data.

  5. Pilih salah satu opsi berikut untuk Menyambungkan penyimpanan Anda menggunakan.

    • Langganan Azure: Pilih Langganan lalu Grup sumber daya dan akun Penyimpanan.
    • Sumber daya Azure: Masukkan ID Sumber Daya.

  6. Secara opsional, jika Anda ingin menyerap data dari akun penyimpanan melalui Azure Private tautkan, pilih Aktifkan Tautan Privat. Untuk informasi selengkapnya, lihat Tautan Pribadi.

  7. Pilih nama Kontainer yang berisi folder data Anda, dan pilih Berikutnya.

  8. Navigasikan ke folder yang berisi data dalam tabel Delta dan pilih. Kemudian, pilih Berikutnya. Daftar tabel yang tersedia akan ditampilkan.

  9. Pilih tabel yang ingin Anda sertakan.

  10. Untuk tabel yang dipilih di mana kunci utama tidak ditentukan,Wajib ditampilkan di bawah Kunci utama. Untuk masing-masing tabel ini:

    1. Pilih Wajib. Panel Edit tabel ditampilkan.
    2. Pilih Kunci utama. Kunci utama adalah atribut unik untuk tabel. Agar atribut menjadi kunci primer yang valid, ia seharusnya tidak menyertakan nilai duplikat, nilai yang tidak ada, atau nilai null. Atribut tipe data string, bilangan bulat, dan GUID didukung sebagai kunci utama.
    3. Pilih Tutup untuk menyimpan dan menutup panel.

    Kotak dialog yang menunjukkan Diperlukan untuk kunci Utama

  11. Untuk mengaktifkan pembuatan profil data pada salah satu kolom, pilih jumlah Kolom untuk tabel. Halaman Kelola atribut akan ditampilkan.

    Kotak dialog untuk memilih pembuatan profil data.

    1. Pilih Pembuatan profil data untuk seluruh tabel atau untuk kolom tertentu. Secara default, tidak ada tabel yang diaktifkan untuk pembuatan profil data.
    2. Pilih Selesai.

  12. Pilih Simpan. Halaman Sumber data terbuka yang menampilkan sumber data baru dalam status Menyegarkan .

    Tip

    Ada status untuk tugas dan proses. Sebagian besar proses bergantung pada proses hulu lainnya, seperti sumber data dan refresh pembuatan profildata.

    Pilih status untuk membuka panel Detail kemajuan dan melihat kemajuan tugas. Untuk membatalkan pekerjaan, pilih Batalkan pekerjaan di bagian bawah panel.

    Di bawah setiap tugas, Anda dapat memilih Lihat detail untuk informasi kemajuan selengkapnya, seperti waktu pemrosesan, tanggal pemrosesan terakhir, serta kesalahan dan peringatan yang berlaku yang terkait dengan tugas atau proses. Pilih Lihat status sistem di bagian bawah panel untuk melihat proses lain dalam sistem.

Memuat data dapat memakan waktu. Setelah refresh berhasil, data yang diserap dapat ditinjau dari halaman Tabel .

Mengelola perubahan skema

Saat kolom ditambahkan atau dihapus dari skema sumber data folder Delta, sistem menjalankan refresh data lengkap. Refresh penuh membutuhkan waktu lebih lama untuk memproses semua data daripada refresh inkremental.

Tambahkan kolom

Saat kolom ditambahkan ke sumber data, informasi secara otomatis ditambahkan ke data Customer Insights - Data setelah refresh terjadi. Jika penyatuan sudah dikonfigurasi untuk tabel, kolom baru harus ditambahkan ke proses penyatuan.

  1. Dari langkah Data pelanggan, pilih Pilih tabel dan kolom dan pilih kolom baru.

  2. Dalam langkah tampilan data terpadu, pastikan kolom tidak dikecualikan dari profil pelanggan. Pilih Dikecualikan dan tambahkan kembali kolom.

  3. Dalam langkah Jalankan pembaruan ke profil terpadu, pilih Satukan profil dan dependensi pelanggan.

Mengubah atau menghapus kolom

Saat kolom dihapus dari sumber data, sistem memeriksa dependensi dalam proses lain. Jika ada dependensi pada kolom, sistem akan menghentikan refresh dan memberikan kesalahan yang menunjukkan dependensi harus dihapus. Dependensi ini ditampilkan dalam pemberitahuan untuk membantu Anda menemukan dan menghapusnya.

Memvalidasi perubahan skema

Setelah sumber data di-refresh, buka halaman Tabel >Data . Pilih tabel untuk sumber data dan verifikasi skema.

Perjalanan waktu danau delta dan penyegaran data

Perjalanan waktu danau delta adalah kemampuan untuk mengkueri versi tabel berdasarkan stempel waktu atau nomor versi. Perubahan pada folder Delta diberi versi, dan Customer Insights - Data menggunakan versi folder Delta untuk melacak data apa yang akan diproses. Dalam refresh tabel delta reguler, data diambil dari semua versi tabel data sejak refresh terakhir. Selama semua versi ada, Customer Insights - Data dapat memproses hanya elemen yang diubah dan memberikan hasil yang lebih cepat. Pelajari lebih lanjut tentang perjalanan waktu.

Misalnya, jika Customer Insights – Data terakhir disinkronkan dengan versi 23 data folder Delta Anda, ia mengharapkan untuk menemukan versi 23 dan mungkin versi berikutnya yang tersedia. Jika versi data yang diharapkan tidak tersedia, sinkronisasi data gagal dan memerlukan penyegaran data penuh manual. Sinkronisasi data dapat gagal jika data folder Delta Anda dihapus dan kemudian dibuat ulang. Atau jika Customer Insights - Data tidak dapat terhubung ke folder Delta Anda untuk waktu yang lama saat versi maju.

Untuk menghindari kebutuhan akan refresh data penuh, kami menyarankan Anda mempertahankan backlog riwayat yang wajar, seperti 15 hari.

Jalankan refresh data penuh secara manual pada folder tabel Delta

Refresh penuh mengambil semua data dari tabel dalam format Delta dan memuat ulang dari tabel Delta versi nol (0). Perubahan pada skema folder Delta memicu refresh penuh otomatis. Untuk memicu penyegaran penuh secara manual, lakukan langkah-langkah berikut.

  1. Buka Sumber> data data.

  2. Pilih sumber data tabel Azure Data Lake Delta.

  3. Pilih tabel yang ingin Anda segarkan. Panel Edit tabel akan ditampilkan.

    Edit panel tabel untuk memilih refresh penuh satu kali.

  4. Pilih Jalankan refresh penuh satu kali.

  5. Pilih Simpan untuk menjalankan refresh. Halaman Sumber data terbuka menunjukkan sumber data dalam status Refreshing , tetapi hanya tabel yang dipilih yang disegarkan.

  6. Ulangi proses untuk tabel lain, jika ada.

Kegagalan sinkronisasi data

Sinkronisasi data dapat gagal jika data folder Delta Anda dihapus dan kemudian dibuat ulang. Atau jika Customer Insights - Data tidak dapat terhubung ke folder Delta Anda untuk waktu yang lama saat versi maju. Untuk meminimalkan dampak di mana kegagalan alur data yang terputus-putus menciptakan kebutuhan untuk refresh penuh, kami menyarankan Anda mempertahankan backlog riwayat yang wajar, seperti 15 hari.

Langkah berikutnya