Menggunakan data Azure Databricks di Microsoft Power Platform

Halaman ini menjelaskan cara menggunakan data Azure Databricks Anda dari platform berikut setelah membuat koneksi:

  • Power Apps: Bangun aplikasi yang dapat membaca dan menulis ke Azure Databricks, sambil mempertahankan kontrol tata kelola Azure Databricks Anda.
  • Power Automate: Membangun alur dan menambahkan tindakan yang memungkinkan menjalankan SQL kustom atau Pekerjaan yang ada dan mendapatkan kembali hasilnya.
  • Copilot Studio: Bangun agen kustom menggunakan data Azure Databricks Anda sebagai sumber pengetahuan atau hubungkan Agen Genie sebagai alat. Lihat Menggunakan data Azure Databricks di Microsoft Copilot Studio.

Prasyarat

Sebelum tersambung ke Azure Databricks dari Power Platform, Anda harus membuat koneksi ke Azure Databricks di Microsoft Power Platform.

Menggunakan data Azure Databricks Anda untuk membangun aplikasi Power canvas

Untuk menambahkan data Azure Databricks ke aplikasi Anda, lakukan hal berikut:

  1. Dari bilah navigasi paling kiri di Power Apps, klik Buat.
  2. Klik Mulai dengan kanvas kosong dan pilih ukuran kanvas yang Anda inginkan untuk membuat aplikasi kanvas baru.
  3. Dari aplikasi Anda, klik Tambahkan data > Konektor > Azure Databricks. Klik koneksi Azure Databricks yang Anda buat.
  4. Pilih katalog dari bilah samping Pilih himpunan data .
  5. Dari bilah samping Pilih himpunan data , pilih semua tabel yang ingin Anda sambungkan ke aplikasi kanvas Anda.
  6. Klik Sambungkan.

Operasi data di Power Apps:

Konektor mendukung operasi buat, perbarui, dan hapus, tetapi hanya untuk tabel yang memiliki kunci utama yang ditentukan. Saat melakukan operasi buat, Anda harus selalu menentukan kunci utama.

Azure Databricks mendukung kolom identitas yang dihasilkan. Dalam hal ini, nilai kunci primer secara otomatis dihasilkan di server selama pembuatan baris dan tidak dapat ditentukan secara manual.

Menggunakan data Azure Databricks Anda untuk membangun alur Power Automate

API Eksekusi Pernyataan Azure Databricks dan API Job diekspos dalam Power Automate, memungkinkan Anda menulis pernyataan SQL dan menjalankan job yang ada. Untuk membuat alur Power Automate menggunakan Azure Databricks sebagai tindakan, lakukan hal berikut:

  1. Dari bilah navigasi paling kiri di Power Automate, klik Buat.

  2. Buat alur dan tambahkan jenis pemicu apa pun.

  3. Dari alur baru Anda, klik + dan cari "Databricks" untuk melihat tindakan yang tersedia.

  4. Untuk menulis kueri SQL, pilih salah satu tindakan berikut:

    • Jalankan Pernyataan SQL: Tulis dan jalankan pernyataan SQL. Masukkan yang berikut:

      • Untuk Body/warehouse_id, masukkan ID gudang untuk mengeksekusi pernyataan SQL.
      • Untuk Body/statement_id, masukkan ID pernyataan SQL yang akan dijalankan.

      Untuk informasi selengkapnya tentang parameter tingkat lanjut, lihat dokumentasi API.

    • Periksa status dan dapatkan hasil: Periksa status pernyataan SQL dan kumpulkan hasil. Masukkan yang berikut:

      • Untuk ID Pernyataan, masukkan ID yang dikembalikan saat pernyataan SQL dijalankan.

      Untuk informasi selengkapnya tentang parameter, lihat dokumentasi API.

    • Batalkan eksekusi pernyataan: Menghentikan eksekusi pernyataan SQL. Masukkan yang berikut:

      • Untuk ID Pernyataan, masukkan ID pernyataan SQL untuk mengakhiri.

      Untuk informasi selengkapnya tentang parameter, lihat dokumentasi API.

    • Dapatkan hasil dengan indeks gugus: Dapatkan hasil berdasarkan indeks gugus, yang cocok untuk tataan hasil besar. Masukkan yang berikut:

      • Untuk ID Pernyataan, masukkan ID pernyataan SQL yang hasilnya ingin Anda ambil.
      • Untuk indeks gugus, masukkan indeks gugus target.

      Untuk informasi selengkapnya tentang parameter, lihat dokumentasi API.

  5. Untuk berinteraksi dengan Pekerjaan Azure Databricks yang sudah ada, pilih salah satu tindakan berikut:

    • Mencantumkan pekerjaan: Mengambil daftar pekerjaan. Untuk informasi selengkapnya, lihat dokumentasi API.
    • Memicu eksekusi pekerjaan baru: Menjalankan pekerjaan dan mengembalikan run_id eksekusi yang dipicu. Untuk informasi selengkapnya, lihat dokumentasi API.
    • Dapatkan satu pekerjaan yang dijalankan: Mengembalikan metadata tentang eksekusi, termasuk status eksekusi (misalnya, RUNNING, , SUCCESS, FAILED), waktu mulai dan selesai, durasi eksekusi, informasi kluster, dan sebagainya. Untuk informasi selengkapnya, lihat dokumentasi API.
    • Batalkan proses: Membatalkan proses pekerjaan atau proses tugas. Untuk informasi selengkapnya, lihat dokumentasi API.
    • Dapatkan output untuk satu eksekusi: Mengambil output dan metadata dari satu pekerjaan atau eksekusi tugas. Untuk informasi selengkapnya, lihat dokumentasi API.

Membuat tabel virtual Dataverse dengan data Azure Databricks Anda

Anda juga dapat membuat tabel virtual Dataverse dengan konektor Azure Databricks. Tabel virtual, juga dikenal sebagai entitas virtual, mengintegrasikan data dari sistem eksternal dengan Microsoft Dataverse. Tabel virtual menentukan tabel di Dataverse tanpa menyimpan tabel fisik dalam database Dataverse. Untuk mempelajari selengkapnya tentang tabel virtual, lihat Mulai menggunakan tabel virtual (entitas).

Note

Meskipun tabel virtual tidak menggunakan kapasitas penyimpanan Dataverse, Databricks merekomendasikan penggunaan koneksi langsung untuk performa yang lebih baik.

Anda harus memiliki peran Penyesuai Sistem atau Admin Sistem. Untuk informasi selengkapnya, lihat peran keamanan untuk Power Platform.

Ikuti langkah-langkah ini untuk membuat tabel virtual Dataverse:

  1. Di Power Apps, dari bar samping, klik Tabel.
  2. Klik + Tabel Baru dari bilah menu dan pilih Buat tabel virtual.
  3. Pilih koneksi Azure Databricks yang sudah ada atau buat koneksi baru ke Azure Databricks. Untuk menambahkan koneksi baru, lihat Membuat koneksi Azure Databricks di Microsoft Power Platform.
    • Databricks merekomendasikan penggunaan koneksi prinsipal layanan untuk membuat tabel virtual.
  4. Klik Berikutnya.
  5. Pilih tabel yang akan diwakili sebagai tabel virtual Dataverse.

    Note

    Tabel virtual Dataverse memerlukan kunci primer. Kunci harus berupa GUID (string), bigInt, atau bilangan bulat. Tampilan tidak dapat berupa tabel virtual, tetapi tampilan yang terwujud bisa.

  6. Klik Berikutnya.
  7. Konfigurasikan tabel virtual dengan memperbarui detail tabel, jika perlu.
  8. Klik Berikutnya.
  9. Konfirmasi detail sumber data dan klik Selesai.
  10. Gunakan tabel virtual Dataverse di Power Apps, Power Automate, dan Copilot Studio.

Untuk daftar batasan tabel virtual Dataverse yang diketahui, lihat Batasan dan pemecahan masalah yang diketahui.

Haruskah Anda menggunakan tabel virtual atau koneksi langsung?

Tabel virtual Dataverse dan koneksi langsung menawarkan keuntungan yang berbeda. Metode yang Anda pilih tergantung pada kasus penggunaan Anda. Tabel di bawah ini meringkas kemampuan utama setiap metode.

Metode akses data Penerusan kredensial pengguna akhir melalui OAuth Tanpa salinan Read Melakukan Penulisan ke Azure Databricks Aplikasi Kanvas Aplikasi berbasis model
Sambungan langsung ✔ ✔ ✔ ✔ ✔
Tabel virtual Dataverse ✔ ✔ ✔ ✔ ✔

Melakukan pembaruan batch

Jika Anda perlu melakukan operasi pembuatan, pembaruan, atau penghapusan massal sebagai respons terhadap input Power Apps, Databricks merekomendasikan untuk menerapkan alur Power Automate. Untuk mencapai hal ini, lakukan hal berikut:

  1. Buat aplikasi kanvas menggunakan koneksi Azure Databricks Anda di Power Apps.

  2. Buat alur Power Automate menggunakan koneksi Azure Databricks dan gunakan Power Apps sebagai pemicunya.

  3. Di pemicu Power Automate, tambahkan bidang input yang ingin Anda teruskan dari Power Apps ke Power Automate.

  4. Buat objek koleksi dalam Power Apps untuk mengumpulkan semua perubahan Anda.

  5. Tambahkan alur Power Automate ke aplikasi kanvas Anda.

  6. Panggil alur kerja Power Automate dari aplikasi kanvas Anda, dan mengurai koleksi dengan perintah ForAll.

    ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)

Penulisan serentak

Konkurensi tingkat baris mengurangi konflik antara operasi tulis bersamaan dengan mendeteksi perubahan di tingkat baris dan secara otomatis menyelesaikan konflik yang terjadi saat penulisan bersamaan memperbarui atau menghapus baris yang berbeda dalam file data yang sama.

Konkurensi di tingkat baris disertakan dalam Databricks Runtime 14.2 atau versi yang lebih tinggi. Konkurensi tingkat baris didukung secara default untuk jenis tabel berikut:

  • Tabel dengan vektor penghapusan diaktifkan dan tanpa pemartisian
  • Tabel dengan pengelompokan cairan, kecuali jika vektor penghapusan dinonaktifkan

Untuk mengaktifkan vektor penghapusan, jalankan perintah SQL berikut.

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Untuk informasi selengkapnya tentang konflik penulisan bersamaan di Azure Databricks, lihat Tingkat isolasi dan konflik penulisan.

Keterbatasan

Batasan Power Apps

Rumus PowerFx berikut menghitung nilai hanya menggunakan data yang diambil secara lokal:

Kategori Rumus
Fungsi tabel
  • Kelompokkan
  • Distinct
Aggregation
  • CountRows
  • StdevP
  • StdevS
  • Last updated on