Bagikan melalui

Tutorial: Menyiapkan sinkronisasi untuk Google BigQuery (Pratinjau)

Dalam tutorial ini, Anda akan mengonfigurasi database cermin Fabric dari Google BigQuery.

Nota

Meskipun contoh ini khusus untuk BigQuery, Anda dapat menemukan langkah-langkah terperinci untuk mengonfigurasi Mirroring untuk sumber data lain, seperti Azure SQL Database atau Azure Cosmos DB. Untuk informasi selengkapnya, lihat Apa itu Mirroring in Fabric?

Prasyarat

  • Membuat atau menggunakan gudang BigQuery yang ada. Anda dapat terhubung ke versi instans BigQuery apa pun di cloud apa pun, termasuk Microsoft Azure.
  • Anda memerlukan kapasitas Fabric yang sudah ada. Jika tidak, mulailah uji coba Fabric.

Persyaratan izin

Anda memerlukan izin pengguna untuk database BigQuery yang berisi izin berikut:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Mengambil Metadata Tabel dan Mengubah Konfigurasi Riwayat (Diperlukan)

Peran BigQueryAdmin dan StorageAdmin harus menyertakan izin ini. Izin berikut diperlukan untuk menentukan apakah riwayat perubahan diaktifkan dan untuk mengambil kunci utama atau informasi kunci komposit.

Pengguna harus memiliki setidaknya satu peran yang ditetapkan yang memungkinkan akses ke instans BigQuery. Periksa persyaratan jaringan untuk mengakses sumber data BigQuery Anda. Jika Anda menggunakan Mirroring untuk Google BigQuery dalam Gateway Data Lokal (OPDG), Anda harus memiliki OPDG versi 3000.286.6 atau yang lebih tinggi agar Mirroring berhasil diaktifkan.

Izin yang Diperlukan

Untuk membuat bucket secara manual (dan menghindari perlu memberikan izin storage.buckets.create), Anda dapat menggunakan:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Navigasikan ke Cloud Storage dalam Konsol Google Anda dan pilih Bucket.
  2. Pilih Buat dan beri nama wadah dalam format ini (peka huruf besar/kecil): <projectid>_fabric_staging_bucket
  3. Pastikan lokasi/wilayah bucket sama dengan proyek GCP yang hendak Anda duplikasi.
  4. Pilih Buat. Sistem pencerminan akan secara otomatis mendeteksi wadah.

Izin lainnya dapat diperlukan tergantung pada kasus penggunaan Anda. Izin minimum yang diperlukan adalah untuk bekerja dengan riwayat perubahan dan menangani berbagai tabel berukuran (tabel yang lebih besar dari 10GB). Bahkan jika Anda tidak bekerja dengan tabel yang lebih besar dari 10GB, aktifkan semua izin minimum ini untuk memungkinkan keberhasilan penggunaan Mirroring Anda.

Mengambil Riwayat Perubahan dan Data Tabel (Diperlukan)

Untuk informasi selengkapnya tentang izin, lihat dokumentasi Google BigQuery tentang Hak Istimewa yang Diperlukan untuk data Streaming, Izin yang Diperlukan untuk mengubah akses riwayat, dan Izin yang Diperlukan untuk menulis hasil kueri

Izin berikut diperlukan untuk membaca riwayat perubahan dan data tabel.

Penting

Setiap keamanan granular yang ditetapkan di gudang BigQuery sumber harus dikonfigurasi ulang pada database cerminan di Microsoft Fabric. Untuk informasi selengkapnya, lihat Izin terperinci SQL di Microsoft Fabric.

Izin yang Diperlukan

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Mengaktifkan Kemampuan Riwayat Perubahan (Diperlukan)

Riwayat perubahan harus diaktifkan pada tabel BigQuery sumber menggunakan salah satu opsi berikut.

Opsi 1: Aktifkan Izin

  • bigquery.tables.update

Memungkinkan mengaktifkan riwayat perubahan pada tabel.

Opsi 2: Aktifkan Opsi Tabel di GCP

Pastikan opsi tabel berikut diatur ke TRUE:

  • enable_change_history

Ekspor Data ke Google Cloud Storage untuk Penahapan dan Salin ke OneLake (Diperlukan)

Izin berikut diperlukan untuk mengekspor data BigQuery ke Google Cloud Storage untuk penahapan dan menyalinnya ke OneLake.

Izin yang Diperlukan

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Wadah Penyimpanan Cloud Google untuk Penahapan (Diperlukan)

Wadah Google Cloud Storage diperlukan untuk mengekspor data tabel BigQuery untuk penahapan.

Opsi Pembuatan Wadah

Gunakan salah satu pendekatan berikut:

Opsi 1: Izinkan pembuatan wadah otomatis

Berikan izin berikut:

  • storage.buckets.create

Opsi 2: Buat Staging Bucket secara Manual

Buat wadah dengan konvensi penamaan berikut: <your_project_id_in_lowercase>_fabric_staging_bucket

Persyaratan Wadah

  • Wadah harus berada di lokasi/wilayah yang sama dengan himpunan data BigQuery.
  • Sistem Pencerminan akan secara otomatis mendeteksi wadah setelah ada.

Mencantumkan Himpunan Data (Diperlukan)

Izin yang Diperlukan

  • bigquery.datasets.get

Daftar Proyek (Diperlukan)

Izin yang Diperlukan

  • resourcemanager.projects.get

Persyaratan Peran dan Akses

Peran Admin BigQuery dan Admin Penyimpanan biasanya menyertakan izin yang tercantum di atas.

Pengguna harus diberi setidaknya satu peran yang memberikan akses ke proyek dan himpunan data BigQuery target.

Persyaratan Jaringan dan Gateway

Periksa persyaratan jaringan untuk mengakses sumber data BigQuery Anda.

Jika Anda menggunakan Mirroring untuk Google BigQuery dengan Data Gateway lokal (OPDG), Anda harus menggunakan:

  • OPDG versi 3000.286.6 atau yang lebih baru

Catatan Tambahan

Izin lainnya mungkin diperlukan tergantung pada kasus penggunaan Anda. Izin yang tercantum di atas mewakili minimum yang diperlukan untuk:

  • Bekerja dengan sejarah perubahan
  • Menangani tabel dengan berbagai ukuran, termasuk tabel yang lebih besar dari 10 GB

Bahkan jika saat ini Anda tidak bekerja dengan tabel yang lebih besar dari 10 GB, pengaktifan semua izin minimum disarankan untuk memastikan pencerminan yang berhasil.

Untuk informasi selengkapnya, lihat:

Penting

Setiap keamanan terperinci yang ditentukan dalam gudang BigQuery sumber harus dikonfigurasi ulang dalam database cermin di Microsoft Fabric. Untuk informasi selengkapnya, lihat Izin terperinci SQL di Microsoft Fabric.

Membuat database duplikat

Di bagian ini, Anda membuat database cermin baru dari sumber data BigQuery cermin Anda.

Anda dapat menggunakan ruang kerja yang sudah ada (bukan Ruang Kerja Saya) atau membuat ruang kerja baru.

  1. Dari ruang kerja Anda, navigasikan ke hub Buat .
  2. Setelah Anda memilih ruang kerja yang ingin Anda gunakan, pilih Buat.
  3. Pilih kartu Mirrored Google BigQuery .
  4. Masukkan nama untuk database baru.
  5. Pilih Buat.

Hubungkan ke instance BigQuery Anda di cloud apa pun

Nota

Anda mungkin perlu mengubah firewall cloud untuk memungkinkan Mirroring terhubung ke instans BigQuery. Kami mendukung Mirroring untuk Google BigQuery untuk OPDG versi 3000.286.6 atau lebih tinggi. Kami juga mendukung VNET.

  1. Pilih BigQuery di bawah Koneksi baru atau pilih koneksi yang sudah ada.

  2. Jika Anda memilih Koneksi baru, masukkan detail koneksi ke database BigQuery.

    Pengaturan koneksi Description
    Email Akun Layanan Jika Anda memiliki akun layanan yang sudah ada sebelumnya: Anda dapat menemukan email Akun Layanan dan kunci yang ada dengan membuka Akun layanan di konsol Google BigQuery Anda. Jika Anda tidak memiliki akun layanan yang sudah ada sebelumnya: Buka "Akun layanan" di konsol Google BigQuery Anda dan pilih Buat akun layanan. Masukkan nama akun layanan (ID akun layanan dibuat secara otomatis berdasarkan nama akun layanan yang Anda masukkan), dan deskripsi akun layanan. Pilih Selesai. Salin dan tempel email akun layanan ke bagian kredensial koneksi yang ditunjuk di Fabric.
    Isi file kunci JSON Akun Layanan Dalam dasbor Akun Layanan, pilih Tindakan untuk akun layanan yang baru dibuat. Pilih Kelola kunci. Jika Anda sudah memiliki kunci per akun layanan Anda, unduh konten file kunci JSON-nya.

    Jika Anda belum memiliki kunci per akun layanan Anda, pilih Tambahkan kunci dan Buat kunci baru. Lalu pilih JSON. File kunci JSON harus diunduh secara otomatis. Salin dan tempel kunci JSON ke bagian kredensial koneksi yang ditunjuk di portal Fabric.
    Koneksi Buat koneksi baru.
    Nama koneksi Harus diisi secara otomatis. Ubah menjadi nama yang ingin Anda gunakan.

  3. Pilih database dari daftar dropdown.

Mulai proses pencerminan

  1. Layar Konfigurasikan pencerminan memungkinkan Anda mencerminkan semua data dalam database, secara default.

    • Mencerminkan semua data berarti bahwa setiap tabel baru yang dibuat setelah Pencerminan dimulai akan dicerminkan.

    • Secara opsional, pilih hanya objek tertentu yang akan dicerminkan. Nonaktifkan opsi Cerminkan semua data , lalu pilih tabel individual dari database Anda.

    Untuk contoh ini, kami menggunakan opsi Cerminkan semua data .

  2. Pilih Cerminkan database. Pencerminan dimulai.

  3. Tunggu 2-5 menit. Lalu, pilih Pantau replikasi untuk melihat status.

  4. Setelah beberapa menit, status harus berubah menjadi Berjalan, yang berarti tabel sedang disinkronkan.

    Jika Anda tidak melihat tabel dan status replikasi yang sesuai, tunggu beberapa detik lalu refresh panel.

  5. Setelah selesai menyalin awal tabel, tanggal akan muncul di kolom Refresh terakhir.

  6. Sekarang setelah data Anda siap dan berfungsi, terdapat berbagai skenario analitik yang tersedia di seluruh Fabric.

Penting

  • Pencerminan untuk Google BigQuery memiliki penundaan ~ 15 menit dalam pantulan perubahan. Ini adalah batasan dari kemampuan Riwayat Perubahan Google BigQuery.
  • Setiap keamanan terperinci yang ditetapkan dalam database sumber harus dikonfigurasi ulang dalam database cermin di Microsoft Fabric.

Memantau replikasi Jaringan

Setelah pencerminan dikonfigurasi, Anda diarahkan ke halaman Status Pencerminan . Di sini, Anda dapat memantau status replikasi saat ini.

Untuk informasi dan detail selengkapnya tentang status replikasi, lihat Monitor Fabric untuk replikasi database cermin.

Penting

Jika tidak ada pembaruan dalam tabel sumber di database BigQuery Anda, mesin replikator (mesin yang mendukung data perubahan untuk BigQuery Mirroring) akan melambat dan hanya mereplikasi tabel setiap jam. Jangan terkejut jika data setelah beban awal memakan waktu lebih lama dari yang diharapkan, terutama jika Anda tidak memiliki pembaruan baru dalam tabel sumber Anda. Setelah rekam jepret, Mesin Cermin akan menunggu ~15 menit sebelum mengambil perubahan; hal ini disebabkan oleh batasan dari Google BigQuery di mana ia memberlakukan penundaan 10 menit dalam mencerminkan perubahan baru. Pelajari selengkapnya tentang penundaan refleksi perubahan BigQuery

Konten terkait

  • Last updated on