Bagikan melalui

Tutorial: Menyiapkan sinkronisasi untuk Google BigQuery (Pratinjau)

Dalam tutorial ini, Anda akan mengonfigurasi database cermin Fabric dari Google BigQuery.

Nota

Meskipun contoh ini khusus untuk BigQuery, Anda dapat menemukan langkah-langkah terperinci untuk mengonfigurasi Mirroring untuk sumber data lain, seperti Azure SQL Database atau Azure Cosmos DB. Untuk informasi selengkapnya, lihat Apa itu Mirroring in Fabric?

Prasyarat

  • Membuat atau menggunakan gudang BigQuery yang ada. Anda dapat terhubung ke versi instans BigQuery apa pun di cloud apa pun, termasuk Microsoft Azure.
  • Anda memerlukan kapasitas Fabric yang sudah ada. Jika tidak, mulailah uji coba Fabric.

Persyaratan izin

Anda memerlukan izin pengguna untuk database BigQuery yang berisi izin berikut:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Peran BigQueryAdmin dan StorageAdmin harus menyertakan izin ini.

Pengguna harus memiliki setidaknya satu peran yang ditetapkan yang memungkinkan akses ke instans BigQuery. Periksa persyaratan jaringan untuk mengakses sumber data BigQuery Anda. Jika Anda menggunakan Mirroring untuk Google BigQuery dalam Gateway Data Lokal (OPDG), Anda harus memiliki OPDG versi 3000.286.6 atau yang lebih tinggi agar Mirroring berhasil diaktifkan.

Untuk membuat wadah secara manual (dan menghindari perlu memberikan izin storage.buckets.create), Anda dapat:

  1. Buka Cloud Storage dalam Konsol Google Anda dan pilih wadah.
  2. Pilih Buat dan beri nama wadah dalam format ini (peka huruf besar/kecil): <projectid>_fabric_staging_bucket
  3. Pastikan lokasi/wilayah bucket sama dengan proyek GCP yang hendak Anda duplikasi.
  4. Pilih Buat. Sistem pencerminan akan secara otomatis mendeteksi wadah.

Izin lainnya dapat diperlukan tergantung pada kasus penggunaan Anda. Izin minimum yang diperlukan adalah untuk bekerja dengan riwayat perubahan dan menangani berbagai tabel berukuran (tabel yang lebih besar dari 10GB). Bahkan jika Anda tidak bekerja dengan tabel yang lebih besar dari 10GB, aktifkan semua izin minimum ini untuk memungkinkan keberhasilan penggunaan Mirroring Anda.

Untuk informasi selengkapnya tentang izin, lihat dokumentasi Google BigQuery tentang Hak Istimewa yang Diperlukan untuk data Streaming, Izin yang Diperlukan untuk mengubah akses riwayat, dan Izin yang Diperlukan untuk menulis hasil kueri

Penting

Setiap keamanan granular yang ditetapkan di gudang BigQuery sumber harus dikonfigurasi ulang pada database cerminan di Microsoft Fabric. Untuk informasi selengkapnya, lihat Izin terperinci SQL di Microsoft Fabric.

Membuat database cermin

Di bagian ini, Anda membuat database cermin baru dari sumber data BigQuery cermin Anda.

Anda dapat menggunakan ruang kerja yang sudah ada (bukan Ruang Kerja Saya) atau membuat ruang kerja baru.

  1. Dari ruang kerja Anda, navigasikan ke hub Buat .
  2. Setelah Anda memilih ruang kerja yang ingin Anda gunakan, pilih Buat.
  3. Pilih kartu Mirrored Google BigQuery .
  4. Masukkan nama untuk database baru.
  5. Pilih Buat.

Hubungkan ke instance BigQuery Anda di cloud apa pun

Nota

Anda mungkin perlu mengubah firewall cloud untuk memungkinkan Mirroring terhubung ke instans BigQuery. Kami mendukung Mirroring untuk Google BigQuery untuk OPDG versi 3000.286.6 atau lebih tinggi.

  1. Pilih BigQuery di bawah Koneksi baru atau pilih koneksi yang sudah ada.

  2. Jika Anda memilih Koneksi baru, masukkan detail koneksi ke database BigQuery.

    Pengaturan koneksi Description
    Email Akun Layanan Jika Anda memiliki akun layanan yang sudah ada sebelumnya: Anda dapat menemukan email Akun Layanan dan kunci yang ada dengan membuka Akun layanan di konsol Google BigQuery Anda. Jika Anda tidak memiliki akun layanan yang sudah ada sebelumnya: Buka "Akun layanan" di konsol Google BigQuery Anda dan pilih Buat akun layanan. Masukkan nama akun layanan (ID akun layanan dibuat secara otomatis berdasarkan nama akun layanan yang Anda masukkan), dan deskripsi akun layanan. Pilih Selesai. Salin dan tempel email akun layanan ke bagian kredensial koneksi yang ditunjuk di Fabric.
    Isi file kunci JSON Akun Layanan Dalam dasbor Akun Layanan, pilih Tindakan untuk akun layanan yang baru dibuat. Pilih Kelola kunci. Jika Anda sudah memiliki kunci per akun layanan Anda, unduh konten file kunci JSON-nya.

    Jika Anda belum memiliki kunci per akun layanan Anda, pilih Tambahkan kunci dan Buat kunci baru. Lalu pilih JSON. File kunci JSON harus diunduh secara otomatis. Salin dan tempel kunci JSON ke bagian kredensial koneksi yang ditunjuk di portal Fabric.
    Koneksi Buat koneksi baru.
    Nama koneksi Harus diisi secara otomatis. Ubah menjadi nama yang ingin Anda gunakan.

  3. Pilih database dari daftar dropdown.

Mulai proses pencerminan

  1. Layar Konfigurasikan pencerminan memungkinkan Anda mencerminkan semua data dalam database, secara default.

    • Mencerminkan semua data berarti bahwa setiap tabel baru yang dibuat setelah Pencerminan dimulai akan dicerminkan.

    • Secara opsional, pilih hanya objek tertentu yang akan dicerminkan. Nonaktifkan opsi Cerminkan semua data , lalu pilih tabel individual dari database Anda.

    Untuk contoh ini, kami menggunakan opsi Cerminkan semua data .

  2. Pilih Cerminkan database. Pencerminan dimulai.

  3. Tunggu 2-5 menit. Lalu, pilih Pantau replikasi untuk melihat status.

  4. Setelah beberapa menit, status harus berubah menjadi Berjalan, yang berarti tabel sedang disinkronkan.

    Jika Anda tidak melihat tabel dan status replikasi yang sesuai, tunggu beberapa detik lalu refresh panel.

  5. Setelah selesai menyalin awal tabel, tanggal akan muncul di kolom Refresh terakhir.

  6. Sekarang setelah data Anda siap dan berfungsi, terdapat berbagai skenario analitik yang tersedia di seluruh Fabric.

Penting

  • Pencerminan untuk Google BigQuery memiliki penundaan ~ 15 menit dalam pantulan perubahan. Ini adalah batasan dari teknologi Change Data Capture (CDC) Google BigQuery.
  • Setiap keamanan terperinci yang ditetapkan dalam database sumber harus dikonfigurasi ulang dalam database cermin di Microsoft Fabric.

Memantau pencerminan Fabric

Setelah pencerminan dikonfigurasi, Anda diarahkan ke halaman Status Pencerminan . Di sini, Anda dapat memantau status replikasi saat ini.

Untuk informasi dan detail selengkapnya tentang status replikasi, lihat Monitor Fabric untuk replikasi database cermin.

Penting

Jika tidak ada pembaruan dalam tabel sumber di database BigQuery Anda, mesin replikator (mesin yang mendukung data perubahan untuk BigQuery Mirroring) akan melambat dan hanya mereplikasi tabel setiap jam. Jangan terkejut jika data setelah beban awal memakan waktu lebih lama dari yang diharapkan, terutama jika Anda tidak memiliki pembaruan baru dalam tabel sumber Anda. Setelah rekam jepret, Mesin Cermin akan menunggu ~15 menit sebelum mengambil perubahan; hal ini disebabkan oleh batasan dari Google BigQuery di mana ia memberlakukan penundaan 10 menit dalam mencerminkan perubahan baru. Pelajari selengkapnya tentang penundaan refleksi perubahan BigQuery

Konten terkait

  • Last updated on