Menyalin data dari Google BigQuery menggunakan Azure Data Factory atau Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menguraikan cara menggunakan Aktivitas Salin di alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari Google BigQuery. Artikel tersebut dibuat berdasarkan artikel Gambaran umum Salin Aktivitas yang menyajikan gambaran umum aktivitas salin.

Penting

Konektor Google BigQuery baru menyediakan dukungan Google BigQuery asli yang ditingkatkan. Jika Anda menggunakan konektor Google BigQuery warisan dalam solusi Anda, silakan tingkatkan konektor Google BigQuery Anda sebelum 31 Oktober 2024. Lihat bagian ini untuk detail tentang perbedaan antara versi lama dan terbaru.

Kemampuan yang didukung

Konektor Google BigQuery ini didukung untuk kemampuan berikut ini:

Kemampuan yang didukung	IR
Aktivitas penyalinan (sumber/-)	(1) (2)
Aktivitas pencarian	(1) (2)

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber atau sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung.

Layanan ini menyediakan driver bawaan untuk mengaktifkan konektivitas. Oleh karena itu, Anda tidak perlu menginstal driver apa pun secara manual untuk menggunakan konektor ini.

Catatan

Konektor Google BigQuery ini dibangun di atas API BigQuery. Ketahuilah bahwa BigQuery membatasi tingkat maksimum permintaan masuk dan memberlakukan kuota yang sesuai berdasarkan per proyek, lihat Kuota dan Batas - Permintaan API. Pastikan Anda tidak memicu terlalu banyak permintaan bersamaan ke akun.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

• Alat Penyalinan Data
• Portal Microsoft Azure
• SDK .NET
• SDK Python
• Azure PowerShell
• REST API
• Templat Azure Resource Manager

Membuat layanan tertaut ke Google BigQuery menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Google BigQuery di UI portal Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   Azure Data Factory

   

   Azure Synapse

   

2. Cari Google BigQuery dan pilih konektor.

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas khusus untuk konektor Google BigQuery.

Properti layanan tertaut

Properti berikut didukung untuk layanan tertaut Google BigQuery.

Properti	Deskripsi	Wajib
jenis	Properti jenis harus diatur ke GoogleBigQueryV2.	Ya
projectId	ID proyek dari proyek BigQuery default untuk dikueri.	Ya
authenticationType	Mekanisme autentikasi OAuth 2.0 yang digunakan untuk autentikasi. Nilai yang diizinkan adalah UserAuthentication dan ServiceAuthentication. Lihat bagian di bawah tabel ini pada lebih banyak properti dan sampel JSON untuk jenis autentikasi tersebut masing-masing.	Ya

Menggunakan autentikasi pengguna

Atur properti "authenticationType" ke UserAuthentication, dan tentukan properti berikut ini bersama dengan properti generik yang dijelaskan di bagian sebelumnya:

Properti	Deskripsi	Wajib diisi
clientId	ID aplikasi yang digunakan untuk menghasilkan token refresh.	Ya
clientSecret	Rahasia aplikasi yang digunakan untuk menghasilkan token refresh. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau mereferensikan rahasia yang disimpan di Azure Key Vault.	Ya
refreshToken	Token refresh yang diperoleh dari Google digunakan untuk mengotorisasi akses ke BigQuery. Pelajari cara mendapatkannya dari Mendapatkan token akses OAuth 2.0 dan blog komunitas ini. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau mereferensikan rahasia yang disimpan di Azure Key Vault.	Ya

Contoh:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Menggunakan autentikasi layanan

Atur properti "authenticationType" ke ServiceAuthentication, dan tentukan properti berikut ini bersama dengan properti generik yang dijelaskan di bagian sebelumnya.

Properti	Deskripsi	Wajib diisi
keyFileContent	File kunci dalam format JSON yang digunakan untuk mengautentikasi akun layanan. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau mereferensikan rahasia yang disimpan di Azure Key Vault.	Ya

Contoh:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel Himpunan Data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Google BigQuery.

Untuk menyalin data dari Google BigQuery, atur properti jenis himpunan data ke GoogleBigQueryV2Object. Berikut adalah properti yang didukung:

Properti	Deskripsi	Wajib
jenis	Properti jenis himpunan data harus diatur ke: GoogleBigQueryV2Object	Ya
himpunan data	Nama himpunan data Google BigQuery.	Tidak (jika "kueri" di sumber aktivitas ditentukan)
tabel	Nama tabel.	Tidak (jika "kueri" di sumber aktivitas ditentukan)

Contoh

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh jenis sumber Google BigQuery.

GoogleBigQuerySource sebagai jenis sumber

Untuk menyalin data dari Google BigQuery, atur jenis sumber dalam aktivitas salin ke GoogleBigQueryV2Source. Properti berikut ini didukung di bagian sumber aktivitas salin.

Properti	Deskripsi	Wajib
jenis	Properti jenis sumber aktivitas salin harus diatur ke GoogleBigQueryV2Source.	Ya
pertanyaan	Gunakan kueri SQL kustom untuk membaca data. Contohnya "SELECT * FROM MyTable". Untuk informasi selengkapnya, buka Sintaks kueri.	Tidak (jika "himpunan data" dan "tabel" dalam himpunan data ditentukan)

Contoh:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Meningkatkan konektor Google BigQuery

Untuk meningkatkan konektor Google BigQuery, buat layanan tertaut Google BigQuery baru dan konfigurasikan dengan merujuk ke properti layanan Tertaut.

Perbedaan antara Google BigQuery dan Google BigQuery (warisan)

Konektor Google BigQuery menawarkan fungsionalitas baru dan kompatibel dengan sebagian besar fitur konektor Google BigQuery (warisan). Tabel di bawah ini menunjukkan perbedaan fitur antara Google BigQuery dan Google BigQuery (warisan).

Google BigQuery	Google BigQuery (warisan)
Autentikasi layanan didukung oleh runtime integrasi Azure dan runtime integrasi yang dihost sendiri. Properti trustedCertPath, useSystemTrustStore, email, dan keyFilePath tidak didukung karena hanya tersedia pada runtime integrasi yang dihost sendiri.	Autentikasi layanan hanya didukung oleh runtime integrasi yang dihost sendiri. Mendukung properti trustedCertPath, useSystemTrustStore, email, dan keyFilePath.
Pemetaan berikut digunakan dari jenis data Google BigQuery ke jenis data sementara yang digunakan oleh layanan secara internal. Numerik -> Desimal Tanda waktu -> DateTimeOffset Tanggalwaktu -> DatetimeOffset	Pemetaan berikut digunakan dari jenis data Google BigQuery ke jenis data sementara yang digunakan oleh layanan secara internal. Numerik -> String Tanda waktu -> DateTime Tanggalwaktu -> DateTime
requestGoogleDriveScope tidak didukung. Anda juga perlu menerapkan izin di layanan Google BigQuery dengan merujuk ke Pilih cakupan Google Drive API dan data Query Drive.	Permintaan dukunganGoogleDriveScope.
additionalProjects tidak didukung. Sebagai alternatif, kueri himpunan data publik dengan konsol Google Cloud.	Mendukung additionalProjects.

Konten terkait

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat Penyimpanan data yang didukung.