Adatok másolása a Google BigQueryből az Azure Data Factory vagy a Synapse Analytics használatával (örökölt)

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk bemutatja, hogyan használható a Másolási tevékenység az Azure Data Factoryben és a Synapse Analytics-folyamatokban adatok másolására a Google BigQueryből. A másolási tevékenység áttekintési cikkére épül, amely általános áttekintést nyújt a másolási tevékenységről.

Fontos

A szolgáltatás kiadott egy új Google BigQuery-összekötőt, amely jobb natív Google BigQuery-támogatást nyújt, a részletekről a Google BigQuery cikkében olvashat.

Támogatott képességek

Ez a Google BigQuery-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Copy tevékenység (forrás/-)	(1) (2)
Keresési tevékenység	(1) (2)

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként vagy fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez. Ezért nem kell manuálisan telepítenie egy illesztőprogramot az összekötő használatához.

Feljegyzés

Ez a Google BigQuery-összekötő a BigQuery API-kra épül. Vegye figyelembe, hogy a BigQuery korlátozza a bejövő kérelmek maximális sebességét, és projektenkénti alapon kényszeríti ki a megfelelő kvótákat, tekintse meg a Kvóták > Korlátok – API-kérelmeket. Győződjön meg arról, hogy nem indít túl sok egyidejű kérést a fiókhoz.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• Az Azure Portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása a Google BigQueryhez felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Google BigQueryhez az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   Azure Data Factory

   

   Azure Synapse

   

2. Keressen rá a Google-ra, és válassza ki a Google BigQuery-összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszok a Google BigQuery-összekötőre jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Google BigQuery társított szolgáltatása az alábbi tulajdonságokat támogatja.

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságot GoogleBigQuery értékre kell állítani.	Igen
projekt	Az alapértelmezett BigQuery-projekt projektazonosítója, amely alapján lekérdezhetők.	Igen
továbbiprojektek	A nyilvános BigQuery-projektek projektazonosítóinak vesszővel tagolt listája.	Nem
requestGoogleDriveScope	A Google Drive-hoz való hozzáférés kérése. A Google Drive-hozzáférés engedélyezése lehetővé teszi a BigQuery-adatokat a Google Drive-ból származó adatokkal kombináló összevont táblák támogatását. Az alapértelmezett érték: hamis.	Nem
authenticationType	A hitelesítéshez használt OAuth 2.0 hitelesítési mechanizmus. A ServiceAuthentication csak saját üzemeltetésű integrációs futtatókörnyezetben használható. Az engedélyezett értékek a UserAuthentication és a ServiceAuthentication. A táblázat alatti szakaszokban további tulajdonságokat és JSON-mintákat talál ezekhez a hitelesítési típusokhoz.	Igen

Felhasználói hitelesítés használata

Állítsa a "authenticationType" tulajdonságot UserAuthentication értékre, és adja meg a következő tulajdonságokat az előző szakaszban ismertetett általános tulajdonságokkal együtt:

Tulajdonság	Leírás	Kötelező
clientId	A frissítési jogkivonat létrehozásához használt alkalmazás azonosítója.	Igen
clientSecret	A frissítési jogkivonat létrehozásához használt alkalmazás titkos kódja. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra.	Igen
refreshToken	A Google-tól beszerzett frissítési jogkivonat a BigQueryhez való hozzáférés engedélyezésére szolgál. Ebből a közösségi blogból megtudhatja, hogyan szerezhet be egyet az OAuth 2.0 hozzáférési jogkivonatok beszerzéséből. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra.	Igen

Az OAuth 2.0 frissítési jogkivonat beszerzéséhez szükséges minimális hatókör a következő https://www.googleapis.com/auth/bigquery.readonly. Ha olyan lekérdezést tervez futtatni, amely nagy eredményeket ad vissza, más hatókörre lehet szükség. További információt ebben a cikkben talál.

Példa:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQuery",
        "typeProperties": {
            "project" : "<project ID>",
            "additionalProjects" : "<additional project IDs>",
            "requestGoogleDriveScope" : true,
            "authenticationType" : "UserAuthentication",
            "clientId": "<id of the application used to generate the refresh token>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<secret of the application used to generate the refresh token>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Szolgáltatáshitelesítés használata

Állítsa a "authenticationType" tulajdonságot ServiceAuthentication értékre, és adja meg a következő tulajdonságokat az előző szakaszban ismertetett általános tulajdonságokkal együtt. Ez a hitelesítési típus csak saját üzemeltetésű integrációs futtatókörnyezetben használható.

Tulajdonság	Leírás	Kötelező
e-mail	A ServiceAuthentication szolgáltatásfiók e-mail-azonosítója. Csak saját üzemeltetésű integrációs futtatókörnyezetben használható.	Nem
keyFilePath	A szolgáltatásfiók e-mail-címének hitelesítéséhez használt vagy kulcsfájl teljes elérési útja .p12.json .	Igen
trustedCertPath	A .pem fájl teljes elérési útja, amely megbízható hitelesítésszolgáltatói tanúsítványokat tartalmaz, amelyek a kiszolgáló TLS-en keresztüli csatlakozáskor történő ellenőrzésére szolgálnak. Ez a tulajdonság csak akkor állítható be, ha tLS-t használ a saját üzemeltetésű integrációs modulban. Az alapértelmezett érték az integrációs modullal telepített cacerts.pem fájl.	Nem
useSystemTrustStore	Megadja, hogy a rendszer megbízhatósági tárolójából vagy egy megadott .pem fájlból használjon-e ca-tanúsítványt. Az alapértelmezett érték: hamis.	Nem

Példa:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQuery",
        "typeProperties": {
            "project" : "<project id>",
            "requestGoogleDriveScope" : true,
            "authenticationType" : "ServiceAuthentication",
            "email": "<email>",
            "keyFilePath": "<.p12 or .json key path on the IR machine>"
        },
        "connectVia": {
            "referenceName": "<name of Self-hosted Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz a Google BigQuery adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni a Google BigQueryből, állítsa az adathalmaz típustulajdonságát a GoogleBigQueryObject értékre. A következő tulajdonságok támogatottak:

Tulajdonság	Leírás	Kötelező
típus	Az adathalmaz típustulajdonságának a következőnek kell lennie: GoogleBigQueryObject	Igen
adathalmaz	A Google BigQuery-adatkészlet neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
table	A tábla neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tableName	A tábla neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Új számítási feladatokhoz használja dataset és table.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<GoogleBigQuery linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a Google BigQuery forrástípus által támogatott tulajdonságok listáját tartalmazza.

GoogleBigQuerySource forrástípusként

Ha adatokat szeretne másolni a Google BigQueryből, állítsa be a másolási tevékenység forrástípusát a GoogleBigQuerySource-ra. A másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak.

Tulajdonság	Leírás	Kötelező
típus	A másolási tevékenység forrásának típustulajdonságát a GoogleBigQuerySource értékre kell állítani.	Igen
Lekérdezés	Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: "SELECT * FROM MyTable".	Nem (ha "tableName" van megadva az adathalmazban)

Példa:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<GoogleBigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQuerySource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.