Kopírování dat z Google BigQuery V2 pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Návod

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory na Data Factory v Microsoft Fabric.

Článek popisuje, jak pomocí Copy Activity v pipelines Azure Data Factory a Synapse Analytics kopírovat data z Google BigQuery. Vychází z článku o přehledu kopírovací aktivity, který představuje obecný popis této aktivity.

Poznámka:

Tento konektor je také k dispozici ve službě Data Factory v Microsoft Fabric. Informace o konfiguraci a funkcích specifických pro Fabric najdete v dokumentaci ke konektoru Google BigQuery pro Fabric.

Důležité

Konektor Google BigQuery V1 je ve fázi odebrání. Doporučujeme upgradovat konektor Google BigQuery z V1 na V2.

Podporované funkce

Tento konektor Google BigQuery je podporovaný pro následující funkce:

Podporované funkce	IR
aktivita Copy (zdroj/-)	(1) (2)
Vyhledávací aktivita	(1) (2)

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky aktivitou kopírování najdete v tabulce Podporované úložiště dat.

Služba poskytuje integrovaný ovladač, který umožňuje připojení. Proto pro použití tohoto konektoru nemusíte ručně instalovat ovladač.

Poznámka:

Tento konektor Google BigQuery je založený na rozhraních API BigQuery. Mějte na paměti, že BigQuery omezuje maximální rychlost příchozích požadavků a vynucuje příslušné kvóty na základě jednotlivých projektů, projděte si kvóty a limity – požadavky rozhraní API. Ujistěte se, že neaktivujete příliš mnoho souběžných požadavků na účet.

Začínáme

K provedení aktivity kopírování pomocí datového kanálu můžete použít jeden z následujících nástrojů nebo sad SDK:

• Nástroj pro kopírování dat
• portál Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• šablona Azure Resource Manager

Vytvoření propojené služby s Google BigQuery pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu s Google BigQuery v uživatelském rozhraní portálu Azure.

1. Přejděte na kartu Spravovat v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a potom klikněte na Nový:

   Azure Data Factory

   

   Azure Synapse

   

2. Vyhledejte Google BigQuery a vyberte konektor.

   

3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

   

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit specifických pro konektor Google BigQuery.

Vlastnosti propojené služby

Pro propojenou službu Google BigQuery se podporují následující vlastnosti.

Vlastnost	Popis	Povinné
typ	Vlastnost typu musí být nastavena na GoogleBigQueryV2.	Ano
verze	Zadaná verze. Pokud chcete využívat nejnovější vylepšení, doporučujeme upgradovat na nejnovější verzi.	Ano pro verzi 1.1
ID projektu	ID projektu výchozího projektu BigQuery, na který se má dotazovat.	Ano
typ autentizace	Mechanismus ověřování OAuth 2.0 používaný k ověřování. Povolené hodnoty jsou UserAuthentication a ServiceAuthentication. Další vlastnosti a ukázky JSON pro tyto typy ověřování najdete v částech pod touto tabulkou.	Ano

Použití ověřování uživatelů

Nastavte vlastnost authenticationType na UserAuthentication a zadejte následující vlastnosti spolu s obecnými vlastnostmi popsanými v předchozí části:

Vlastnost	Popis	Povinné
ID klienta	ID aplikace použité k vygenerování obnovovacího tokenu	Ano
klientské heslo	Tajný kód aplikace použité k vygenerování obnovovacího tokenu. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault.	Ano
Obnovovací token	Obnovovací token získaný googlem slouží k autorizaci přístupu k BigQuery. Zjistěte, jak získat jeden z získávání přístupových tokenů OAuth 2.0 a z tohoto komunitního blogu. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault.	Ano

Příklad:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "version": "1.1",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Použití ověřování při používání služby

Nastavte vlastnost authenticationType na ServiceAuthentication a zadejte následující vlastnosti spolu s obecnými vlastnostmi popsanými v předchozí části.

Vlastnost	Popis	Povinné
obsah klíčového souboru	Soubor klíče ve formátu JSON, který se používá k ověření účtu služby. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault.	Ano

Příklad:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "version": "1.1",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku Datové sady . Tato část obsahuje seznam vlastností podporovaných datovou sadou Google BigQuery.

Pokud chcete kopírovat data z Google BigQuery, nastavte vlastnost typu datové sady na GoogleBigQueryV2Object. Podporují se následující vlastnosti:

Vlastnost	Popis	Povinné
typ	Vlastnost typu datové sady musí být nastavená na: GoogleBigQueryV2Object.	Ano
datová sada	Název datové sady Google BigQuery	Ne (pokud je zadán dotaz ve zdroji aktivity)
tabulka	Název tabulky.	Ne (pokud je zadán dotaz ve zdroji aktivity)

Příklad

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných typem zdroje Google BigQuery.

GoogleBigQuerySource jako typ zdroje

Pokud chcete kopírovat data z Google BigQuery, nastavte zdrojový typ aktivity kopírování na GoogleBigQueryV2Source. Ve zdrojové části aktivity kopírování jsou podporovány následující vlastnosti.

Vlastnost	Popis	Povinné
typ	Vlastnost typu zdroje aktivity kopírování musí být nastavena na GoogleBigQueryV2Source.	Ano
dotaz	Ke čtení dat použijte vlastní dotaz SQL. Příklad: "SELECT * FROM MyTable". Další informace najdete v syntaxi dotazu.	Ne (pokud jsou v datové sadě zadány "datová sada" a "tabulka")

Příklad:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Mapování datových typů pro Google BigQuery V2

Při kopírování dat z Google BigQuery se následující mapování používají z datových typů Google BigQuery k interně dočasným datovým typům v rámci služby. Informace o tom, jak aktivita kopírování mapuje zdrojové schéma a datový typ na jímku, najdete v tématu Mapování schématu a datového typu.

Datový typ Google BigQuery	Dočasný datový typ služby
JSON	String
STRING	String
BYTY	Byte pole
INTEGER	Int64
FLOAT	Double
ČÍSELNÝ	Decimal
BIGNUMERIC	String
BOOLEAN	logický
ČASOVÁ ZNAČKA	DateTimeOffset
DATE	DateTime
TIME	TimeSpan
DATUMČAS	DateTimeOffset
ZEMĚPIS	String
ZÁZNAM/STRUKTURA	String
ARRAY	String

Vlastnosti aktivity vyhledávání

Zjistit podrobnosti o vlastnostech můžete v aktivitě Vyhledávání.

Životní cyklus a upgrade konektoru Google BigQuery

Následující tabulka ukazuje fázi vydání a protokoly změn pro různé verze konektoru Google BigQuery:

Verze	Fáze vydání	Záznam změn
Google BigQuery V1	Removed	Nelze použít.
Google BigQuery V2 (verze 1.0)	Dostupná verze GA	• Ověřování služby podporuje prostředí Azure Integration Runtime a místní prostředí Integration Runtime. Vlastnosti trustedCertPatha useSystemTrustStoreemailkeyFilePath nejsou podporovány, protože jsou k dispozici pouze v místním prostředí Integration Runtime. • requestGoogleDriveScope není podporován. Musíte také použít oprávnění v rámci služby Google BigQuery odkazem na Vyberte oblasti API disku Google a Dotazování na data disku. • additionalProjects není podporován. Jako alternativu můžete zadat dotaz na veřejnou datovou sadu pomocí konzoly Google Cloud. • ČÍSLO se čte jako datový typ Desetinné číslo. • Časové razítko a Datetime se čtou jako datový typ DateTimeOffset.
Google BigQuery V2 (verze 1.1)	Dostupná verze GA	• Byla opravena chyba: Při provádění více příkazů query nyní vrací výsledky prvního příkazu po vyloučení příkazů vyhodnocení, a ne vždy vracet výsledek prvního příkazu.

Aktualizace konektoru Google BigQuery

Jak upgradovat svůj konektor Google BigQuery:

• Od V1 do V2:
  Vytvořte novou propojenou službu Google BigQuery a nakonfigurujte ji pomocí odkazů na vlastnosti propojené služby.

• Od verze 2 verze 1.0 do verze 1.1:
  Na stránce Upravit propojenou službu vyberte verzi 1.1 . Další informace naleznete v tématu Vlastnosti propojené služby.

Související obsah

Seznam úložišť dat podporovaných jako zdroje a cíle pro aktivitu kopírování najdete v tématu Podporované úložiště dat.