Kopiowanie danych z usługi Google BigQuery w wersji 2 przy użyciu usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano sposób używania działania kopiowania w potokach usługi Azure Data Factory i usługi Synapse Analytics do kopiowania danych z usługi Google BigQuery. Jest on oparty na artykule Omówienie działania kopiowania, który przedstawia ogólne omówienie działania kopiowania.

Ważne

Łącznik Google BigQuery V2 zapewnia ulepszoną natywną obsługę google BigQuery. Jeśli używasz łącznika Google BigQuery V1 w rozwiązaniu, uaktualnij łącznik Google BigQuery, ponieważ wersja 1 znajduje się na etapie zakończenia pomocy technicznej. Potok zakończy się niepowodzeniem po 30 września 2025 r., jeśli nie zostanie uaktualniony. Zapoznaj się z tą sekcją , aby uzyskać szczegółowe informacje na temat różnic między wersjami V2 i V1.

Obsługiwane możliwości

Ten łącznik Google BigQuery jest obsługiwany w następujących funkcjach:

Obsługiwane możliwości	środowisko IR
działanie Kopiuj (źródło/-)	(1) (2)
Działanie Lookup	(1) (2)

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Aby uzyskać listę magazynów danych obsługiwanych jako źródła lub ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność. W związku z tym nie trzeba ręcznie instalować sterownika do korzystania z tego łącznika.

Uwaga

Ten łącznik Google BigQuery jest oparty na interfejsach API BigQuery. Należy pamiętać, że funkcja BigQuery ogranicza maksymalną szybkość żądań przychodzących i wymusza odpowiednie limity przydziału dla poszczególnych projektów, zapoznaj się z tematem Limity przydziału i limity — żądania interfejsu API. Upewnij się, że nie wyzwalasz zbyt wielu współbieżnych żądań do konta.

Wprowadzenie

Aby wykonać działanie Kopiuj za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Witryna Azure Portal
• Zestaw SDK platformy .NET
• Zestaw SDK języka Python
• Azure PowerShell
• Interfejs API REST
• Szablon usługi Azure Resource Manager

Tworzenie połączonej usługi z usługą Google BigQuery przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z usługą Google BigQuery w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   Azure Data Factory

   

   Azure Synapse

   

2. Wyszukaj pozycję Google BigQuery i wybierz łącznik.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek specyficznych dla łącznika Google BigQuery.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane w przypadku połączonej usługi Google BigQuery.

Właściwości	Opis	Wymagania
typ	Właściwość type musi być ustawiona na GoogleBigQueryV2.	Tak
wersja	Wersja, którą określisz. Zalecamy uaktualnienie do najnowszej wersji, aby skorzystać z najnowszych ulepszeń.	Tak dla wersji 1.1
identyfikator projektu	Identyfikator projektu domyślnego projektu BigQuery do odpytowania.	Tak
Typ uwierzytelniania	Mechanizm uwierzytelniania OAuth 2.0 używany do uwierzytelniania. Dozwolone wartości to UserAuthentication i ServiceAuthentication. Zapoznaj się z sekcjami poniżej tej tabeli, aby uzyskać więcej właściwości i przykładów JSON dla tych typów uwierzytelniania odpowiednio.	Tak

Korzystanie z uwierzytelniania użytkownika

Ustaw właściwość "authenticationType" na Wartość UserAuthentication i określ następujące właściwości wraz z właściwościami ogólnymi opisanymi w poprzedniej sekcji:

Właściwości	Opis	Wymagania
clientId (identyfikator klienta)	Identyfikator aplikacji używanej do generowania tokenu odświeżania.	Tak
tajemnica klienta	Wpis tajny aplikacji używany do generowania tokenu odświeżania. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Tak
refreshToken (Token odświeżania)	Token odświeżania uzyskany od firmy Google używany do autoryzowania dostępu do trybu BigQuery. Dowiedz się, jak uzyskać jeden z artykułu Uzyskiwanie tokenów dostępu OAuth 2.0 i tego bloga społeczności. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Tak

Przykład:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "version": "1.1",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Korzystanie z uwierzytelniania usługi

Ustaw właściwość "authenticationType" na Wartość ServiceAuthentication i określ następujące właściwości wraz z właściwościami ogólnymi opisanymi w poprzedniej sekcji.

Właściwości	Opis	Wymagania
keyFileContent (zawartość pliku klucza)	Plik klucza w formacie JSON używany do uwierzytelniania konta usługi. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Tak

Przykład:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "version": "1.1",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz artykuł Zestawy danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Google BigQuery.

Aby skopiować dane z google BigQuery, ustaw właściwość type zestawu danych na GoogleBigQueryV2Object. Obsługiwane są następujące właściwości:

Właściwości	Opis	Wymagania
typ	Właściwość type zestawu danych musi być ustawiona na: GoogleBigQueryV2Object	Tak
zestaw danych	Nazwa zestawu danych Google BigQuery.	Nie (jeśli określono "zapytanie" w źródle działania)
tabela	Nazwa tabeli.	Nie (jeśli określono "zapytanie" w źródle działania)

Przykład

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez typ źródła Google BigQuery.

GoogleBigQuerySource jako typ źródła

Aby skopiować dane z google BigQuery, ustaw typ źródła w działaniu kopiowania na GoogleBigQueryV2Source. Poniższe właściwości są obsługiwane w sekcji źródła działania kopiowania.

Właściwości	Opis	Wymagania
typ	Właściwość type źródła działania kopiowania musi być ustawiona na GoogleBigQueryV2Source.	Tak
kwerenda	Użyj niestandardowego zapytania SQL, aby odczytać dane. Może to być na przykład "SELECT * FROM MyTable". Aby uzyskać więcej informacji, przejdź do sekcji Składnia zapytań.	Nie (jeśli określono "zestaw danych" i "tabelę" w zestawie danych)

Przykład:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Właściwości działania wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie Wyszukiwania.

Cykl życia i uaktualnianie łącznika Google BigQuery

W poniższej tabeli przedstawiono etap wydania i dzienniki zmian dla różnych wersji łącznika Google BigQuery:

wersja	Etap wydania	Dziennik zmian
Google BigQuery V1	Koniec wsparcia	/
Google BigQuery V2 (wersja 1.0)	Wersja GA dostępna	• Uwierzytelnianie usługi jest obsługiwane przez Azure Integration Runtime i Self-hosted Integration Runtime. Właściwości trustedCertPath, useSystemTrustStoreemail i keyFilePath nie są obsługiwane, ponieważ są dostępne tylko w własnym środowisku Integration Runtime. • requestGoogleDriveScope nie jest obsługiwana. Ponadto musisz zastosować uprawnienie w usłudze Google BigQuery, odwołując się do pozycji Wybieranie zakresów interfejsu API dysku Google i danych dysku zapytań. • additionalProjects nie jest obsługiwana. Alternatywnie wykonaj zapytanie dotyczące publicznego zestawu danych za pomocą konsoli Google Cloud. • LICZBA jest odczytywana jako typ danych dziesiętnych. • Znacznik czasu i data/godzina są odczytywane jako typ danych DateTimeOffset.
Google BigQuery V2 (wersja 1.1)	Wersja GA dostępna	• Usunięto usterkę: podczas wykonywania wielu instrukcji, query teraz zwraca wyniki pierwszej instrukcji, po wykluczeniu instrukcji oceny, zamiast zawsze zwracać wynik pierwszej wykonanej instrukcji.

Uaktualnianie łącznika Google BigQuery

Aby uaktualnić łącznik Google BigQuery:

• Z wersji 1 do wersji 2:
  Utwórz nową połączoną usługę Google BigQuery i skonfiguruj ją, odwołując się do właściwości połączonej usługi.

• Z wersji 1.0 V2 do wersji 1.1 V2:
  Na stronie Edytowanie połączonej usługi wybierz wersję 1.1 . Aby uzyskać więcej informacji, zobacz Właściwości połączonej usługi.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz Obsługiwane magazyny danych.