Azure Data Factory veya Synapse Analytics kullanarak Google BigQuery V2'den veri kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Bu makalede, Google BigQuery'den veri kopyalamak için Azure Data Factory ve Synapse Analytics işlem hatlarında Kopyalama Etkinliği'nin nasıl kullanılacağı açıklanmıştır. Kopyalama etkinliğine dair genel bir bakış sunan Kopyalama Etkinliği genel bakışı makalesine dayanır.

Not

Bu bağlayıcı Microsoft Fabric'daki Data Factory'de de kullanılabilir. Fabric özgü yapılandırma ve özellikler için Google BigQuery bağlayıcısı Fabric belgelerine bakın.

Önemli

Google BigQuery V1 bağlayıcısı kaldırma aşamasındadır. Google BigQuery bağlayıcısını V1'den V2'ye yükseltmeniz önerilir.

Desteklenen özellikler

Bu Google BigQuery bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	Kızılötesi
Kopyalama etkinliği (kaynak/-)	(1) (2)
Arama etkinliği	(1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Yerel barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar. Bu nedenle, bu bağlayıcıyı kullanmak için bir sürücüyü el ile yüklemeniz gerekmez.

Not

Bu Google BigQuery bağlayıcısı, BigQuery API'lerinin üzerine kurulmuştur. BigQuery'nin en yüksek gelen istek oranını sınırladığını ve proje başına uygun kotaları zorunlu kıldığını unutmayın. Kotalar ve Sınırlar - API istekleri bölümüne bakın. Hesaba çok fazla eşzamanlı istek tetiklemediğinizden emin olun.

Kullanmaya başlayın

Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portalı
• .NET SDK
• Python SDK'sı
• Azure PowerShell
• REST API'si
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Google BigQuery'ye bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Google BigQuery'ye bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızdaki Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   Azure Data Factory

   Azure Data Factory UI ile yeni bir bağlı hizmet oluşturma ekranının ekran görüntüsü.

   Azure Synapse

   

2. Google BigQuery'yi arayın ve bağlayıcıyı seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Google BigQuery bağlayıcısına özgü varlıkları tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Google BigQuery bağlı hizmeti için aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
Tip	type özelliği GoogleBigQueryV2 olarak ayarlanmalıdır.	Evet
Sürüm	Belirttiğiniz sürüm. En yeni geliştirmelerden yararlanmak için en son sürüme yükseltmenizi öneririz.	Sürüm 1.1 için Evet
projectId (proje Kimliği)	Sorgulanacak varsayılan BigQuery projesinin proje kimliği.	Evet
kimlik doğrulama türü	Kimlik doğrulaması için kullanılan OAuth 2.0 kimlik doğrulama mekanizması. İzin verilen değerler UserAuthentication ve ServiceAuthentication'dır. Sırasıyla bu kimlik doğrulama türleri için daha fazla özellik ve JSON örneği hakkında bu tablonun altındaki bölümlere bakın.	Evet

Kullanıcı kimlik doğrulamayı kullanma

"authenticationType" özelliğini UserAuthentication olarak ayarlayın ve önceki bölümde açıklanan genel özelliklerle birlikte aşağıdaki özellikleri belirtin:

Özellik	Açıklama	Gerekli
clientId (istemci kimliği)	Yenileme belirtecini oluşturmak için kullanılan uygulamanın kimliği.	Evet
istemciSırrı	Yenileme belirtecini oluşturmak için kullanılan uygulamanın gizli anahtarı. Bu alanı güvenli bir şekilde depolamak için SecureString olarak işaretleyin veya Azure Key Vault içinde depolanan bir gizli anahtara referans verin.	Evet
refreshToken	Google'dan alınan yenileme belirteci, BigQuery'ye erişimi yetkilendirmek için kullanılır. OAuth 2.0 erişim belirteçlerini alma ve bu topluluk blogundan nasıl edineceğinizi öğrenin. Bu alanı güvenli bir şekilde depolamak için SecureString olarak işaretleyin veya Azure Key Vault içinde depolanan bir gizli anahtara referans verin.	Evet

Örnek:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "version": "1.1",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Hizmet kimlik doğrulamayı kullanma

"authenticationType" özelliğini ServiceAuthentication olarak ayarlayın ve önceki bölümde açıklanan genel özelliklerle birlikte aşağıdaki özellikleri belirtin.

Özellik	Açıklama	Gerekli
anahtarDosyaİçeriği	Hizmet hesabının kimliğini doğrulamak için kullanılan JSON biçimindeki anahtar dosyası. Bu alanı güvenli bir şekilde depolamak için SecureString olarak işaretleyin veya Azure Key Vault içinde depolanan bir gizli anahtara referans verin.	Evet

Örnek:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "version": "1.1",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, Google BigQuery veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Google BigQuery'den veri kopyalamak için veri kümesinin type özelliğini GoogleBigQueryV2Object olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tip	Veri kümesinin type özelliği şu şekilde ayarlanmalıdır: GoogleBigQueryV2Object	Evet
veri kümesi	Google BigQuery veri kümesinin adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tablo	Tablonun adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Kopyalama etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilecek tüm bölümlerin ve özelliklerin listesi için Yapılandırma Hatları makalesine bakın. Bu bölümde, Google BigQuery kaynak türü tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak türü olarak GoogleBigQuerySource

Google BigQuery'den veri kopyalamak için kopyalama etkinliğindeki kaynak türünü GoogleBigQueryV2Source olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
Tip	Kopyalama etkinliği kaynağının type özelliği GoogleBigQueryV2Source olarak ayarlanmalıdır.	Evet
soru	Verileri okumak için özel SQL sorgusunu kullanın. "SELECT * FROM MyTable" bunun bir örneğidir. Daha fazla bilgi için Sorgu söz dizimi bölümüne gidin.	Hayır (veri kümesinde "veri kümesi" ve "tablo" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Google BigQuery V2 için veri türü eşlemesi

Google BigQuery'den veri kopyaladığınızda, Aşağıdaki eşlemeler Google BigQuery veri türlerinden hizmet içindeki ara veri türlerine dahili olarak kullanılır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

Google BigQuery veri türü	Hizmet ara veri türü
JSON	String
STRING	String
byte	Bayt dizisi
INTEGER	Int64
FLOAT	Double
SAYISAL	Decimal
BIGNUMERIC	String
BOOLEAN	Boolean
TIMESTAMP	DateTimeOffset
DATE	DateTime
TIME	TimeSpan
DATETIME	DateTimeOffset
COĞRAFYA	String
KAYIT/YAPI	String
ARRAY	String

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Google BigQuery bağlayıcısı yaşam döngüsü ve yükseltmesi

Aşağıdaki tabloda, Google BigQuery bağlayıcısının farklı sürümleri için yayın aşaması ve değişiklik günlükleri gösterilmektedir:

Sürüm	Yayın aşaması	Değişiklik Kaydı
Google BigQuery V1	Removed	Uygulanamaz.
Google BigQuery V2 (sürüm 1.0)	Ga sürümü kullanılabilir	• Hizmet kimlik doğrulaması, Azure tümleştirme çalışma zamanı ve şirket içinde barındırılan tümleştirme çalışma zamanı tarafından desteklenir. Özellikler trustedCertPath, useSystemTrustStore, email ve keyFilePath yalnızca şirket içinde barındırılan tümleştirme çalışma zamanında kullanılabilir oldukları için desteklenmez. • requestGoogleDriveScope desteklenmez. Ayrıca Google BigQuery hizmetinde Google Drive API kapsamlarını ve Sorgu Sürücüsü verilerini seçme konusuna başvurarak bu izni uygulamanız gerekir. • additionalProjects desteklenmez. Alternatif olarak, Google Cloud konsoluyla genel veri kümesini sorgula. • SAYI Ondalık veri türü olarak okunur. • Zaman damgası ve Datetime, DateTimeOffset veri türü olarak okunur.
Google BigQuery V2 (sürüm 1.1)	Ga sürümü kullanılabilir	• Bir hata düzeltildi: Birden çok deyimi yürütürken, query şimdi ilk deyimin sonucunu döndürmek yerine değerlendirme deyimlerini dışladıktan sonra ilk deyimin sonuçlarını döndürür.

Google BigQuery bağlayıcısını yükseltme

Google BigQuery bağlayıcınızı yükseltmek için:

• V1'den V2'ye:
  Yeni bir Google BigQuery bağlı hizmeti oluşturun ve Bağlı hizmet özelliklerine başvurarak bu hizmeti yapılandırın.

• V2 sürüm 1.0'dan sürüm 1.1'e:
  Bağlı hizmeti düzenle sayfasında sürüm için 1.1'i seçin. Daha fazla bilgi için bkz . Bağlı hizmet özellikleri.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.