Azure Data Factory veya Synapse Analytics kullanarak Google BigQuery'den veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Google BigQuery'den veri kopyalamak için Azure Data Factory ve Synapse Analytics işlem hatlarında Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan Kopyalama Etkinliğine genel bakış makalesini oluşturur.

Önemli

Yeni Google BigQuery bağlayıcısı geliştirilmiş yerel Google BigQuery desteği sağlar. Çözümünüzde eski Google BigQuery bağlayıcısını kullanıyorsanız lütfen Google BigQuery bağlayıcınızı 31 Ekim 2024'den önce yükseltin. Eski ve en son sürüm arasındaki fark hakkında ayrıntılı bilgi için bu bölüme bakın.

Desteklenen özellikler

Bu Google BigQuery bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/-)	(1) (2)
Arama etkinliği	(1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar. Bu nedenle, bu bağlayıcıyı kullanmak için bir sürücüyü el ile yüklemeniz gerekmez.

Not

Bu Google BigQuery bağlayıcısı, BigQuery API'lerinin üzerine kurulmuştur. BigQuery'nin en yüksek gelen istek oranını sınırladığını ve proje başına uygun kotaları zorunlu kıldığını unutmayın. Kotalar ve Sınırlar - API istekleri bölümüne bakın. Hesaba çok fazla eşzamanlı istek tetiklemediğinizden emin olun.

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Google BigQuery'ye bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Google BigQuery'ye bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   Azure Data Factory

   

   Azure Synapse

   

2. Google BigQuery'yi arayın ve bağlayıcıyı seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Google BigQuery bağlayıcısına özgü varlıkları tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Google BigQuery bağlı hizmeti için aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
Tür	type özelliği GoogleBigQueryV2 olarak ayarlanmalıdır.	Yes
projectId	Sorgulanacak varsayılan BigQuery projesinin proje kimliği.	Yes
authenticationType	Kimlik doğrulaması için kullanılan OAuth 2.0 kimlik doğrulama mekanizması. İzin verilen değerler UserAuthentication ve ServiceAuthentication'dır. Sırasıyla bu kimlik doğrulama türleri için daha fazla özellik ve JSON örneği hakkında bu tablonun altındaki bölümlere bakın.	Yes

Kullanıcı kimlik doğrulamayı kullanma

"authenticationType" özelliğini UserAuthentication olarak ayarlayın ve önceki bölümde açıklanan genel özelliklerle birlikte aşağıdaki özellikleri belirtin:

Özellik	Açıklama	Gerekli
clientId	Yenileme belirtecini oluşturmak için kullanılan uygulamanın kimliği.	Yes
clientSecret	Yenileme belirtecini oluşturmak için kullanılan uygulamanın gizli dizisi. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun.	Yes
refreshToken	Google'dan alınan yenileme belirteci, BigQuery'ye erişimi yetkilendirmek için kullanılır. OAuth 2.0 erişim belirteçlerini alma ve bu topluluk blogundan nasıl edineceğinizi öğrenin. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun.	Yes

Örnek:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Hizmet kimlik doğrulamayı kullanma

"authenticationType" özelliğini ServiceAuthentication olarak ayarlayın ve önceki bölümde açıklanan genel özelliklerle birlikte aşağıdaki özellikleri belirtin.

Özellik	Açıklama	Gerekli
keyFileContent	Hizmet hesabının kimliğini doğrulamak için kullanılan JSON biçimindeki anahtar dosyası. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun.	Yes

Örnek:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, Google BigQuery veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Google BigQuery'den veri kopyalamak için veri kümesinin type özelliğini GoogleBigQueryV2Object olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Veri kümesinin type özelliği şu şekilde ayarlanmalıdır: GoogleBigQueryV2Object	Yes
veri kümesi	Google BigQuery veri kümesinin adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)
table	Tablonun adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde, Google BigQuery kaynak türü tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak türü olarak GoogleBigQuerySource

Google BigQuery'den veri kopyalamak için kopyalama etkinliğindeki kaynak türünü GoogleBigQueryV2Source olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
Tür	Kopyalama etkinliği kaynağının type özelliği GoogleBigQueryV2Source olarak ayarlanmalıdır.	Yes
query	Verileri okumak için özel SQL sorgusunu kullanın. "SELECT * FROM MyTable" bunun bir örneğidir. Daha fazla bilgi için Sorgu söz dizimi bölümüne gidin.	Hayır (veri kümesinde "veri kümesi" ve "tablo" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Google BigQuery bağlayıcısını yükseltme

Google BigQuery bağlayıcısını yükseltmek için yeni bir Google BigQuery bağlı hizmeti oluşturun ve Bağlı hizmet özelliklerine başvurarak bunu yapılandırın.

Google BigQuery ile Google BigQuery arasındaki farklar (eski)

Google BigQuery bağlayıcısı yeni işlevler sunar ve Google BigQuery (eski) bağlayıcısının çoğu özelliğiyle uyumludur. Aşağıdaki tabloda Google BigQuery ile Google BigQuery (eski) arasındaki özellik farklılıkları gösterilmektedir.

Google BigQuery	Google BigQuery (eski)
Hizmet kimlik doğrulaması, Azure tümleştirme çalışma zamanı ve şirket içinde barındırılan tümleştirme çalışma zamanı tarafından desteklenir. trustedCertPath, useSystemTrustStore, e-posta ve keyFilePath özellikleri, yalnızca şirket içinde barındırılan tümleştirme çalışma zamanında kullanılabilir olduğundan desteklenmez.	Hizmet kimlik doğrulaması yalnızca şirket içinde barındırılan tümleştirme çalışma zamanı tarafından desteklenir. trustedCertPath'i destekleyin,SystemTrustStore, e-posta ve keyFilePath özelliklerini kullanın.
Google BigQuery veri türlerinden hizmet tarafından dahili olarak kullanılan ara veri türlerine aşağıdaki eşlemeler kullanılır. Sayısal -> Ondalık Timestamp -> DateTimeOffset Datetime -> DatetimeOffset	Google BigQuery veri türlerinden hizmet tarafından dahili olarak kullanılan ara veri türlerine aşağıdaki eşlemeler kullanılır. Sayısal -> Dize Zaman Damgası -> DateTime Datetime -> DateTime
requestGoogleDriveScope desteklenmiyor. Ayrıca Google BigQuery hizmetinde Google Drive API kapsamlarını ve Sorgu Sürücüsü verilerini seçme konusuna başvurarak bu izni uygulamanız gerekir.	Destek isteğiGoogleDriveScope.
additionalProjects desteklenmez. Alternatif olarak, Google Cloud konsoluyla genel veri kümesini sorgula.	EkProjeleri destekleyin.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.