Aracılığıyla paylaş


Azure Data Factory veya Synapse Analytics kullanarak Greenplum'dan veri kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Greenplum'dan veri kopyalamak için Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliğinin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir bakış sunan kopyalama etkinliği genel bakışı makalesi üzerine kuruludur.

Önemli

Greenplum bağlayıcısı sürüm 1.0 kaldırma aşamasındadır. Greenplum bağlayıcısını sürüm 1.0'dan 2.0'a yükseltmeniz önerilir.

Desteklenen özellikler

Bu Greenplum bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler Kızılötesi
Kopyalama etkinliği (kaynak/-) (1) (2)
Arama etkinliği (1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Yerel tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak/havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle bu bağlayıcıyı kullanarak herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Önkoşullar

Veri deponuz bir şirket içi ağ, Azure sanal ağı veya Amazon Sanal Özel Bulut içinde bulunuyorsa, şirket içinde barındırılan tümleştirme çalışma zamanını buna bağlanmak için yapılandırmanız gerekir.

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime'ı kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa Azure Integration Runtime IP'lerini izin verme listesine ekleyebilirsiniz.

Şirket içindeki ağa yüklemek ve yapılandırmak gerekmeden erişebilmek için Azure Data Factory'deki yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Başlangıç

Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak Greenplum'a bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Greenplum'a bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

  1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

  2. Greenplum'ı arayın ve Greenplum bağlayıcısını seçin.

    Greenplum bağlayıcısının ekran görüntüsü.

  3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

    Greenplum için bağlı hizmet yapılandırmasının ekran görüntüsü.

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Greenplum bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Greenplum bağlayıcısı artık 2.0 sürümünü destekliyor. Greenplum bağlayıcısı sürümünüzü sürüm 1.0'dan yükseltmek için bu bölüme bakın. Özellik ayrıntıları için ilgili bölümlere bakın.

Sürüm 2.0

Greenplum bağlı hizmeti, 2.0 sürümünü uygularken aşağıdaki özellikleri destekler:

Özellik Açıklama Gerekli
Tür Tür özelliği şu şekilde ayarlanmalıdır: Greenplum Evet
Sürüm Belirttiğiniz sürüm. Bu durumda değer 2.0 olur. Evet
ev sahibi Veritabanının üzerinde çalıştığı ana bilgisayar adını (ve isteğe bağlı olarak bağlantı noktasını) belirtir. Evet
liman Veritabanı sunucusunun TCP bağlantı noktası. Varsayılan değer şudur: 5432. Hayır
veritabanı Bağlanacak veritabanı. Evet
kullanıcı adı Bağlanacak kullanıcı adı. IntegratedSecurity kullanılıyorsa gerekli değildir. Evet
şifre Bağlanmak için parola. IntegratedSecurity kullanılıyorsa gerekli değildir. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin. İsterseniz Azure Key Vault'ta depolanan bir gizli anahtara başvurabilirsiniz. Evet
ssl modu Sunucu desteğine bağlı olarak SSL kullanılıp kullanılmayacağını denetler.
- Devre dışı bırak: SSL devre dışı bırakıldı. Sunucu SSL gerektiriyorsa bağlantı başarısız olur.
- İzin Ver: Sunucu izin veriyorsa SSL olmayan bağlantıları tercih edin, ancak SSL bağlantılarına izin verin.
- Tercih: Sunucu izin veriyorsa SSL bağlantılarını tercih edin, ancak SSL olmadan bağlantılara izin verin.
- Gerekli: Sunucu SSL'yi desteklemiyorsa bağlantı başarısız olur.
- Verify-ca: Sunucu SSL'yi desteklemiyorsa bağlantıyı başarısız yapın. Ayrıca sunucu sertifikayı da doğrular.
- Tam doğrulama: Sunucu SSL'yi desteklemiyorsa bağlantıyı başarısız yapın. Ayrıca sunucu sertifikasını ana bilgisayar adıyla doğrular.
Seçenekler: Devre Dışı Bırak (0) / İzin Ver (1) / Tercih Et (2) / Gerektir (3 ) (Varsayılan) / Verify-ca (4) / Verify-full (5)
Evet
kimlik doğrulama türü Veritabanına bağlanmak için kimlik doğrulama türü. Yalnızca Temel'i destekler. Evet
connectVia Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır. Hayır
Ek bağlantı özellikleri:
bağlantı zaman aşımı Denemeyi sonlandırmadan ve hata oluşturmadan önce bağlantı kurmaya çalışırken bekleme süresi (saniye cinsinden). Varsayılan değer şudur: 15. Hayır
komutZaman Aşımı Denemeyi sonlandırmadan ve hata oluşturmadan önce komutu yürütmeye çalışırken bekleme süresi (saniye cinsinden). Sonsuzluğu belirtmek için sıfıra ayarlayın. Varsayılan değer şudur: 30. Hayır

Örnek:

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "version": "2.0",
        "typeProperties": {
            "host": "<host>",
            "port": 5432,
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "sslMode": <sslmode>,
            "authenticationType": "Basic"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Azure Key Vault'ta parola depolama

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "version": "2.0",
        "typeProperties": {
            "host": "<host>",
            "port": 5432,
            "database": "<database>",
            "username": "<username>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            },
            "sslMode": <sslmode>,
            "authenticationType": "Basic"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Sürüm 1.0

Greenplum bağlı hizmeti, 1.0 sürümünü uygularken aşağıdaki özellikleri destekler:

Özellik Açıklama Gerekli
Tür Tür özelliği şu şekilde ayarlanmalıdır: Greenplum Evet
bağlantı dizesi Greenplum'a bağlanmak için odbc bağlantı dizesi.
Azure Key Vault'a parola ekleyebilir ve yapılandırmayı bağlantı dizesinden çekebilirsiniz. Diğer ayrıntılarla birlikte aşağıdaki örneklere ve Azure Key Vault'ta kimlik bilgilerini depolama makalesine bakın.
Evet
connectVia Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır. Hayır

Örnek:

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Azure Key Vault'ta parola depolama

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde Greenplum veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Greenplum'dan veri kopyalamak için veri kümesinin tür özelliğini GreenplumTable olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: GreenplumTable Evet
şema Şemanın adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tablo Tablonun adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tabloAdı Şema içeren tablonun adı. Bu özellik geriye dönük uyumluluk için desteklenir. Yeni iş yükü için schema ve table kullanın. Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "GreenplumDataset",
    "properties": {
        "type": "GreenplumTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Greenplum linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Pipelines makalesini inceleyin. Bu bölümde Greenplum kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak GreenplumSource

Greenplum'dan veri kopyalamak için kopyalama etkinliğindeki kaynak türünü GreenplumSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tür Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: GreenplumSource Evet
sorgu Verileri okumak için özel SQL sorgusunu kullanın. Örneğin: "SELECT * FROM MyTable". Hayır (veri kümesinde "tableName" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromGreenplum",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Greenplum input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GreenplumSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Greenplum için veri türü eşlemesi

Greenplum'dan veri kopyaladığınızda, greenplum'un veri türlerinden hizmet tarafından kullanılan iç veri türlerine aşağıdaki eşlemeler uygulanır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

Greenplum veri türü Ara hizmet veri türü (sürüm 2.0 için) Ara hizmet veri türü (sürüm 1.0 için)
SmallInt Int16 Int16
Tam sayı Int32 Int32
BigInt Int64 Int64
Ondalık (Hassasiyet <= 28) Ondalık Ondalık
Ondalık (Hassasiyet > 28) Ondalık Dize
Sayısal Ondalık Ondalık
Gerçek Bekâr Bekâr
İki kat İki kat İki kat
KüçükSeri Int16 Int16
Dizi Int32 Int32
BigSerial Int64 Int64
Para Ondalık Dize
Karakter Dize Dize
Varchar Dize Dize
Metin Dize Dize
Bayt Bayt[] Bayt[]
Zaman Damgası Tarih ve Saat Tarih ve Saat
Zaman damgası ile saat dilimi TarihSaatÖtelemesi Dize
Tarih Tarih Tarih ve Saat
Zaman Zaman Aralığı Zaman Aralığı
Zaman dilimi içeren zaman TarihSaatÖtelemesi Dize
Zaman Aralığı Zaman Aralığı Dize
Boolean (Boole Mantığı) Boolean (Boole Mantığı) Boolean (Boole Mantığı)
Nokta Dize Dize
Satır Dize Dize
Iseg Dize Dize
Kutu Dize Dize
Yol Dize Dize
Poligon Dize Dize
Daire Dize Dize
CIDR Dize Dize
Inet Dize Dize
Macaddr Dize Dize
Macaddr8 Dize Dize
Tsvector Dize Dize
Tsquery Dize Dize
UUID Kılavuz Kılavuz
Json Dize Dize
Jsonb Dize Dize
Dizi Dize Dize
Parça Bayt[] Bayt[]
Değişen bit Bayt[] Bayt[]
XML Dize Dize
IntArray (IntArray) Dize Dize
TextArray Dize Dize
NumericArray Dize Dize
DateArray Dize Dize
Aralık Dize Dize
Bpchar Dize Dize

Sorgu etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Greenplum bağlayıcısını yükseltme

Greenplum bağlayıcınızı yükseltmenize yardımcı olacak adımlar şunlardır:

  1. Bağlı hizmeti düzenle sayfasında sürüm 2.0'ı seçin ve bağlı hizmet sürüm 2.0 özelliklerine başvurarak bağlı hizmeti yapılandırın.

  2. Greenplum bağlı hizmet sürümü 2.0 için veri türü eşlemesi, sürüm 1.0'dan farklıdır. En son veri türü eşlemesini öğrenmek için bkz. Greenplum için veri türü eşlemesi.

Greenplum sürüm 2.0 ile sürüm 1.0 arasındaki farklar

Greenplum bağlayıcısı sürüm 2.0 yeni işlevler sunar ve sürüm 1.0'ın çoğu özelliğiyle uyumludur. Aşağıdaki tabloda sürüm 2.0 ile sürüm 1.0 arasındaki özellik farklılıkları gösterilmektedir.

Sürüm 2.0 Sürüm 1.0
Aşağıdaki eşlemeler Greenplum veri türlerinden ara hizmet veri türüne kullanılır.

Ondalık (Kesinlik > 28) -> Ondalık
Para -> Ondalık
Saat dilimi ile zaman damgası -> DateTimeOffset
Zaman dilimi ile zaman -> DateTimeOffset
Aralık -> Zaman Aralığı
Aşağıdaki eşlemeler Greenplum veri türlerinden ara hizmet veri türüne kullanılır.

Ondalık (Hassasiyet > 28) -> Karakter Dizisi
Para -> Dize
Saat dilimi ->String ile zaman damgası
Zaman dilimi ile zaman -> String
Aralık -> Dize

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.