Azure Data Factory veya Synapse Analytics kullanarak Vertica'dan veri kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Bu makalede, Vertica'dan veri kopyalamak için bir Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir bakış sunan kopyalama etkinliği genel bakış makalesine dayanır.

Uyarı

Bu bağlayıcı Microsoft Fabric'daki Data Factory'de de kullanılabilir. Fabric özgü yapılandırma ve özellikler için Fabric Vertica bağlayıcısı belgelerine bakın.

Önemli

Vertica bağlayıcısı sürüm 1.0 kaldırma aşamasındadır. Vertica bağlayıcısını sürüm 1.0'dan 2.0'a yükseltmeniz önerilir.

Desteklenen özellikler

Bu Vertica bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler IR
Kopyalama etkinliği (kaynak/-) (1) (yalnızca sürüm 1.0 için) (2)
Arama etkinliği (1) (yalnızca sürüm 1.0 için) (2)

(1) Azure tümleştirme çalışma zamanı (2) Yerel barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak/havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle bu bağlayıcıyı kullanarak herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Sürüm 2.0 için, Vertica ODBC sürücüsünü manuel olarak yüklemeniz gerekiyor. Sürüm 1.0 için hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Önkoşullar

Veri deponuz bir yerel ağ, Azure sanal ağ veya Amazon Sanal Özel Bulut içinde bulunuyorsa, ona bağlanmak için kendinden barındırılan bir tümleştirme çalışma zamanı yapılandırmanız gerekir. 2.0 sürümünü kullanıyorsanız, kendi barındırdığınız tümleştirme çalışma zamanı sürümünüz 5.44.8984.1 veya üzeri olmalıdır.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Sürüm 1.0 için

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa, izin verilenler listesine Azure Integration Runtime IP ekleyebilirsiniz.

Şirket içi ağa erişmek için, şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan Azure Data Factory yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Sürüm 2.0 için Vertica ODBC sürücüsünü yükleme

Vertica bağlayıcısını sürüm 2.0 ile kullanmak için şu adımları izleyerek şirket içinde barındırılan Tümleştirme çalışma zamanını çalıştıran makineye Vertica ODBC sürücüsünü yükleyin:

  1. İstemci Sürücüleri'nden ODBC sürücüsü için Vertica istemci kurulumunu indirme | OpenText™ Vertica™. Örnek olarak Windows sistem kurulumunu ele alalım:

    > Windows sistem kurulumu örneğinin ekran görüntüsü.

  2. Yükleme işlemine başlamak için indirilen .exe açın. 

    Yükleme işleminin ekran görüntüsü.

  3. Vertica Bileşen Listesi altında ODBC sürücüsü'nü seçin ve yüklemeyi başlatmak için İleri'yi seçin.

    ODBC sürücüsünü seçme işleminin ekran görüntüsü.

  4. Yükleme işlemi başarıyla tamamlandıktan sonra, başarılı yüklemeyi onaylamak için Başlat -> ODBC Veri Kaynağı Yöneticisi'ne gidebilirsiniz.

    Başarılı yüklemeyi onaylama işleminin ekran görüntüsü.

Başlangıç Yapmak

.NET SDK, Python SDK, Azure PowerShell, REST API veya Azure Resource Manager şablonu kullanarak kopyalama etkinliğiyle işlem hattı oluşturabilirsiniz. copy activity ile işlem hattı oluşturmaya yönelik adım adım yönergeler için bkz. Kopyalama etkinliği öğreticisi.

Kullanıcı arabirimini kullanarak Vertica'ya bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Vertica'ya bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

  1. Azure Data Factory veya Synapse çalışma alanınızdaki Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

    Azure Data Factory UI ile yeni bir bağlı hizmet oluşturma ekranının ekran görüntüsü.

  2. Vertica'yı arayın ve Vertica bağlayıcısını seçin.

    Vertica bağlayıcısının ekran görüntüsü.

  3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

    Vertica için bağlı hizmet yapılandırmasının ekran görüntüsü.

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde Vertica bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Sürüm 2.0 kullanıyorsanız Vertica bağlı hizmeti için aşağıdaki özellikler desteklenir:

Mülk Açıklama Gerekli
tür Type özelliği şu şekilde ayarlanmalıdır: Vertica Evet
sunucu Bağlanmak istediğiniz sunucunun adı veya IP adresi. Evet
liman Sunucu dinleyicisinin bağlantı noktası numarası. Hayır, varsayılan değer 5433'dür
veritabanı Vertica veritabanının adı. Evet
uid Veritabanına bağlanmak için kullanılan kullanıcı kimliği. Evet
pwd Uygulamanın veritabanına bağlanmak için kullandığı parola. Evet
sürüm Sürüm 2.0'ı seçtiğinizde geçerli olan sürüm. Bu durumda değer 2.0 olur. Evet
connectVia Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Yalnızca kendi barındırılan tümleştirme çalışma zamanını kullanabilirsiniz; sürümü 5.44.8984.1 veya üzeri olmalıdır. Hayır

Örnek:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Parolayı Azure Key Vault'ta depola

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Sürüm 1.0 kullanıyorsanız aşağıdaki özellikler desteklenir:

Mülk Açıklama Gerekli
tür Type özelliği şu şekilde ayarlanmalıdır: Vertica Evet
connectionString Vertica'ya bağlanmak için bir ODBC bağlantı dizesi.
Ayrıca parolayı Azure Key Vault'a ekleyebilir ve pwd yapılandırmasını bağlantı dizesinden çıkarabilirsiniz. Daha fazla ayrıntı içeren aşağıdaki örneklere ve >Azure Key Vault makalesinde kimlik bilgilerini depola makalesine bakın.		 Evet
connectVia Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime kullanır. Hayır

Örnek:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde Vertica veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Vertica'dan veri kopyalamak için veri kümesinin type özelliğini VerticaTable olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Mülk Açıklama Gerekli
tür Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: VerticaTable Evet
şema Şemanın adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
table Tablonun adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem Hatları makalesine bakın. Bu bölümde Vertica kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak Vertica

Vertica'dan veri kopyalamak için kopyalama etkinliğindeki kaynak türünü VerticaSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Mülk Açıklama Gerekli
tür Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: VerticaSource Evet
query Verileri okumak için özel SQL sorgusunu kullanın. Örneğin: "SELECT * FROM MyTable". Hayır (veri kümesinde "schema+table" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Vertica bağlayıcısını yükseltme

Vertica sürümünüzü yükseltmenize yardımcı olacak adımlar şunlardır:

  1. Önkoşullar'daki adımları izleyerek bir Vertica ODBC sürücüsü yükleyin.
  2. Bağlı hizmeti düzenle sayfasındasürüm 2.0'ı seçin ve Bağlı hizmet özelliklerinebaşvurarak bağlı hizmeti yapılandırın.
  3. 5.44.8984.1 veya üzeri sürümlerle kendi kendine barındırılan bir tümleştirme çalışma zamanı kullanın. Azure tümleştirme çalışma zamanı sürüm 2.0 tarafından desteklenmez.

Vertica sürüm 2.0 ile sürüm 1.0 arasındaki farklar

Vertica bağlayıcısı sürüm 2.0 yeni işlevler sunar ve sürüm 1.0'ın çoğu özelliğiyle uyumludur. Aşağıdaki tabloda sürüm 2.0 ile sürüm 1.0 arasındaki özellik farklılıkları gösterilmektedir.

Sürüm 2.0 Sürüm 1.0
Yalnızca 5.44.8984.1 veya üzeri sürüme sahip kendi kendine barındırılan tümleştirme çalışma zamanı desteklenir. Kendi barındırılan Entegrasyon çalışma zamanını çalıştıran makineye bir Vertica ODBC sürücüsü yüklemeniz gerekir. Azure tümleştirme çalışma zamanını ve kendinden barındırılan tümleştirme çalışma zamanını destekleyin.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.

  • Last updated on