Azure Data Factory veya Synapse Analytics kullanarak Vertica'dan veri kopyalama

Makale
10/16/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Vertica'dan veri kopyalamak için Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliğinin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur.

Desteklenen özellikler

Bu Vertica bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/-)	(1) (yalnızca sürüm 1.0 için) (2)
Arama etkinliği	(1) (yalnızca sürüm 1.0 için) (2)

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak/havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle bu bağlayıcıyı kullanarak herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Sürüm 2.0 (Önizleme) için el ile bir Vertica ODBC sürücüsü yüklemeniz gerekir. Sürüm 1.0 için hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Önkoşullar

Veri deponuz bir şirket içi ağ, Azure sanal ağı veya Amazon Sanal Özel Bulut içinde bulunuyorsa, şirket içinde barındırılan tümleştirme çalışma zamanını buna bağlanmak için yapılandırmanız gerekir. 2.0 (Önizleme) sürümünü kullanıyorsanız, şirket içinde barındırılan tümleştirme çalışma zamanı sürümünüz 5.44.8984.1 veya üzeri olmalıdır.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Sürüm 1.0 için

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime'ı kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa, izin verilenler listesine Azure Integration Runtime IP'lerini ekleyebilirsiniz.

Şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan şirket içi ağa erişmek için Azure Data Factory'deki yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Sürüm 2.0 (Önizleme) için Vertica ODBC sürücüsünü yükleme

Vertica bağlayıcısını sürüm 2.0 (Önizleme) ile kullanmak için şu adımları izleyerek şirket içinde barındırılan Tümleştirme çalışma zamanını çalıştıran makineye Vertica ODBC sürücüsünü yükleyin:

İstemci Sürücüleri'nden ODBC sürücüsü için Vertica istemci kurulumunu indirme | OpenText™ Vertica™. Örnek olarak Windows sistem kurulumunu ele alalım:
Yükleme işlemine başlamak için indirilen .exe açın. 
Vertica Bileşen Listesi'nin altında ODBC sürücüsü'ne ve ardından yüklemeyi başlatmak için İleri'ye tıklayın.
Yükleme işlemi başarıyla tamamlandıktan sonra, başarılı yüklemeyi onaylamak için Başlat -> ODBC Veri Kaynağı Yöneticisi'ne gidebilirsiniz.

Başlarken

.NET SDK, Python SDK, Azure PowerShell, REST API veya Azure Resource Manager şablonu kullanarak kopyalama etkinliğiyle işlem hattı oluşturabilirsiniz. Kopyalama etkinliğiyle işlem hattı oluşturmaya yönelik adım adım yönergeler için Kopyalama etkinliği öğreticiye bakın.

Kullanıcı arabirimini kullanarak Vertica'ya bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Vertica'ya bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:
- Azure Data Factory
- Azure Synapse
Vertica'yı arayın ve Vertica bağlayıcısını seçin.
Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde Vertica bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Sürüm 2.0 (Önizleme) kullanıyorsanız Vertica bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Type özelliği şu şekilde ayarlanmalıdır: Vertica	Yes
sunucu	Bağlanmak istediğiniz sunucunun adı veya IP adresi.	Yes
port	Sunucu dinleyicisinin bağlantı noktası numarası.	Hayır, varsayılan değer 5433'dür
database	Vertica veritabanının adı.	Yes
Uıd	Veritabanına bağlanmak için kullanılan kullanıcı kimliği.	Yes
Pwd	Uygulamanın veritabanına bağlanmak için kullandığı parola.	Yes
sürüm	Sürüm 2.0 (Önizleme) seçeneğini belirlediğiniz sürüm. Bu durumda değer `2.0` olur.	Yes
connectVia	Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Şirket içinde barındırılan tümleştirme çalışma zamanını yalnızca kullanabilirsiniz ve sürümü 5.44.8984.1 veya üzeri olmalıdır.	Hayır

Örnek:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Azure Key Vault'ta parola depolama

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Sürüm 1.0 kullanıyorsanız aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Type özelliği şu şekilde ayarlanmalıdır: Vertica	Yes
connectionString	Vertica'ya bağlanmak için bir ODBC bağlantı dizesi. Ayrıca Azure Key Vault'a parola ekleyebilir ve yapılandırmayı `pwd` bağlantı dizesi çıkarabilirsiniz. Diğer ayrıntılarla birlikte aşağıdaki örneklere ve Azure Key Vault'ta kimlik bilgilerini depolama makalesine bakın.	Yes
connectVia	Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	Hayır

Örnek:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde Vertica veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Vertica'dan veri kopyalamak için veri kümesinin type özelliğini VerticaTable olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: VerticaTable	Yes
schema	Şemanın adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)
table	Tablonun adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde Vertica kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak Vertica

Vertica'dan veri kopyalamak için kopyalama etkinliğindeki kaynak türünü VerticaSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: VerticaSource	Yes
query	Verileri okumak için özel SQL sorgusunu kullanın. Örneğin: `"SELECT * FROM MyTable"`.	Hayır (veri kümesinde "schema+table" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Vertica sürümünü yükseltme

Vertica sürümünüzü yükseltmenize yardımcı olacak adımlar şunlardır:

Önkoşullar'daki adımları izleyerek bir Vertica ODBC sürücüsü yükleyin.
Bağlı hizmeti düzenle sayfasında, Sürüm altında 2.0 (Önizleme) öğesini seçin ve Bağlı hizmet özelliklerine başvurarak bağlı hizmeti yapılandırın.
5.44.8984.1 veya üzeri sürümlerle şirket içinde barındırılan bir tümleştirme çalışma zamanı uygulayın. Azure tümleştirme çalışma zamanı sürüm 2.0 (Önizleme) tarafından desteklenmez.

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.

Aracılığıyla paylaş

Azure Data Factory veya Synapse Analytics kullanarak Vertica'dan veri kopyalama

Desteklenen özellikler

Önkoşullar

Sürüm 1.0 için

Sürüm 2.0 (Önizleme) için Vertica ODBC sürücüsünü yükleme

Başlarken

Kullanıcı arabirimini kullanarak Vertica'ya bağlı hizmet oluşturma

Bağlayıcı yapılandırma ayrıntıları

Bağlı hizmet özellikleri

Veri kümesi özellikleri

Kopyalama etkinliğinin özellikleri

Kaynak olarak Vertica

Arama etkinliği özellikleri

Vertica sürümünü yükseltme

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Azure Data Factory veya Synapse Analytics kullanarak Vertica'dan veri kopyalama

Desteklenen özellikler

Önkoşullar

Sürüm 1.0 için

Sürüm 2.0 (Önizleme) için Vertica ODBC sürücüsünü yükleme

Başlarken

Kullanıcı arabirimini kullanarak Vertica'ya bağlı hizmet oluşturma

Bağlayıcı yapılandırma ayrıntıları

Bağlı hizmet özellikleri

Veri kümesi özellikleri

Kopyalama etkinliğinin özellikleri

Kaynak olarak Vertica

Arama etkinliği özellikleri

Vertica sürümünü yükseltme

İlgili içerik

Geri Bildirim

Ek kaynaklar