Azure Data Factory veya Synapse Analytics kullanarak Impala'dan veri kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Bu makalede, Impala'dan veri kopyalamak için bir Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir özet sunan Kopyalama Etkinliği Özetine dayanır.

Uyarı

Bu bağlayıcı Microsoft Fabric'daki Data Factory'de de kullanılabilir. Fabric özgü yapılandırma ve özellikler için Fabric Impala bağlayıcısı belgelerine bakın.

Önemli

Impala bağlayıcısı sürüm 1.0 kaldırılma aşamasındadır. Impala bağlayıcısını sürüm 1.0'dan 2.0'a yükseltmeniz önerilir.

Desteklenen özellikler

Bu Impala bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler Kızılötesi
Kopyalama etkinliği (kaynak/-) (1) (2)
Arama etkinliği (1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Yerel barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar. Bu nedenle, bu bağlayıcıyı kullanmak için bir sürücüyü el ile yüklemeniz gerekmez.

Önkoşullar

Veri deponuz bir yerel ağ, Azure sanal ağ veya Amazon Sanal Özel Bulut içinde bulunuyorsa, ona bağlanmak için kendinden barındırılan bir tümleştirme çalışma zamanı yapılandırmanız gerekir.

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa, izin verme listesine Azure Integration Runtime IP ekleyebilirsiniz.

Şirket içi ağa erişmek için, şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan Azure Data Factory yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Uyarı

Sürüm 2.0, öz barındırmalı tümleştirme çalışma zamanı sürüm 5.55 veya üstü ile desteklenir.

Kullanmaya başlayın

Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak Impala'ya bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Impala'ya bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

  1. Azure Data Factory veya Synapse çalışma alanınızdaki Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

    Azure Data Factory UI ile yeni bir bağlı hizmet oluşturma ekranının ekran görüntüsü.

  2. Impala'yı arayın ve Impala bağlayıcısını seçin.

    Impala bağlayıcısının ekran görüntüsü.

  3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

    Impala için bağlı hizmet yapılandırmasının ekran görüntüsü.

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Impala bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Impala bağlayıcısı artık 2.0 sürümünü destekliyor. Impala bağlayıcısı sürümünüzü sürüm 1.0'dan yükseltmek için bu bölüme bakın. Özellik ayrıntıları için ilgili bölümlere bakın.

Sürüm 2.0

Impala bağlı hizmeti, 2.0 sürümünü uygularken aşağıdaki özellikleri destekler:

Özellik Açıklama Gerekli
Tip type özelliği Impala olarak ayarlanmalıdır. Evet
Sürüm Belirttiğiniz sürüm. Bu durumda değer 2.0 olur. Evet
ev sahibi Impala sunucusunun IP adresi veya ana bilgisayar adı (yani, 192.168.222.160). Evet
liman Impala sunucusunun istemci bağlantılarını dinlemek için kullandığı TCP bağlantı noktası. Varsayılan değer 21050'dir. Hayır
thriftTaşımaProtokolü Thrift katmanında kullanılacak aktarım protokolü. İzin verilen değerler şunlardır: İkili, HTTP. Varsayılan değer İkili'dir. Evet
kimlik doğrulama türü Kullanılacak kimlik doğrulama türü.
İzin verilen değerler Anonim ve KullanıcıAdıAndPassword değerleridir.		 Evet
kullanıcı adı Impala sunucusuna erişmek için kullanılan kullanıcı adı. Hayır
şifre UsernameAndPassword kullandığınızda kullanıcı adına karşılık gelen parola. Bu alanı güvenli bir şekilde depolamak için SecureString olarak işaretleyin veya Azure Key Vault içinde depolanan bir gizli anahtara referans verin. Hayır
SSL'yi etkinleştir Sunucu bağlantılarının TLS kullanılarak şifrelenip şifrelenmediğini belirtir. Varsayılan değer true değeridir. Hayır
Sunucu Sertifikası Doğrulamasını Etkinleştir Bağlandığınızda sunucu SSL sertifika doğrulamasının etkinleştirilip etkinleştirilmeyeceğini belirtin. Her zaman Sistem Güven Deposu kullanın. Varsayılan değer true değeridir. Hayır
connectVia Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime kullanır. Şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz, sürümünün 5.55 veya üzeri olması gerekiyor. Hayır

Örnek:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl": true,
            "thriftTransportProtocol": "Binary",
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Sürüm 1.0

1.0 sürümünü uygularken Impala bağlı hizmeti için aşağıdaki özellikler desteklenir:

Impala bağlantılı hizmeti için desteklenen özellikler aşağıdadır.

Özellik Açıklama Gerekli
Tip type özelliği Impala olarak ayarlanmalıdır. Evet
ev sahibi Impala sunucusunun IP adresi veya ana bilgisayar adı (yani, 192.168.222.160). Evet
liman Impala sunucusunun istemci bağlantılarını dinlemek için kullandığı TCP bağlantı noktası. Varsayılan değer 21050'dir. Hayır
kimlik doğrulama türü Kullanılacak kimlik doğrulama türü.
İzin verilen değerler Anonim, SASLUsername ve UsernameAndPassword değerleridir.		 Evet
kullanıcı adı Impala sunucusuna erişmek için kullanılan kullanıcı adı. SASLUsername kullandığınızda varsayılan değer anonimdir. Hayır
şifre UsernameAndPassword kullandığınızda kullanıcı adına karşılık gelen parola. Bu alanı güvenli bir şekilde depolamak için SecureString olarak işaretleyin veya Azure Key Vault içinde depolanan bir gizli anahtara referans verin. Hayır
SSL'yi etkinleştir Sunucu bağlantılarının TLS kullanılarak şifrelenip şifrelenmediğini belirtir. Varsayılan değer yanlış değeridir. Hayır
trustedCertPath TLS üzerinden bağlandığınızda sunucuyu doğrulamak için kullanılan güvenilen CA sertifikalarını içeren .pem dosyasının tam yolu. Bu özellik, sadece Yerel olarak barındırılan Integration Runtime üzerinde TLS kullandığınızda ayarlanabilir. Varsayılan değer, tümleştirme çalışma zamanıyla birlikte yüklenen cacerts.pem dosyasıdır. Hayır
Sistem Güven Deposu Kullan Sistem güven deposundan veya belirtilen PEM dosyasından CA sertifikası kullanılıp kullanılmayacağını belirtir. Varsayılan değer yanlış değeridir. Hayır
allowHostNameCNHataliEslesmesineIzinVer TLS üzerinden bağlandığınızda sunucunun ana bilgisayar adıyla eşleşmesi için CA tarafından verilen TLS/SSL sertifika adının gerekip gerekmediğini belirtir. Varsayılan değer yanlış değeridir. Hayır
Kendi İmzaladığınız Sunucu Sertifikasına İzin Ver Sunucudan otomatik olarak imzalanan sertifikalara izin verilip verilmeyeceğini belirtir. Varsayılan değer yanlış değeridir. Hayır
connectVia Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Önkoşullar bölümünden daha fazla bilgi edinin. Belirtilmezse, varsayılan Azure Integration Runtime kullanır. Hayır

Örnek:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde Impala veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Impala'dan veri kopyalamak için veri kümesinin type özelliğini ImpalaObject olarak ayarlayın. Aşağıdaki özellikler desteklenir:

Özellik Açıklama Gerekli
Tip Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: ImpalaObject Evet
şema Şemanın adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tablo Tablonun adı. Hayır (etkinlik kaynağında "sorgu" belirtilirse)
tabloAdı Şema içeren tablonun adı. Bu özellik geriye dönük uyumluluk için desteklenir. Yeni iş yükü için schema ve table kullanın. Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Pipelines makalesine bakın. Bu bölümde, Impala kaynak türü tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak türü olarak Impala

Impala'dan veri kopyalamak için kopyalama etkinliğindeki kaynak türünü ImpalaSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir.

Özellik Açıklama Gerekli
Tip Kopyalama etkinliği kaynağının type özelliği ImpalaSource olarak ayarlanmalıdır. Evet
soru Verileri okumak için özel SQL sorgusunu kullanın. "SELECT * FROM MyTable" bunun bir örneğidir. Hayır (veri kümesinde "tableName" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromImpala",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Impala input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ImpalaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Impala için veri türü eşlemesi

Impala'ya veri kopyalarken ve Impala'dan veri kopyalarken, hizmet içinde aşağıdaki ara veri türü eşlemeleri kullanılır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

Impala veri türü Ara hizmet veri türü (sürüm 2.0 için) Ara hizmet veri türü (sürüm 1.0 için)
DİZİ Dize Dize
BIGINT Int64 Int64
boolean Boolean (Boole Mantığı) Boolean (Boole Mantığı)
CHAR Dize Dize
TARİH Tarih ve Saat Tarih ve Saat
ONDALIK Ondalık Ondalık
ÇİFT İki kat İki kat
yüzen nesne Bekâr Bekâr
INT Int32 Int32
HARİTA Dize Dize
SMALLINT (Küçük Tamsayı) Int16 Int16
İPLİK Dize Dize
Yapı Dize Dize
ZAMAN DAMGASI TarihSaatÖtelemesi Tarih ve Saat
TINYINT SByte Int16
VARCHAR Dize Dize

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Impala bağlayıcısı yaşam döngüsü ve yükseltmesi

Aşağıdaki tabloda Impala bağlayıcısının farklı sürümleri için yayın aşaması ve değişiklik günlükleri gösterilmektedir:

Sürüm Yayın aşaması Değişiklik Kaydı
Sürüm 1.0 Removed Uygulanamaz.
Sürüm 2.0 Ga sürümü kullanılabilir • Yerel tümleştirme çalışma zamanı sürümü 5.55 veya üzeri olmalıdır.

• varsayılan değeri enableSSL true'dur. enableServerCertificateValidation desteklenir.
trustedCertPath, useSystemTrustStore, allowHostNameCNMismatch ve allowSelfSignedServerCert desteklenmiyor.

• TIMESTAMP, DateTimeOffset veri türü olarak okunur.

• TINYINT, SByte veri türü olarak okunur.

• SASLUsername kimlik doğrulama türü desteklenmiyor.

Impala bağlayıcısını sürüm 1.0'dan sürüm 2.0'a yükseltme

  1. Bağlı hizmeti düzenle sayfasında sürüm 2.0'ı seçin ve Bağlı hizmet özellikleri sürüm 2.0'a başvurarak bağlı hizmeti yapılandırın.

  2. Impala bağlı hizmet sürümü 2.0 için veri türü eşlemesi, sürüm 1.0'dan farklıdır. En son veri türü eşlemesini öğrenmek için bkz. Impala için veri türü eşleme.

  3. 5.55 veya üzeri sürümle, kendi kendine barındırılan bir tümleştirme çalışma zamanını uygulayın.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.

  • Last updated on