Azure Data Factory veya Synapse Analytics kullanarak HBase'den veri kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Önemli

Bu bağlayıcı Destek Sonu aşamasındadır. Bir sürücü yükleyerek ODBC bağlayıcısına geçmeniz önerilir.

Bu makalede, HBase'den veri kopyalamak için bir Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliğinin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir bakış sunan kopyalama etkinliği genel bakış makalesine dayanır.

Desteklenen özellikler

Bu HBase bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/-)	(1)
Arama etkinliği	(1)

(1) Azure tümleştirme çalışma zamanı (2) Yerel barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak/havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Hizmet, bağlantıyı etkinleştirmek için yerleşik bir sürücü sağlar, bu nedenle bu bağlayıcıyı kullanarak herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Önkoşullar

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa, izin verilenler listesine Azure Integration Runtime IP ekleyebilirsiniz.

Şirket içi ağa erişmek için, şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan Azure Data Factory yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Başlangıç Rehberi

Kopyalama etkinliğini bir işlem hattıyla gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portalı
• .NET SDK
• Python SDK'sı
• Azure PowerShell
• REST API'si
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak HBase'e bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde HBase'e bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızdaki Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   Azure Data Factory

   Azure Data Factory UI ile yeni bir bağlı hizmet oluşturma ekranının ekran görüntüsü.

   Azure Synapse

   

2. HBase'i arayın ve HBase bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, HBase bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

HBase bağlı hizmeti için aşağıdaki özellikler desteklenir:

(Assuming the context is real estate) Emlak	Açıklama	Gerekli
Tip	Tür özelliği şu şekilde ayarlanmalıdır: HBase	Yes
sunucu	HBase sunucusunun IP adresi veya ana bilgisayar adı. (örneğin [clustername].azurehdinsight.net, 192.168.222.160)	Yes
liman / bağlantı noktası	HBase örneğinin istemci bağlantılarını dinlemek için kullandığı TCP bağlantı noktası. Varsayılan değer 9090'dır. Azure HDInsights'a bağlanırsanız bağlantı noktasını 443 olarak belirtin.	Hayır
httpPath	HBase sunucusuna karşılık gelen kısmi URL, örneğin /hbaserest0 HDInsights kümesi kullanılırken.	Hayır
kimlik doğrulama türü	HBase sunucusuna bağlanmak için kullanılacak kimlik doğrulama mekanizması. İzin verilen değerler şunlardır: Anonim, Temel	Yes
kullanıcı adı	HBase örneğine bağlanmak için kullanılan kullanıcı adı.	Hayır
şifre	Kullanıcı adına karşılık gelen parola. Bu alanı güvenli bir şekilde depolamak için SecureString olarak işaretleyin veya Azure Key Vault içinde depolanan bir gizli anahtara referans verin.	Hayır
SSL'yi Etkinleştir	Sunucu bağlantılarının TLS kullanılarak şifrelenip şifrelenmediğini belirtir. Varsayılan değer 'false'.	Hayır
trustedCertPath	TLS üzerinden bağlanırken sunucuyu doğrulamak için güvenilen CA sertifikalarını içeren .pem dosyasının tam yolu. Bu özellik yalnızca şirket içinde barındırılan IR üzerinde TLS kullanılırken ayarlanabilir. Varsayılan değer, IR ile yüklenen cacerts.pem dosyasıdır.	Hayır
anaBilgisayarAdıCSUyumsuzluğunaİzinVer	TLS üzerinden bağlanırken sunucunun ana bilgisayar adıyla eşleşmesi için CA tarafından verilen tls/SSL sertifika adının gerekip gerekmediğini belirtir. Varsayılan değer 'false'.	Hayır
Kendi İmzaladığınız Sunucu Sertifikasına İzin Ver	Sunucudan otomatik olarak imzalanan sertifikalara izin verilip verilmeyeceğini belirtir. Varsayılan değer 'false'.	Hayır
connectVia	Veri deposuna bağlanmak için kullanılacak Integration Runtime. Önkoşullar bölümünden daha fazla bilgi edinin. Yalnızca Azure Integration Runtime kullanabilirsiniz.	Hayır

Not

Kümeniz HDInsight gibi yapışkan oturumu desteklemiyorsa, http yolu ayarının sonuna açık bir şekilde düğüm dizini ekleyin, örneğin /hbaserest0 yerine /hbaserest belirtin.

HDInsights HBase örneği:

{
    "name": "HBaseLinkedService",
    "properties": {
        "type": "HBase",
        "typeProperties": {
            "host" : "<cluster name>.azurehdinsight.net",
            "port" : "443",
            "httpPath" : "/hbaserest0",
            "authenticationType" : "Basic",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl" : true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Genel HBase örneği:

{
    "name": "HBaseLinkedService",
    "properties": {
        "type": "HBase",
        "typeProperties": {
            "host" : "<host e.g. 192.168.222.160>",
            "port" : "<port>",
            "httpPath" : "<e.g. /gateway/sandbox/hbase/version>",
            "authenticationType" : "Basic",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl" : true,
            "trustedCertPath" : "<trustedCertPath>",
            "allowHostNameCNMismatch" : true,
            "allowSelfSignedServerCert" : true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde HBase veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

HBase'den veri kopyalamak için veri kümesinin tür özelliğini HBaseObject olarak ayarlayın. Aşağıdaki özellikler desteklenir:

(Assuming the context is real estate) Emlak	Açıklama	Gerekli
Tip	Veri kümesinin tür özelliği şu şekilde ayarlanmalıdır: HBaseObject	Yes
tabloAdı	Tablonun adı.	Hayır (etkinlik kaynağında "sorgu" belirtilirse)

Örnek

{
    "name": "HBaseDataset",
    "properties": {
        "type": "HBaseObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<HBase linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliği özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Pipelines makalesine göz atın. Bu bölümde HBase kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak HBaseSource

HBase'den veri kopyalamak için kopyalama etkinliğindeki kaynak türünü HBaseSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

(Assuming the context is real estate) Emlak	Açıklama	Gerekli
Tip	Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: HBaseSource	Yes
query	Verileri okumak için özel SQL sorgusunu kullanın. Örneğin: "SELECT * FROM MyTable".	Hayır (veri kümesinde "tableName" belirtilirse)

Örnek:

"activities":[
    {
        "name": "CopyFromHBase",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<HBase input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HBaseSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.