Kopírování dat z HBase pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory na Data Factory v Microsoft Fabric.

Důležité

Tento konektor je na konci fáze podpory. Doporučujeme migrovat na konektor ODBC instalací ovladače.

Tento článek popisuje, jak použít aktivitu Kopírování v kanálu Azure Data Factory nebo Synapse Analytics ke kopírování dat z HBase. Vychází z článku aktivity kopírování, který představuje obecný přehled této činnosti.

Podporované funkce

Tento konektor HBase je podporovaný pro následující funkce:

Podporované funkce	IR
aktivita Copy (zdroj/-)	①
Aktivita vyhledávání	①

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky aktivitou kopírování najdete v tabulce Podporované úložiště dat.

Služba poskytuje integrovaný ovladač, který umožňuje připojení, takže pomocí tohoto konektoru nemusíte ručně instalovat žádný ovladač.

Požadavky

Pokud je vaše úložiště dat spravovanou cloudovou datovou službou, můžete použít Azure Integration Runtime. Pokud je přístup omezený na IP adresy schválené v pravidlech brány firewall, můžete do seznamu povolených přidat ip adresy Azure Integration Runtime.

Funkci managed virtual network Integration Runtime můžete také použít v Azure Data Factory pro přístup k místní síti bez nutnosti instalace a konfigurace místního prostředí Integration Runtime.

Další informace o mechanismech zabezpečení sítě a možnostech podporovaných službou Data Factory najdete v tématu Strategie přístupu k datům.

Začínáme

K provedení aktivity kopírování pomocí datového kanálu můžete použít jeden z následujících nástrojů nebo sad SDK:

• Nástroj pro kopírování dat
• portál Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• šablona Azure Resource Manager

Vytvoření propojené služby do HBase pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu s HBase v uživatelském rozhraní portálu Azure.

1. Přejděte na kartu Spravovat v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a potom klikněte na Nový:

   Azure Data Factory

   

   Azure Synapse

   

2. Vyhledejte HBase a vyberte konektor HBase.

   

3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

   

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor HBase.

Vlastnosti propojených služeb

Propojená služba HBase podporuje následující vlastnosti:

Property	Popis	Povinné
typ	Vlastnost typu musí být nastavena na: HBase.	Ano
hostitel	IP adresa nebo název hostitele serveru HBase. (tj. [clustername].azurehdinsight.net, 192.168.222.160)	Ano
port	Port TCP, který instance HBase používá pro přijímání klientských připojení. Výchozí hodnota je 9090. Pokud se připojíte k Azure HDInsights, zadejte port 443.	Ne
httpPath	Částečná adresa URL odpovídající serveru HBase, například /hbaserest0 při použití clusteru HDInsights.	Ne
typ autentizace	Ověřovací mechanismus, který se má použít pro připojení k serveru HBase. Povolené hodnoty jsou: Anonymní, Základní	Ano
uživatelské jméno	Uživatelské jméno použité pro připojení k instanci HBase.	Ne
heslo	Heslo odpovídající uživatelskému jménu. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault.	Ne
enableSsl	Určuje, jestli jsou připojení k serveru šifrovaná pomocí protokolu TLS. Výchozí hodnota je false.	Ne
trustedCertPath	Úplná cesta k souboru .pem obsahujícího důvěryhodné certifikáty certifikační autority pro ověření serveru při připojování přes protokol TLS. Tuto vlastnost lze nastavit pouze při použití protokolu TLS v místním prostředí IR. Výchozí hodnota je soubor cacerts.pem nainstalovaný s prostředím IR.	Ne
allowHostNameCNMismatch	Určuje, jestli se má při připojování přes protokol TLS vyžadovat název certifikátu TLS/SSL vystavený certifikační autoritou, který odpovídá názvu hostitele serveru. Výchozí hodnota je false.	Ne
povolitVlastnoručněPodepsanýServerovýCertifikát	Určuje, jestli chcete povolit certifikáty podepsané svým držitelem ze serveru. Výchozí hodnota je false.	Ne
connectVia	Integration Runtime pro připojení k úložišti dat. Další informace najdete v části Požadavky . Můžete použít jenom Azure Integration Runtime.	Ne

Poznámka:

Pokud váš cluster nepodporuje trvalou relaci, například HDInsight, explicitně přidejte index uzlu na konec nastavení cesty HTTP, například specifikujte /hbaserest0 místo /hbaserest.

Příklad pro HDInsights HBase:

{
    "name": "HBaseLinkedService",
    "properties": {
        "type": "HBase",
        "typeProperties": {
            "host" : "<cluster name>.azurehdinsight.net",
            "port" : "443",
            "httpPath" : "/hbaserest0",
            "authenticationType" : "Basic",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl" : true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad pro obecný HBase:

{
    "name": "HBaseLinkedService",
    "properties": {
        "type": "HBase",
        "typeProperties": {
            "host" : "<host e.g. 192.168.222.160>",
            "port" : "<port>",
            "httpPath" : "<e.g. /gateway/sandbox/hbase/version>",
            "authenticationType" : "Basic",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl" : true,
            "trustedCertPath" : "<trustedCertPath>",
            "allowHostNameCNMismatch" : true,
            "allowSelfSignedServerCert" : true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou HBase.

Chcete-li kopírovat data z HBase, nastavte vlastnost typu datové sady na HBaseObject. Podporují se následující vlastnosti:

Property	Popis	Povinné
typ	Vlastnost typu datové sady musí být nastavená na: HBaseObject.	Ano
název tabulky	Název tabulky.	Ne (pokud je zadán dotaz ve zdroji aktivity)

Příklad

{
    "name": "HBaseDataset",
    "properties": {
        "type": "HBaseObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<HBase linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem HBase.

HBaseSource jako zdroj

Chcete-li kopírovat data z HBase, nastavte typ zdroje v aktivitě kopírování na HBaseSource. V části zdroje aktivity kopírování jsou podporovány následující vlastnosti:

Property	Popis	Povinné
typ	Vlastnost typu zdroje aktivity kopírování musí být nastavena na: HBaseSource	Ano
dotaz	Ke čtení dat použijte vlastní dotaz SQL. Například: "SELECT * FROM MyTable".	Ne (pokud je v datové sadě zadán název tabulky)

Příklad:

"activities":[
    {
        "name": "CopyFromHBase",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<HBase input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HBaseSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Vlastnosti aktivity vyhledávání

Pro podrobnosti o vlastnostech se podívejte na aktivitu Vyhledávání.

Související obsah

Seznam úložišť dat, které jsou podporovány jako zdroje a výstupy aktivitou kopírování, najdete v podporovaných úložištích dat.