Adatok másolása az Impalából az Azure Data Factory vagy a Synapse Analytics használatával
A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk azt ismerteti, hogyan használhat másolási tevékenységet egy Azure Data Factory- vagy Synapse Analytics-folyamatban az Adatok másolása az Impalából. A másolási tevékenység áttekintési cikkére épül, amely általános áttekintést nyújt a másolási tevékenységről.
Támogatott képességek
Ez az Impala-összekötő a következő képességeket támogatja:
Támogatott képességek | IR |
---|---|
Copy tevékenység (forrás/-) | (1) (2) |
Keresési tevékenység | (1) (2) |
(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul
A másolási tevékenység által forrásként vagy fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.
A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez. Ezért nem kell manuálisan telepítenie egy illesztőprogramot az összekötő használatához.
Előfeltételek
Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.
Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.
Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.
A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.
Első lépések
A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:
- Az Adatok másolása eszköz
- Az Azure Portal
- A .NET SDK
- A Python SDK
- Azure PowerShell
- A REST API
- Az Azure Resource Manager-sablon
Társított szolgáltatás létrehozása az Impalához felhasználói felülettel
Az alábbi lépésekkel létrehozhat egy társított szolgáltatást az Impalához az Azure Portal felhasználói felületén.
Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
Keresse meg az Impala-t, és válassza ki az Impala-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.
Az összekötő konfigurációjának részletei
A következő szakaszok az Impala-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.
Társított szolgáltatás tulajdonságai
Az Impala társított szolgáltatás esetében az alábbi tulajdonságok támogatottak.
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A típustulajdonságot Impala értékre kell állítani. | Igen |
házigazda | Az Impala-kiszolgáló IP-címe vagy állomásneve (azaz 192.168.222.160). | Igen |
kikötő | Az Impala-kiszolgáló által az ügyfélkapcsolatok figyelésére használt TCP-port. Az alapértelmezett érték 21050. | Nem |
authenticationType | A használni kívánt hitelesítési típus. Az engedélyezett értékek: Névtelen, SASLUsername és UsernameAndPassword. |
Igen |
username | Az Impala-kiszolgáló eléréséhez használt felhasználónév. Az alapértelmezett érték névtelen a SASLUsername használatakor. | Nem |
jelszó | A felhasználónévnek megfelelő jelszó a UsernameAndPassword használatakor. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. | Nem |
enableSsl | Megadja, hogy a kiszolgálóhoz való kapcsolatok TLS használatával legyenek-e titkosítva. Az alapértelmezett érték: hamis. | Nem |
trustedCertPath | A .pem fájl teljes elérési útja, amely megbízható hitelesítésszolgáltatói tanúsítványokat tartalmaz, amelyek a kiszolgáló TLS-en keresztüli csatlakozáskor történő ellenőrzésére szolgálnak. Ez a tulajdonság csak akkor állítható be, ha tLS-t használ a saját üzemeltetésű integrációs modulban. Az alapértelmezett érték az integrációs modullal telepített cacerts.pem fájl. | Nem |
useSystemTrustStore | Megadja, hogy a rendszer megbízhatósági tárolójából vagy egy megadott PEM-fájlból használjon-e ca-tanúsítványt. Az alapértelmezett érték: hamis. | Nem |
allowHostNameCNMismatch | Megadja, hogy megkövetelje-e a hitelesítésszolgáltató által kiadott TLS/SSL-tanúsítvány nevét, hogy megfeleljen a kiszolgáló gazdagépnevének, amikor TLS-en keresztül csatlakozik. Az alapértelmezett érték: hamis. | Nem |
allowSelfSignedServerCert | Megadja, hogy engedélyezi-e az önaláírt tanúsítványokat a kiszolgálóról. Az alapértelmezett érték: hamis. | Nem |
connectVia | Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. | Nem |
Példa:
{
"name": "ImpalaLinkedService",
"properties": {
"type": "Impala",
"typeProperties": {
"host" : "<host>",
"port" : "<port>",
"authenticationType" : "UsernameAndPassword",
"username" : "<username>",
"password": {
"type": "SecureString",
"value": "<password>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Adathalmaz tulajdonságai
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz az Impala-adatkészlet által támogatott tulajdonságok listáját tartalmazza.
Az adatok Impala-ból való másolásához állítsa az adathalmaz típustulajdonságát ImpalaObject értékre. A következő tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | Az adathalmaz típustulajdonságának a következőnek kell lennie: ImpalaObject | Igen |
schema | A séma neve. | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
table | A tábla neve. | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
tableName | A sématáblázat neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Új számítási feladatok használata és table használataschema . |
Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
Példa
{
"name": "ImpalaDataset",
"properties": {
"type": "ImpalaObject",
"typeProperties": {},
"schema": [],
"linkedServiceName": {
"referenceName": "<Impala linked service name>",
"type": "LinkedServiceReference"
}
}
}
Másolási tevékenység tulajdonságai
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Impala-forrástípus által támogatott tulajdonságok listáját tartalmazza.
Az Impala mint forrástípus
Ha adatokat szeretne másolni az Impala-ból, állítsa be a másolási tevékenység forrástípusát az ImpalaSource-ra. A másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak.
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A másolási tevékenység forrásának típustulajdonságát ImpalaSource értékre kell állítani. | Igen |
Lekérdezés | Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: "SELECT * FROM MyTable" . |
Nem (ha "tableName" van megadva az adathalmazban) |
Példa:
"activities":[
{
"name": "CopyFromImpala",
"type": "Copy",
"inputs": [
{
"referenceName": "<Impala input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "ImpalaSource",
"query": "SELECT * FROM MyTable"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Keresési tevékenység tulajdonságai
A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.
Kapcsolódó tartalom
A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.