Adatok másolása az Azure Data Explorerbe vagy onnan az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban az adatok Azure Data Explorerbe vagy onnan történő másolására. A másolási tevékenység áttekintési cikkére épül, amely általános áttekintést nyújt a másolási tevékenységről.

Tipp.

Ha többet szeretne megtudni az Azure Data Explorer szolgáltatással való integrációjáról, olvassa el az Azure Data Explorer integrálása című témakört.

Támogatott képességek

Ez az Azure Data Explorer-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Copy tevékenység (forrás/fogadó)	① ②
Adatfolyam leképezése (forrás/fogadó)	①
Keresési tevékenység	① ②

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Bármilyen támogatott forrásadattárból másolhat adatokat az Azure Data Explorerbe. Az Azure Data Explorerből bármilyen támogatott fogadóadattárba másolhat adatokat. Azoknak az adattáraknak a listáját, amelyeket a másolási tevékenység forrásként vagy fogadóként támogat, tekintse meg a Támogatott adattárak táblát.

Megjegyzés:

A 3.14-es és újabb verzió támogatja az adatok azure data explorerbe vagy egy helyszíni adattáron keresztüli másolását saját üzemeltetésű integrációs futtatókörnyezet használatával.

Az Azure Data Explorer-összekötővel a következőket teheti:

• Adatok másolása a Microsoft Entra alkalmazásjogkivonat-hitelesítéssel egy szolgáltatásnévvel.
• Forrásként kQL-lekérdezéssel (Kusto) kér le adatokat.
• Fogadóként fűzze hozzá az adatokat egy céltáblához.

Első lépések

Tipp.

Az Azure Data Explorer-összekötő bemutatása: Adatok másolása az Azure Data Explorerbe és tömeges másolás adatbázisból az Azure Data Explorerbe.

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

• Az Adatok másolása eszköz
• The Azure portal
• A .NET SDK
• A Python SDK
• Azure PowerShell
• A REST API
• Az Azure Resource Manager-sablon

Társított szolgáltatás létrehozása az Azure Data Explorerhez felhasználói felületen

Az alábbi lépéseket követve hozzon létre egy társított szolgáltatást az Azure Data Explorerhez az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   Azure Data Factory

   

   Azure Synapse

   

2. Keresse meg az Explorert, és válassza ki az Azure Data Explorer (Kusto) összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Csatlakozás or konfigurációjának részletei

A következő szakaszok az Azure Data Explorer-összekötőre jellemző entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Az Azure Data Explorer-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat:

• Egyszerű szolgáltatás hitelesítése
• Rendszer által hozzárendelt felügyelt identitás hitelesítése
• Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Egyszerű szolgáltatás hitelesítése

A szolgáltatásnév-hitelesítés használatához kövesse az alábbi lépéseket a szolgáltatásnév lekéréséhez és az engedélyek megadásához:

1. Alkalmazás regisztrálása a Microsoft Identitásplatform. Ennek módjáról a rövid útmutatóban olvashat: Alkalmazás regisztrálása a Microsoft Identitásplatform. Jegyezze fel ezeket az értékeket, amelyeket a társított szolgáltatás definiálásához használ:

   • Pályázat azonosítója
   • Alkalmazáskulcs
   • Tenant ID

2. Adja meg a szolgáltatásnévnek a megfelelő engedélyeket az Azure Data Explorerben. A szerepkörökről és engedélyekről, valamint az engedélyek kezeléséről további információt az Azure Data Explorer adatbázis-engedélyeinek kezelése című témakörben talál. Általában a következőt kell tennie:

   • Forrásként adjon legalább az Adatbázis-megjelenítő szerepkört az adatbázisnak
   • Fogadóként legalább az adatbázis-felhasználói szerepkört adja meg az adatbázisnak

Megjegyzés:

Amikor a felhasználói felületet használja a létrehozáshoz, alapértelmezés szerint a bejelentkezési felhasználói fiókjával listázhatja az Azure Data Explorer-fürtöket, adatbázisokat és táblákat. A szolgáltatásnévvel listázhatja az objektumokat a frissítés gomb melletti legördülő listára kattintva, vagy manuálisan is megadhatja a nevet, ha nincs engedélye ezekre a műveletekre.

Az Azure Data Explorer társított szolgáltatása a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot AzureDataExplorer értékre kell állítani.	Igen
endpoint	Az Azure Data Explorer-fürt végponti URL-címe a következő formátumban https://<clusterName>.<regionName>.kusto.windows.net: .	Igen
adatbázis	Az adatbázis neve.	Igen
bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. Ez a Kusto kapcsolati sztring "szolgáltatóazonosítója" néven ismert. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában.	Igen
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját. Ez a Kusto kapcsolati sztring "Microsoft Entra alkalmazásügyfél-azonosítója" néven ismert.	Igen
servicePrincipalKey	Adja meg az alkalmazás kulcsát. Ez a Kusto kapcsolati sztring "Microsoft Entra alkalmazáskulcsa" néven ismert. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt biztonságos adatokra.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult, ha az adattár magánhálózaton található. Ha nincs megadva, a rendszer az alapértelmezett Azure-integrációs modult használja.	Nem

Példa: egyszerű szolgáltatáskulcs-hitelesítés használata

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál.

A rendszer által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket az engedélyek megadásához:

1. A felügyelt identitás adatainak lekéréséhez másolja a létrehozott felügyelt identitásobjektum-azonosító értékét az előállítóval vagy a Synapse-munkaterülettel együtt.

2. Adja meg a felügyelt identitásnak a megfelelő engedélyeket az Azure Data Explorerben. A szerepkörökről és engedélyekről, valamint az engedélyek kezeléséről további információt az Azure Data Explorer adatbázis-engedélyeinek kezelése című témakörben talál. Általában a következőt kell tennie:

   • Forrásként adja meg az Adatbázis-megjelenítő szerepkört az adatbázisnak.
   • Fogadóként adja meg az adatbázis-betöltési és adatbázis-megjelenítői szerepköröket az adatbázisnak.

Megjegyzés:

Amikor a felhasználói felületet használja a létrehozáshoz, a bejelentkezési felhasználói fiókjával listázhatja az Azure Data Explorer-fürtöket, adatbázisokat és táblákat. Ha nincs engedélye ezekre a műveletekre, manuálisan adja meg a nevet.

Az Azure Data Explorer társított szolgáltatása a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot AzureDataExplorer értékre kell állítani.	Igen
endpoint	Az Azure Data Explorer-fürt végponti URL-címe a következő formátumban https://<clusterName>.<regionName>.kusto.windows.net: .	Igen
adatbázis	Az adatbázis neve.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult, ha az adattár magánhálózaton található. Ha nincs megadva, a rendszer az alapértelmezett Azure-integrációs modult használja.	Nem

Példa: rendszer által hozzárendelt felügyelt identitáshitelesítés használata

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Az Azure-erőforrások felügyelt identitásairól további információt az Azure-erőforrások felügyelt identitásai című témakörben talál .

A felhasználó által hozzárendelt felügyelt identitáshitelesítés használatához kövesse az alábbi lépéseket:

1. Hozzon létre egy vagy több felhasználó által hozzárendelt felügyelt identitást , és adjon engedélyt az Azure Data Explorerben. A szerepkörökről és engedélyekről, valamint az engedélyek kezeléséről további információt az Azure Data Explorer adatbázis-engedélyeinek kezelése című témakörben talál. Általában a következőt kell tennie:

   • Forrásként adjon legalább az Adatbázis-megjelenítő szerepkört az adatbázisnak
   • Fogadóként adjon legalább az Adatbázis-betöltési szerepkört az adatbázisnak

2. Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz vagy a Synapse-munkaterülethez, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Az Azure Data Explorer társított szolgáltatása a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot AzureDataExplorer értékre kell állítani.	Igen
endpoint	Az Azure Data Explorer-fürt végponti URL-címe a következő formátumban https://<clusterName>.<regionName>.kusto.windows.net: .	Igen
adatbázis	Az adatbázis neve.	Igen
hitelesítő adatok	Adja meg a felhasználó által hozzárendelt felügyelt identitást hitelesítő objektumként.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult, ha az adattár magánhálózaton található. Ha nincs megadva, a rendszer az alapértelmezett Azure-integrációs modult használja.	Nem

Példa: felhasználó által hozzárendelt felügyelt identitáshitelesítés használata

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja. Ez a szakasz az Azure Data Explorer-adatkészlet által támogatott tulajdonságokat sorolja fel.

Ha adatokat szeretne az Azure Data Explorerbe másolni, állítsa az adathalmaz típustulajdonságát az AzureDataExplorerTable értékre.

A következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	A típustulajdonságot AzureDataExplorerTable értékre kell állítani.	Igen
table	Annak a táblának a neve, amelyre a társított szolgáltatás hivatkozik.	Igen a mosogatóhoz; Nem a forráshoz

Példa adathalmaztulajdonságokra:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok és tevékenységek című témakörben találja. Ez a szakasz az Azure Data Explorer forrásai és fogadói által támogatott tulajdonságok listáját tartalmazza.

Az Azure Data Explorer mint forrás

Ha adatokat szeretne másolni az Azure Data Explorerből, állítsa be a Copy tevékenység forrás típustulajdonságát az AzureDataExplorerSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: AzureDataExplorerSource	Igen
Lekérdezés	Írásvédett kérelem KQL formátumban. Használja az egyéni KQL-lekérdezést hivatkozásként.	Igen
queryTimeout	A lekérdezéskérés várakozási ideje túllépi az időkorlátot. Az alapértelmezett érték 10 perc (00:10:00); A megengedett maximális érték 1 óra (01:00:00).	Nem
noTruncation	Azt jelzi, hogy csonkítani szeretné-e a visszaadott eredményhalmazt. Az eredmény alapértelmezés szerint 500 000 rekord vagy 64 megabájt (MB) után csonkolt. A csonkolás erősen ajánlott a tevékenység megfelelő viselkedésének biztosítása érdekében.	Nem

Megjegyzés:

Alapértelmezés szerint az Azure Data Explorer-forrás mérete 500 000 rekord vagy 64 MB. Ha az összes rekordot csonkolás nélkül szeretné lekérni, a lekérdezés elején megadhatja set notruncation; . További információ: Lekérdezési korlátok.

Példa

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Az Azure Data Explorer fogadóként

Ha adatokat szeretne az Azure Data Explorerbe másolni, állítsa a másolási tevékenység fogadójának típustulajdonságát az AzureDataExplorerSink értékre. A másolási tevékenység fogadó szakasza a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A másolási tevékenység fogadójának típustulajdonságának a következőnek kell lennie: AzureDataExplorerSink.	Igen
ingestionMappingName	Egy előre létrehozott leképezés neve egy Kusto-táblán. Ha le szeretné képezni az oszlopokat a forrásból az Azure Data Explorerbe (amely az összes támogatott forrástárra és formátumra vonatkozik, beleértve a CSV/JSON/Avro formátumokat is), használhatja a másolási tevékenység oszlopleképezését (implicit módon név vagy explicit módon konfigurált módon) és/vagy Azure Data Explorer-leképezéseket.	Nem
additionalProperties	Tulajdonságcsomag, amely bármely olyan betöltési tulajdonság megadására használható, amelyet az Azure Data Explorer fogadója még nem állított be. Különösen hasznos lehet a betöltési címkék megadásához. További információ az Azure Data Explore adatbetöltési dokumentumáról.	Nem

Példa

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Adatfolyam-tulajdonságok leképezése

A leképezési adatfolyam adatainak átalakításakor az Azure Data Explorerben olvashat és írhat táblákba. További információkért tekintse meg a forrásátalakítást és a fogadóátalakítást a leképezési adatfolyamokban. Választhat, hogy egy Azure Data Explorer-adathalmazt vagy egy beágyazott adatkészletet használ forrás- és fogadótípusként.

Forrásátalakítás

Az alábbi táblázat az Azure Data Explorer-forrás által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Forrás beállításai lapon szerkesztheti.

Name	Leírás	Required	Megengedett értékek	Adatfolyam-szkript tulajdonság
Tábla	Ha bemenetként a Táblázat lehetőséget választja, az adatfolyam beolvassa az összes adatot az Azure Data Explorer-adathalmazban megadott táblából vagy a forrásbeállításokból beágyazott adathalmaz használatakor.	Nem	Sztring	(csak beágyazott adathalmaz esetén) tableName
Query	Írásvédett kérelem KQL formátumban. Használja az egyéni KQL-lekérdezést hivatkozásként.	Nem	Sztring	Lekérdezés
Időkorlát	A lekérdezéskérés várakozási ideje túllépi az időkorlátot. Az alapértelmezett érték 172000 (2 nap)	Nem	Egész	timeout

Példák az Azure Data Explorer forrásszkriptjeire

Ha az Azure Data Explorer-adatkészletet használja forrástípusként, a társított adatfolyam-szkript a következő:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Beágyazott adatkészlet használata esetén a társított adatfolyam-szkript a következő:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Fogadó átalakítása

Az alábbi táblázat az Azure Data Explorer fogadó által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Gépház lapon szerkesztheti. Beágyazott adatkészlet használata esetén további beállítások jelennek meg, amelyek megegyeznek az adathalmaz tulajdonságai szakaszban leírt tulajdonságokkal.

Name	Leírás	Required	Megengedett értékek	Adatfolyam-szkript tulajdonság
Táblaművelet	Meghatározza, hogy az írás előtt újra létre kell-e hozni vagy eltávolítani az összes sort a céltáblából. - Nincs: A rendszer nem hajt végre műveletet a táblán. - Újra: A tábla elvetve és újra létrehozva lesz. Új tábla dinamikus létrehozása esetén kötelező. - Csonkolási: A céltábla összes sora el lesz távolítva.	Nem	true vagy false	Újra megcsonkít
SQL-szkriptek elő- és postálása	Adjon meg több Kusto-vezérlési parancsszkriptet , amelyek a fogadó adatbázisba való írása előtt (előzetes feldolgozás) és (utófeldolgozás) után lesznek végrehajtva.	Nem	Sztring	preSQLs; postSQLs
Időkorlát	A lekérdezéskérés várakozási ideje túllépi az időkorlátot. Az alapértelmezett érték 172000 (2 nap)	Nem	Egész	timeout

Példák az Azure Data Explorer fogadószkriptjeire

Ha az Azure Data Explorer-adathalmazt fogadótípusként használja, a társított adatfolyam-szkript a következő:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Beágyazott adatkészlet használata esetén a társított adatfolyam-szkript a következő:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Keresési tevékenység tulajdonságai

A tulajdonságokról további információt a Keresési tevékenység című témakörben talál.

Kapcsolódó tartalom

• Azoknak az adattáraknak a listáját, amelyeket a másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat.

• További információ arról, hogyan másolhat adatokat az Azure Data Factoryből és a Synapse Analyticsből az Azure Data Explorerbe.