Adatok másolása az Azure Data Explorerbe az Azure Data Factoryval

Fontos

Ez az összekötő használható a Microsoft Fabric valós idejű elemzéseiben . Használja a cikkben található utasításokat a következő kivételekkel:

• Ha szükséges, hozzon létre adatbázisokat a KQL-adatbázis létrehozása című témakör utasításai alapján.
• Ha szükséges, hozzon létre táblákat az Üres tábla létrehozása című témakörben található utasítások alapján.
• Lekérdezési vagy betöltési URI-k lekérése az URI másolása című témakör utasításai alapján.
• Lekérdezések futtatása KQL-lekérdezéskészletben.

Az Azure Data Explorer egy gyors, teljes körűen felügyelt adatelemzési szolgáltatás. Valós idejű elemzést tesz lehetővé nagy mennyiségű, számos forrásból, például alkalmazásokból, webhelyekből és IoT-eszközökből származó adatokon. Az Azure Data Explorer segítségével iteratív módon feltárhatja az adatokat, és azonosíthatja a mintákat és rendellenességeket a termékek javítása, az ügyfélélmény javítása, az eszközök monitorozása és a műveletek növelése érdekében. Segít felfedezni az új kérdéseket, és percek alatt válaszokat kapni.

Azure Data Factory egy teljes mértékben felügyelt, felhőalapú, adatintegrációs szolgáltatás. Ezzel feltöltheti az Azure Data Explorer-adatbázist a meglévő rendszer adataival. Ezzel időt takaríthat meg, amikor elemzési megoldásokat készít.

Amikor adatokat tölt be az Azure Data Explorer, a Data Factory a következő előnyöket nyújtja:

• Egyszerű beállítás: Egy intuitív, ötlépéses varázslót kaphat, amely nem igényel szkriptelést.
• Gazdag adattár-támogatás: Beépített támogatást kaphat a helyszíni és felhőalapú adattárak gazdag készletéhez. Részletes listát a Támogatott adattárak táblázatában talál.
• Biztonságos és megfelelő: Az adatok HTTPS-en vagy Azure ExpressRoute-on keresztül kerülnek továbbításra. A globális szolgáltatás jelenléte biztosítja, hogy az adatok soha ne hagyják el a földrajzi határt.
• Nagy teljesítmény: Az adatbetöltés sebessége másodpercenként legfeljebb 1 gigabájt (GBps) lehet az Azure Data Explorer. További információ: Copy tevékenység teljesítmény.

Ebben a cikkben a Data Factory Adatmásolási eszközével tölt be adatokat az Amazon Simple Storage Service-ből (S3) az Azure Data Explorer. Hasonló eljárást követve más adattárakból másolhat adatokat, például:

• Azure Blob Storage
• Azure SQL Database
• Azure SQL Data Warehouse
• Google BigQuery
• Oracle
• Fájlrendszer

Előfeltételek

• Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
• Egy adatforrás.

Adat-előállító létrehozása

1. Jelentkezzen be az Azure Portalra.

2. A bal oldali panelen válassza az Erőforrás> létrehozásaAnalytics>Data Factory lehetőséget.

   

3. Az Új adat-előállító panelen adja meg az alábbi táblázat mezőinek értékeit:

   

   Beállítás	Beírandó érték
   Név	A mezőbe írja be az adat-előállító globálisan egyedi nevét. Ha hibaüzenet jelenik meg, a "LoadADXDemo" adat-előállító neve nem érhető el, adjon meg egy másik nevet az adat-előállítónak. A Data Factory-összetevők elnevezésére vonatkozó szabályokért lásd: Data Factory-elnevezési szabályok.
   Előfizetés	A legördülő listában válassza ki azt az Azure-előfizetést, amelyben létre szeretné hozni az adat-előállítót.
   Erőforráscsoport	Válassza az Új létrehozása lehetőséget, majd adja meg egy új erőforráscsoport nevét. Ha már van erőforráscsoportja, válassza a Meglévő használata lehetőséget.
   Verzió	A legördülő listában válassza a V2 lehetőséget.
   Hely	A legördülő listában válassza ki az adat-előállító helyét. Csak a támogatott helyek jelennek meg a listában. Az adat-előállító által használt adattárak más helyeken vagy régiókban is létezhetnek.

4. Válassza a Létrehozás lehetőséget.

5. A létrehozási folyamat figyeléséhez válassza az Értesítések lehetőséget az eszköztáron. Az adat-előállító létrehozása után válassza ki.

   Megnyílik a Data Factory panel.

   

6. Ha az alkalmazást külön panelen szeretné megnyitni, válassza a Szerző & Monitor csempét.

Adatok betöltése az Azure Data Explorer

Számos típusú adattárból tölthet be adatokat az Azure Data Explorer. Ez a cikk azt ismerteti, hogyan tölthet be adatokat az Amazon S3-ból.

Az adatokat az alábbi módokon töltheti be:

• A Azure Data Factory felhasználói felületén, a bal oldali panelen válassza a Szerző ikont. Ez az Adat-előállító létrehozása a Azure Data Factory felhasználói felület használatával című szakasz "Adat-előállító létrehozása" című szakaszában látható.
• A Azure Data Factory Adatok másolása eszközben az Adatok másolása eszköz használata adatok másolásához című témakörben leírtak szerint.

Adatok másolása az Amazon S3-ból (forrás)

1. Az Első lépések panelen nyissa meg az Adatok másolása eszközt az Adatok másolása lehetőség kiválasztásával.

   

2. A Tulajdonságok panel Tevékenység neve mezőjében adjon meg egy nevet, majd válassza a Tovább gombot.

   

3. A Forrásadattár panelen válassza az Új kapcsolat létrehozása lehetőséget.

   

4. Válassza az Amazon S3 lehetőséget, majd a Folytatás lehetőséget.

   

5. Az Új társított szolgáltatás (Amazon S3) panelen tegye a következőket:

   

   a. A Név mezőbe írja be az új társított szolgáltatás nevét.

   b. A Csatlakozás integrációs modulon keresztül legördülő listában válassza ki az értéket.

   c. Az Access-kulcs azonosítója mezőbe írja be az értéket.

   Megjegyzés

   Az Amazon S3-ban a hozzáférési kulcs megkereséséhez válassza ki az Amazon-felhasználónevét a navigációs sávon, majd válassza a Saját biztonsági hitelesítő adatok lehetőséget.

   d. A Titkos kód hozzáférési kulcs mezőjébe írjon be egy értéket.

   e. A létrehozott társított szolgáltatáskapcsolat teszteléséhez válassza a Kapcsolat tesztelése lehetőséget.

   f. Válassza a Befejezés gombot.

   A Forrásadattár panelen megjelenik az új AmazonS31-kapcsolat.

6. Kattintson a Tovább gombra.

   

7. A Bemeneti fájl vagy mappa kiválasztása panelen hajtsa végre a következő lépéseket:

   a. Keresse meg a másolni kívánt fájlt vagy mappát, majd jelölje ki.

   b. Válassza ki a kívánt másolási viselkedést. Győződjön meg arról, hogy a Bináris másolás jelölőnégyzet nincs bejelölve.

   c. Válassza a Tovább gombot.

   

8. A Fájlformátum beállításai panelen válassza ki a fájl megfelelő beállításait. elemet, majd kattintson a Tovább gombra.

   

Adatok másolása az Azure Data Explorer (cél) szolgáltatásba

Az új Azure Data Explorer társított szolgáltatás úgy jön létre, hogy az adatokat az ebben a szakaszban megadott Azure Data Explorer céltáblába (fogadóba) másolja.

Megjegyzés

Használja a Azure Data Factory parancstevékenységet az Azure Data Explorer felügyeleti parancsok futtatásához, és használja a lekérdezési parancsok bármelyikét, például.set-or-replace: .

Az Azure Data Explorer társított szolgáltatás létrehozása

Az Azure Data Explorer társított szolgáltatás létrehozásához hajtsa végre az alábbi lépéseket:

1. Meglévő adattárkapcsolat használatához vagy új adattár megadásához a Céladattár panelen válassza az Új kapcsolat létrehozása lehetőséget.

   

2. Az Új társított szolgáltatás panelen válassza az Azure Data Explorer, majd a Folytatás lehetőséget.

   

3. Az Új társított szolgáltatás (Azure Data Explorer) panelen hajtsa végre a következő lépéseket:

   

   1. A Név mezőbe írja be az Azure Data Explorer társított szolgáltatás nevét.

   2. A Hitelesítési módszer területen válassza a Rendszer által hozzárendelt felügyelt identitás vagy szolgáltatásnév lehetőséget.

      • Felügyelt identitással történő hitelesítéshez adjon hozzáférést a felügyelt identitásnak az adatbázishoz a Felügyelt identitás neve vagy a Felügyelt identitás objektumazonosítója használatával.

      • Hitelesítés szolgáltatásnévvel:

        1. A Bérlő mezőbe írja be a bérlő nevét.
        2. A Szolgáltatásnév azonosítója mezőbe írja be a szolgáltatásnév azonosítóját.
        3. Válassza a Szolgáltatásnévkulcs lehetőséget, majd a Szolgáltatásnév kulcs mezőbe írja be a kulcs értékét.

      Megjegyzés

      • A szolgáltatásnevet a Azure Data Factory használja az Azure Data Explorer szolgáltatás eléréséhez. Szolgáltatásnév létrehozásához lépjen egy Microsoft Entra szolgáltatásnév létrehozásához.
      • Ha engedélyeket szeretne hozzárendelni egy felügyelt identitáshoz vagy szolgáltatásnévhez vagy , tekintse meg az engedélyek kezelését.
      • Ne használja az Azure Key Vault metódust vagy a felhasználó által hozzárendelt felügyelt identitást.

   3. A Fiókválasztási módszer területen válasszon az alábbi lehetőségek közül:

      • Válassza az Azure-előfizetésből lehetőséget, majd a legördülő listában válassza ki az Azure-előfizetését és a fürtöt.

        Megjegyzés

        • A Fürt legördülő vezérlő csak az előfizetéshez társított fürtöket listázza.
        • A fürtnek rendelkeznie kell a legjobb teljesítményhez megfelelő termékváltozatokkal.

      • Válassza a Manuális beírás lehetőséget, majd adja meg a végpontot.

   4. Az Adatbázis legördülő listában válassza ki az adatbázis nevét. Másik lehetőségként jelölje be a Szerkesztés jelölőnégyzetet, majd adja meg az adatbázis nevét.

   5. A létrehozott társított szolgáltatáskapcsolat teszteléséhez válassza a Kapcsolat tesztelése lehetőséget. Ha csatlakozni tud a társított szolgáltatáshoz, az ablaktáblán egy zöld pipa és egy Sikeres kapcsolat üzenet jelenik meg.

   6. A létrehozott társított szolgáltatáskapcsolat teszteléséhez válassza a Kapcsolat tesztelése lehetőséget. Ha csatlakozni tud a társított szolgáltatáshoz, az ablaktáblán egy zöld pipa és egy Sikeres kapcsolat üzenet jelenik meg.

   7. A társított szolgáltatás létrehozásának befejezéséhez válassza a Létrehozás lehetőséget.

Az Azure Data Explorer adatkapcsolat konfigurálása

A társított szolgáltatáskapcsolat létrehozása után megnyílik a Céladattár panel, és a létrehozott kapcsolat használható. A kapcsolat konfigurálásához hajtsa végre az alábbi lépéseket:

1. Kattintson a Tovább gombra.

   

2. A Táblaleképezés panelen állítsa be a céltábla nevét, majd válassza a Tovább gombot.

   

3. Az Oszlopleképezés panelen a következő leképezések történnek:

   a. Az első leképezést a Azure Data Factory hajtja végre a Azure Data Factory sémaleképezésnek megfelelően. Tegye a következőket:

   • Állítsa be a Azure Data Factory céltábla Oszlopleképezéseit. Az alapértelmezett leképezés a forrástól a Azure Data Factory céltábláig jelenik meg.

   • Törölje az oszlopleképezés meghatározásához nem szükséges oszlopok kijelölését.

   b. A második leképezés akkor következik be, ha a táblázatos adatokat az Azure Data Explorer betölti. A leképezés a CSV-leképezési szabályok szerint történik. Még akkor is, ha a forrásadatok nem CSV formátumban találhatók, Azure Data Factory táblázatos formátumba konvertálja az adatokat. Ezért ebben a szakaszban a CSV-leképezés az egyetlen releváns leképezés. Tegye a következőket:

   • (Nem kötelező) Az Azure Data Explorer (Kusto) fogadó tulajdonságai területen adja hozzá a megfelelő betöltési leképezés nevét, hogy az oszlopleképezés használható legyen.

   • Ha nincs megadva a betöltési leképezés neve, a rendszer az Oszlopleképezések szakaszban meghatározott név szerinti leképezési sorrendet fogja használni. Ha a név szerinti leképezés sikertelen, az Azure Data Explorer az adatokat oszloponkénti pozíció sorrendben próbálja meg betöltésre (azaz az alapértelmezett pozíció szerint leképezi).

   • Kattintson a Tovább gombra.

   

4. A Beállítások panelen hajtsa végre a következő lépéseket:

   a. A Hibatűrési beállítások területen adja meg a megfelelő beállításokat.

   b. A Teljesítménybeállítások területen az Előkészítés engedélyezése beállítás nem érvényes, a Speciális beállítások pedig költségalapú szempontokat tartalmaznak. Ha nincsenek konkrét követelményei, hagyja meg ezeket a beállításokat.

   c. Válassza a Tovább gombot.

   

5. Az Összefoglalás panelen tekintse át a beállításokat, majd válassza a Tovább gombot.

   

6. Az Üzembe helyezés befejezése panelen tegye a következőket:

   a. Ha a Monitor lapra szeretne váltani, és meg szeretné tekinteni a folyamat állapotát (azaz a folyamatot, a hibákat és az adatfolyamot), válassza a Monitorozás lehetőséget.

   b. Csatolt szolgáltatások, adathalmazok és folyamatok szerkesztéséhez válassza a Folyamat szerkesztése lehetőséget.

   c. Válassza a Befejezés lehetőséget az adatmásolási feladat befejezéséhez.

   

Kapcsolódó tartalom

• További információ a Azure Data Factory azure Data Explorer-összekötőjéről.
• Társított szolgáltatások, adathalmazok és folyamatok szerkesztése a Data Factory felhasználói felületén.
• Adatok lekérdezése az Azure Data Explorer webes felhasználói felületén.