Az Azure Databricks átalakítása

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Ebben az oktatóanyagban egy end-to-end csatornát hoz létre, amely tartalmazza a Validation, az Adatok másolása, és a Notebook tevékenységeket az Azure Data Factoryben.

• Az ellenőrzés biztosítja, hogy a forrásadatkészlet készen álljon az alsóbb rétegbeli használatra, mielőtt elindítja a másolási és elemzési feladatot.

• Adatok másolása duplikálja a forrásadatkészletet a cél tárolóba, amely az Azure Databricks notebookban DBFS-ként van csatlakoztatva. Ily módon az adathalmazt közvetlenül használhatja a Spark.

• A jegyzetfüzet aktiválja az adathalmazt átalakító Databricks-jegyzetfüzetet. Emellett hozzáadja az adathalmazt egy feldolgozott mappához vagy Azure Synapse Analytics.

Az egyszerűség kedvéért az oktatóanyagban szereplő sablon nem hoz létre ütemezett eseményindítót. Szükség esetén hozzáadhat egyet.

Előfeltételek

• Egy Azure Blob Storage-fiók sinkdata nevű tárolóval fogadóként való használatra.

  Jegyezze fel a tárfiók nevét, a tároló nevét és a hozzáférési kulcsot. Ezekre az értékekre később szüksége lesz a sablonban.

• Egy Azure Databricks munkaterület.

Jegyzetfüzet importálása átalakításhoz

Transzformációs jegyzetfüzet importálása a Databricks-munkaterületre:

1. Jelentkezzen be a Azure Databricks munkaterületre.

2. Kattintson a jobb gombbal egy mappára a munkaterületen, és válassza az Importálás lehetőséget.

3. Válassza az Importálás innen: URL-cím lehetőséget. A szövegmezőbe írja be a következőt https://adflabstaging1.blob.core.windows.net/share/Transformations.html:

   

4. Frissítsük az Transformation jegyzetfüzetet a tárkapcsolat adataival.

   Az importált jegyzetfüzetben lépjen az 5. parancsra az alábbi kódrészletben látható módon.

   • Cserélje le <storage name> és <access key> saját tárolókapcsolati adataira.
   • Használja a tárfiókot a sinkdata tárolóval.

   # Supply storageName and accessKey values  
   storageName = "<storage name>"  
   accessKey = "<access key>"  
   
   try:  
     dbutils.fs.mount(  
       source = "wasbs://sinkdata\@"+storageName+".blob.core.windows.net/",  
       mount_point = "/mnt/Data Factorydata",  
       extra_configs = {"fs.azure.account.key."+storageName+".blob.core.windows.net": accessKey})  
   
   except Exception as e:  
     # The error message has a long stack track. This code tries to print just the relevant line indicating what failed.
   
   import re
   result = re.findall(r"\^\s\*Caused by:\s*\S+:\s\*(.*)\$", e.message, flags=re.MULTILINE)
   if result:
     print result[-1] \# Print only the relevant error message
   else:  
     print e \# Otherwise print the whole stack trace.  
   

5. Hozzon létre egy Databricks hozzáférési jogkivonatot a Data Factory számára a Databricks eléréséhez.

   1. A Azure Databricks munkaterületen válassza ki Azure Databricks felhasználónevét a felső sávon, majd válassza a Beállítások lehetőséget a legördülő menüből.
   2. Válassza a Fejlesztőeszközök lehetőséget.
   3. Az Access-jogkivonatok mellett válassza a Kezelés lehetőséget.
   4. Válassza az Új token generálása lehetőséget.
   5. (Nem kötelező) Írjon be egy megjegyzést, amely segít azonosítani a jogkivonatot a jövőben, és módosíthatja a jogkivonat alapértelmezett 90 napos élettartamát. Élettartam nélküli (nem ajánlott) jogkivonat létrehozásához hagyja üresen az Élettartam (nap) mezőt (üres).
   6. Válassza a Létrehozás lehetőséget.
   7. Másolja a megjelenített jogkivonatot egy biztonságos helyre, majd válassza a Kész lehetőséget.

Mentse a hozzáférési jogkivonatot a Databricks társított szolgáltatás létrehozásához. A hozzáférési jogkivonat így néz ki dapi32db32cbb4w6eee18b7d87e45exxxxxx.

A sablon használata

1. Lépjen a Transformation with Azure Databricks sablonra, és hozzon létre új társított szolgáltatásokat a következő kapcsolatokhoz.

   

   • Forrás blobkapcsolat – a forrásadatok eléréséhez.

     Ebben a gyakorlatban a forrásfájlokat tartalmazó nyilvános blobtárolót használhatja. A konfigurációhoz tekintse meg az alábbi képernyőképet. A forrástárhoz való csatlakozáshoz használja a következő SAS URL-címet (írásvédett hozzáférés):

     https://storagewithdata.blob.core.windows.net/data?sv=2018-03-28&si=read%20and%20list&sr=c&sig=PuyyS6%2FKdB2JxcZN0kPlmHSBlD8uIKyzhBWmWzznkBw%3D

     

   • Cél blobkapcsolat – a másolt adatok tárolására.

     Az Új társított szolgáltatás ablakban válassza ki a cél tároló-blokkot.

     

   • Azure Databricks – a Databricks klaszterhez való csatlakozáshoz.

     Hozzon létre egy Databricks-társított szolgáltatást a korábban létrehozott hozzáférési kulcs használatával. Ha van, választhat egy interaktív fürtöt. Ez a példa a Új feladatfürt lehetőséget használja.

     

2. Kattintson a Sablon használata lehetőségre. Létrejön egy csővezeték.

   

Folyamat bemutatása és konfigurálása

Az új folyamatban a legtöbb beállítás automatikusan, alapértelmezett értékekkel van konfigurálva. Tekintse át a folyamat konfigurációit, és végezze el a szükséges módosításokat.

1. Az Érvényesítési tevékenység rendelkezésre állási jelölőjében ellenőrizze, hogy a forrásadatkészlet értéke a korábban létrehozott értékre SourceAvailabilityDataset van-e állítva.

   

2. Adatok másolása tevékenységben fájl-ból blob-ba, ellenőrizze a Forrás és Fogadó füleket. Szükség esetén módosítsa a beállításokat.

   • Forrás lap

   • Fogadó lap

3. A Jegyzetfüzet-tevékenység átalakításával szükség szerint tekintse át és frissítse az útvonalakat és a beállításokat.

   A Databricks társított szolgáltatását előre ki kell tölteni az előző lépés értékével, ahogy az látható:

   A Jegyzetfüzet beállításainak ellenőrzése:

   1. Válassza a Beállítások lapot. Jegyzetfüzet elérési útja esetén ellenőrizze, hogy az alapértelmezett elérési út helyes-e. Előfordulhat, hogy a megfelelő jegyzetfüzet elérési útját kell megkeresnie és kiválasztania.

      

   2. Bontsa ki az Alapparaméterek választót, és ellenőrizze, hogy a paraméterek megfelelnek-e az alábbi képernyőképen láthatónak. Ezek a paraméterek a Databricks-jegyzetfüzetbe kerülnek a Data Factoryből.

      

4. Ellenőrizze, hogy a folyamatparaméterek megfelelnek-e az alábbi képernyőképen láthatónak:

5. Csatlakozzon az adathalmazokhoz.

   Megjegyzés

   Az alábbi adathalmazokban a fájl elérési útja automatikusan meg lett adva a sablonban. Ha bármilyen módosításra van szükség, mindenképpen adja meg a tároló és a könyvtár elérési útját kapcsolati hiba esetén.

   • SourceAvailabilityDataset – a forrásadatok rendelkezésre állásának ellenőrzéséhez.

     

   • SourceFilesDataset – a forrásadatok eléréséhez.

     

   • DestinationFilesDataset – az adatok a fogadó célhelyre másolásához. Használja a következő értékeket:

     • Csatolt szolgáltatás - sinkBlob_LS, amely egy előző lépésben jött létre.

     • Fájl elérési útja - sinkdata/staged_sink.

       

6. A folyamat futtatásához válassza a Hibakeresés lehetőséget. A részletesebb Spark-naplókhoz a Databricks-naplókra mutató hivatkozás található.

   

   Az adatfájlt az Azure Storage Explorer használatával is ellenőrizheti.

   Megjegyzés

   A Data Factory-folyamatfuttatásokkal való korrelációhoz ez a példa hozzáfűzi a folyamat futtatási azonosítóját a data factoryból a kimeneti mappához. Ez segít nyomon követni az egyes futtatásokkal létrehozott fájlokat.

Kapcsolódó tartalom

• Az Azure Data Factory bemutatása