Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
A blobok és tárolók éles környezetben való tárolásának, rendszerezésének és felhasználásának megismerésével jobban optimalizálhatja a költségek és a teljesítmény közötti kompromisszumot.
Ez az oktatóanyag bemutatja, hogyan hozhat létre és jeleníthet meg statisztikákat, például az adatok időbeli növekedését, az idő függvényében hozzáadott adatokat, a módosított fájlok számát, a blob pillanatképeinek méretét, a hozzáférési mintákat az egyes szinteken, és hogyan oszthatók el az adatok jelenleg és időben (például a rétegek, fájltípusok, tárolók és blobtípusok adatai).
Ebben az oktatóanyagban az alábbiakkal fog megismerkedni:
- Blobleltár-jelentés létrehozása
- Synapse-munkaterület beállítása
- A Synapse Studio beállítása
- Elemzési adatok létrehozása a Synapse Studióban
- Eredmények vizualizációja a Power BI-ban
Előfeltételek
Azure-előfizetés – fiók létrehozása ingyenesen
Azure Storage-fiók – tárfiók létrehozása
Győződjön meg arról, hogy a felhasználói identitáshoz hozzá van rendelve a Storage Blob Data Közreműködő szerepkör .
Leltárjelentés létrehozása
Blobleltár-jelentések engedélyezése a tárfiókhoz. Lásd: Azure Storage-blobleltár-jelentések engedélyezése.
Előfordulhat, hogy akár 24 órát is várnia kell, miután engedélyezte a leltárjelentések készítését az első jelentéshez.
Synapse-munkaterület beállítása
Azure Synapse-munkaterület létrehozása. Lásd: Azure Synapse-munkaterület létrehozása.
Feljegyzés
A munkaterület létrehozása során létre fog hozni egy hierarchikus névteret tartalmazó tárfiókot. Az Azure Synapse a Spark-táblákat és az alkalmazásnaplókat ebben a fiókban tárolja. Az Azure Synapse erre a fiókra hivatkozik elsődleges tárfiókként. A félreértések elkerülése érdekében ez a cikk a leltárjelentés-fiók kifejezéssel hivatkozik a leltárjelentéseket tartalmazó fiókra.
A Synapse-munkaterületen rendelje hozzá a közreműködői szerepkört a felhasználói identitáshoz. Lásd : Azure RBAC: A munkaterület tulajdonosi szerepköre.
Adjon engedélyt a Synapse-munkaterületnek, hogy hozzáférjen a tárfiók leltárjelentéseihez a leltárjelentés-fiókhoz való navigálással, majd rendelje hozzá a Storage Blob Data Közreműködő szerepkört a munkaterület rendszer által felügyelt identitásához. Tekintse meg az Azure-szerepköröknek az Azure Portalon történő hozzárendelését ismertető cikket.
Lépjen az elsődleges tárfiókra, és rendelje hozzá a Blob Storage közreműködői szerepkört a felhasználói identitáshoz.
A Synapse Studio beállítása
Nyissa meg a Synapse-munkaterületet a Synapse Studióban. Lásd: A Synapse Studio megnyitása.
A Synapse Studióban győződjön meg arról, hogy az identitása a Synapse-rendszergazdai szerepkörhöz van rendelve. Lásd: Synapse RBAC: Synapse Administrator szerepkör a munkaterülethez.
Apache Spark-készlet létrehozása. Lásd: Kiszolgáló nélküli Apache Spark-készlet létrehozása.
A mintajegyzetfüzet beállítása és futtatása
Ebben a szakaszban olyan statisztikai adatokat fog létrehozni, amelyeket egy jelentésben fog megjeleníteni. Az oktatóanyag egyszerűsítése érdekében ez a szakasz egy mintakonfigurációs fájlt és egy PySpark-jegyzetfüzetet használ. A jegyzetfüzet az Azure Synapse Studióban végrehajtott lekérdezések gyűjteményét tartalmazza.
A mintakonfigurációs fájl módosítása és feltöltése
Töltse le a BlobInventoryStorageAccountConfiguration.json fájlt.
Frissítse a fájl alábbi helyőrzőit:
Állítsa be
storageAccountName
a leltárjelentési fiók nevét.Állítsa be
destinationContainer
annak a tárolónak a nevét, amely a leltárjelentéseket tartalmazza.Állítsa be
blobInventoryRuleName
annak a leltárjelentési szabálynak a nevét, amely létrehozta az elemezni kívánt eredményeket.Állítsa be
accessKey
a leltárjelentési fiók fiókkulcsát.
Töltse fel ezt a fájlt a Synapse-munkaterület létrehozásakor megadott elsődleges tárfiók tárolójába.
A PySpark-mintajegyzetfüzet importálása
Töltse le a ReportAnalysis.ipynb mintajegyzetfüzetet.
Feljegyzés
Mindenképpen mentse a fájlt a
.ipynb
kiterjesztéssel.Nyissa meg a Synapse-munkaterületet a Synapse Studióban. Lásd: A Synapse Studio megnyitása.
A Synapse Studióban válassza a Fejlesztés lapot.
Válassza ki a pluszjelet (+) egy elem hozzáadásához.
Válassza az Importálás lehetőséget, keresse meg a letöltött mintafájlt, jelölje ki a fájlt, és válassza a Megnyitás lehetőséget.
Megjelenik a Tulajdonságok párbeszédpanel.
A Tulajdonságok párbeszédpanelen válassza a Munkamenet konfigurálása hivatkozást.
Megnyílik a Munkamenet konfigurálása párbeszédpanel.
A Munkamenet konfigurálása párbeszédpanel Csatolás legördülő listájában válassza ki a cikkben korábban létrehozott Spark-készletet. Ezután válassza az Alkalmaz gombot.
A Python-jegyzetfüzet módosítása
A Python-jegyzetfüzet első cellájában állítsa a változó értékét
storage_account
az elsődleges tárfiók nevére.Frissítse a
container_name
változó értékét annak a fióknak a nevére, amelyet a Synapse-munkaterület létrehozásakor megadott.Válassza ki a Közzététel gombot.
A PySpark-jegyzetfüzet futtatása
A PySpark-jegyzetfüzetben válassza az Összes futtatása lehetőséget.
A Spark-munkamenet elindítása néhány percet vesz igénybe, a leltárjelentések feldolgozása pedig további néhány percet vesz igénybe. Az első futtatás eltarthat egy ideig, ha számos leltárjelentést kell feldolgozni. A későbbi futtatások csak az utolsó futtatás óta létrehozott új leltárjelentéseket fogják feldolgozni.
Feljegyzés
Ha módosítja a jegyzetfüzetet, akkor a Közzététel gombbal tegye közzé a módosításokat.
Az Adatok lap kiválasztásával ellenőrizze, hogy a jegyzetfüzet sikeresen futott-e.
Az Adatok panel Munkaterület lapján meg kell jelennie egy jelentésadat nevű adatbázisnak. Ha ez az adatbázis nem jelenik meg, előfordulhat, hogy frissítenie kell a weblapot.
Az adatbázis táblákat tartalmaz. Minden tábla a PySpark-jegyzetfüzet lekérdezéseinek futtatásával nyert információkat tartalmazza.
Egy tábla tartalmának vizsgálatához bontsa ki a jelentésadatbázis Táblák mappáját. Ezután kattintson a jobb gombbal egy táblára, válassza az SQL-szkript kiválasztása, majd a TOP 100 sor kijelölése lehetőséget.
Szükség szerint módosíthatja a lekérdezést, majd a Futtatás gombra kattintva megtekintheti az eredményeket.
Az adatok vizualizációja
Töltse le a ReportAnalysis.pbit minta jelentésfájlt.
Nyissa meg a Power BI Desktopot. A telepítéssel kapcsolatos útmutatásért lásd a Power BI Desktop beszerzését ismertető témakört.
A Power BI-ban válassza a Fájl, a Jelentés megnyitása, majd a Jelentések tallózása lehetőséget.
A Megnyitás párbeszédpanelen módosítsa a fájltípust Power BI-sablonfájlokra (*.pbit).
Keresse meg a letöltött ReportAnalysis.pbit fájl helyét, majd válassza a Megnyitás lehetőséget.
Megjelenik egy párbeszédpanel, amely arra kéri, hogy adja meg a Synapse-munkaterület nevét és az adatbázis nevét.
A párbeszédpanelen állítsa a synapse_workspace_name mezőt a munkaterület nevére, és állítsa a database_name mezőt a következőre
reportdata
: . Ezután válassza a Betöltés gombot.Megjelenik egy jelentés, amely megjeleníti a jegyzetfüzet által lekért adatokat. Az alábbi képeken a jelentésben megjelenő diagramok és grafikonok típusai láthatók.
Következő lépések
Állítson be egy Azure Synapse-folyamatot, amely rendszeres időközönként futtatja a jegyzetfüzetet. Így létrehozható új leltárjelentéseket is feldolgozhat. A kezdeti futtatás után a következő futtatások mindegyike növekményes adatokat elemez, majd frissíti a táblákat az elemzés eredményeivel. Útmutatásért tekintse meg az Integráció folyamatokkal című témakört.
Megtudhatja, hogyan elemezheti az egyes tárolókat a tárfiókban. Lásd az alábbi cikkeket:
A blobszám és a tárolónkénti teljes méret kiszámítása az Azure Storage-leltár használatával
Oktatóanyag: Tárolóstatisztikák kiszámítása a Databricks használatával
Megtudhatja, hogyan optimalizálhatja a költségeket a blobok és a tárolók elemzése alapján. Lásd az alábbi cikkeket:
Az Azure Blob Storage költségeinek megtervezése és kezelése
Az adatok archiválási költségeinek becslése
Költségek optimalizálása az adatéletciklus automatikus kezelésével