Udostępnij za pomocą

Samouczek: analizowanie raportów spisu obiektów blob

Dzięki zrozumieniu sposobu przechowywania, organizowania i używania obiektów blob i kontenerów w środowisku produkcyjnym można lepiej zoptymalizować kompromisy między kosztami i wydajnością.

W tym samouczku pokazano, jak generować i wizualizować statystyki, takie jak wzrost danych wraz z upływem czasu, liczba zmodyfikowanych plików, rozmiary migawek obiektów blob, wzorce dostępu w każdej warstwie oraz sposób dystrybucji danych zarówno obecnie, jak i w czasie (na przykład: dane między warstwami, typami plików, kontenerami i typami obiektów blob).

W tym poradniku nauczysz się, jak:

  • Generuj raport inwentaryzacji blobów
  • Konfigurowanie obszaru roboczego usługi Synapse
  • Konfigurowanie programu Synapse Studio
  • Generowanie danych analitycznych w programie Synapse Studio
  • Wizualizacja wyników w usłudze Power BI

Prerequisites

Generowanie raportu spisu

Włącz raporty spisu obiektów blob dla konta magazynu. Zobacz Włączanie raportów spisu obiektów blob usługi Azure Storage.

Po włączeniu raportów spisu do wygenerowania pierwszego raportu może być konieczne odczekanie do 24 godzin.

Konfigurowanie obszaru roboczego usługi Synapse

  1. Tworzenie obszaru roboczego usługi Azure Synapse. Zobacz Tworzenie obszaru roboczego usługi Azure Synapse.

    Note

    W ramach tworzenia obszaru roboczego utworzysz konto pamięci, które ma hierarchiczną przestrzeń nazw. Usługa Azure Synapse przechowuje tabele platformy Spark i dzienniki aplikacji na tym koncie. Usługa Azure Synapse odnosi się do tego konta jako do głównego konta magazynowego. Aby uniknąć nieporozumień, w tym artykule użyto terminu konto raportu spisu w celu odwoływania się do konta zawierającego raporty spisu.

  2. W obszarze roboczym usługi Synapse przypisz rolę Współautor do tożsamości użytkownika. Zobacz Kontrola dostępu oparta na rolach w Azure: funkcja właściciela przestrzeni roboczej.

  3. Nadaj obszarowi roboczemu usługi Synapse uprawnienie dostępu do raportów inwentaryzacji na Twoim koncie magazynu, przechodząc do konta raportów inwentaryzacji, a następnie przypisując rolę Współautor danych obiektów blob usługi Storage do tożsamości zarządzanej przez system obszaru roboczego. Zobacz Przypisywanie ról platformy Azure przy użyciu witryny Azure Portal.

  4. Przejdź do podstawowego konta magazynu i przypisz rolę Współautor usługi Blob Storage do tożsamości użytkownika.

Konfigurowanie programu Synapse Studio

  1. Otwórz obszar roboczy usługi Synapse w programie Synapse Studio. Przejdź do Open Synapse Studio.

  2. W programie Synapse Studio upewnij się, że twoja tożsamość ma przypisaną rolę administratora usługi Synapse. Zobacz Synapse RBAC: Rola administratora Synapse dla obszaru roboczego.

  3. Utwórz pulę Apache Spark. Zobacz Tworzenie bezserwerowej puli platformy Apache Spark.

Konfiguruj i uruchom przykładowy notatnik

W tej sekcji wygenerujesz dane statystyczne, które będą wizualizowane w raporcie. Aby uprościć ten samouczek, w tej sekcji jest używany przykładowy plik konfiguracji i przykładowy notes PySpark. Notatnik zawiera kolekcję zapytań wykonywanych w Azure Synapse Studio.

Modyfikowanie i przekazywanie przykładowego pliku konfiguracji

  1. Pobierz plik BlobInventoryStorageAccountConfiguration.json .

  2. Zaktualizuj następujące pola zastępcze w tym pliku:

    • Ustaw storageAccountName jako nazwę konta raportu o stanie zapasów.

    • Ustaw destinationContainer nazwę kontenera, który zawiera raporty spisu.

    • Ustaw blobInventoryRuleName nazwę reguły raportu spisu, która wygenerowała wyniki, które chcesz przeanalizować.

    • Ustaw accessKey na klucz konta dla konta raportu zapasów.

  3. Przekaż ten plik do kontenera na podstawowym koncie magazynu określonym podczas tworzenia obszaru roboczego usługi Synapse.

Zaimportuj przykładowy notes PySpark

  1. Pobierz przykładowy notes ReportAnalysis.ipynb .

    Note

    Pamiętaj, aby zapisać ten plik z .ipynb rozszerzeniem .

  2. Otwórz obszar roboczy usługi Synapse w programie Synapse Studio. Przejdź do Open Synapse Studio.

  3. W programie Synapse Studio wybierz kartę Programowanie .

  4. Wybierz znak plus (+), aby dodać element.

  5. Wybierz pozycję Importuj, przejdź do pobranego pliku przykładowego, wybierz ten plik i wybierz pozycję Otwórz.

    Zostanie wyświetlone okno dialogowe Właściwości .

  6. W oknie dialogowym Właściwości wybierz link Konfiguruj sesję .

    Zrzut ekranu przedstawiający okno dialogowe Importowanie właściwości

    Zostanie otwarte okno dialogowe Konfigurowanie sesji .

  7. Na liście rozwijanej Dołączanie do okna dialogowego Konfigurowanie sesji wybierz pulę platformy Spark utworzoną wcześniej w tym artykule. Następnie wybierz przycisk Zastosuj .

Zmodyfikuj notatnik języka Python

  1. W pierwszej komórce notesu języka Python ustaw wartość storage_account zmiennej na nazwę podstawowego konta magazynu.

  2. Zaktualizuj wartość container_name zmiennej na nazwę kontenera na koncie określonym podczas tworzenia obszaru roboczego usługi Synapse.

  3. Wybierz przycisk Publikuj.

Uruchamianie notesu PySpark

  1. W notesie PySpark wybierz pozycję Uruchom wszystko.

    Uruchomienie sesji platformy Spark i przetworzenie raportów spisu potrwa kilka minut. Pierwsze uruchomienie może zająć trochę czasu, jeśli istnieje wiele raportów inwentaryzacyjnych do przetworzenia. Kolejne uruchomienia będą przetwarzać tylko nowe raporty inwentaryzacyjne utworzone od ostatniego uruchomienia.

    Note

    Jeśli wprowadzisz jakiekolwiek zmiany w notesie podczas gdy jest uruchomiony, pamiętaj o opublikowaniu tych zmian używając przycisku Publikuj.

  2. Sprawdź, czy notebook działa pomyślnie, wybierając kartę Dane.

    Baza danych o nazwie reportdata powinna być wyświetlana na karcie Obszar roboczy okienka Dane . Jeśli ta baza danych nie jest wyświetlana, może być konieczne odświeżenie strony internetowej.

    Zrzut ekranu przedstawiający okienko Dane, w którym jest wyświetlana baza danych reportdata

    Baza danych zawiera zestaw tabel. Każda tabela zawiera informacje uzyskane przez uruchomienie zapytań z notesu PySpark.

  3. Aby sprawdzić zawartość tabeli, rozwiń folder Tables bazy danych reportdata . Następnie kliknij prawym przyciskiem myszy tabelę, wybierz pozycję Wybierz skrypt SQL, a następnie wybierz pozycję Wybierz 100 pierwszych wierszy.

    Zrzut ekranu przedstawiający opcję menu umożliwiającą utworzenie nowego skryptu SQL

  4. Możesz zmodyfikować zapytanie zgodnie z potrzebami, a następnie wybrać pozycję Uruchom , aby wyświetlić wyniki.

    Zrzut ekranu przedstawiający edytor zapytań i wyniki zapytania

Wizualizacja danych

  1. Pobierz przykładowy plik raportu ReportAnalysis.pbit .

  2. Otwórz program Power BI Desktop. Aby uzyskać wskazówki dotyczące instalacji, zobacz Pobieranie programu Power BI Desktop.

  3. W usłudze Power BI wybierz pozycję Plik, Otwórz raport, a następnie Przeglądaj raporty.

  4. W oknie dialogowym Otwieranie zmień typ pliku na pliki szablonów usługi Power BI (*.pbit)..

    Zrzut ekranu przedstawiający typ plików szablonu usługi Power BI wyświetlany w oknie dialogowym Otwieranie

  5. Przejdź do lokalizacji pobranego pliku ReportAnalysis.pbit , a następnie wybierz pozycję Otwórz.

    Zostanie wyświetlone okno dialogowe z prośbą o podanie nazwy obszaru roboczego usługi Synapse i nazwy bazy danych.

  6. W oknie dialogowym ustaw pole synapse_workspace_name na nazwę obszaru roboczego, a pole database_name na reportdata. Następnie wybierz przycisk Załaduj .

    Zrzut ekranu przedstawiający okno dialogowe konfiguracji raportu

    Zostanie wyświetlony raport zawierający wizualizacje danych pobranych przez notatnik. Poniższe obrazy pokazują rodzaje wykresów wyświetlanych w tym raporcie.

    Zrzut ekranu przedstawiający kartę przeglądu raportu

    Zrzut ekranu przedstawiający kartę szczegółowej analizy raportu

    Zrzut ekranu przedstawiający kartę podziału raportu

Dalsze kroki

  • Last updated on