Kılavuz: Blob envanter raporlarını analiz etmek

Bloblarınızın ve kapsayıcılarınızın üretimde nasıl depolandığını, düzenlenip kullanıldığını anlayarak maliyet ve performans arasındaki dengeleri daha iyi iyileştirebilirsiniz.

Bu öğreticide zaman içinde veri büyümesi, zaman içinde eklenen veriler, değiştirilen dosya sayısı, blob anlık görüntü boyutları, her katman üzerinde erişim desenleri ve verilerin hem şu anda hem de zaman içinde nasıl dağıtıldığı (örneğin: katmanlar, dosya türleri, kapsayıcılar ve blob türleri arasında veriler) gibi istatistiklerin nasıl oluşturulup görselleştirildiği gösterilir.

Bu öğreticide aşağıdakilerin nasıl yapılacağını öğreneceksiniz:

• Blob envanter raporu oluştur
• Synapse çalışma alanı ayarlama
• Synapse Studio'yu ayarlama
• Synapse Studio'da analiz verileri oluşturma
• Sonuçları Power BI’da görselleştirme

Önkoşullar

• Azure aboneliği - ücretsiz hesap oluşturma

• Azure depolama hesabı - depolama hesabı oluşturma

  Kullanıcı kimliğinize Depolama Blob Verileri Katkıda Bulunanı rolünün atanmış olduğundan emin olun.

Stok raporu oluşturma

Depolama hesabınız için blob envanter raporlarını etkinleştirin. Bkz Azure Depolama blob envanter raporlarını etkinleştirme.

İlk raporunuzun oluşturulması için envanter raporlarını etkinleştirdikten sonra 24 saate kadar beklemeniz gerekebilir.

Synapse çalışma alanı ayarlama

1. Azure Synapse çalışma alanı oluşturun. 'Azure Synapse çalışma alanı oluşturma' başlıklı bölüme bakın.

   Not

   Çalışma alanını oluşturmanın bir parçası olarak hiyerarşik ad alanına sahip bir depolama hesabı oluşturacaksınız. Azure Synapse, Spark tablolarını ve uygulama günlüklerini bu hesaba depolar. Azure Synapse bu hesabı birincil depolama hesabı olarak ifade eder. Karışıklığı önlemek için, bu makalede stok raporları içeren hesaba başvurmak için stok raporu hesabı terimi kullanılır.

2. Synapse çalışma alanında, kullanıcı kimliğinize Katkıda Bulunan rolünü atayın. Azure RBAC: Çalışma alanı için Sahip rolü'ne bakın.

3. Envanter raporu hesabınıza giderek, Synapse çalışma alanının sistem tarafından yönetilen kimliğine Depolama Blob Verileri Katkıda Bulunan rolünü atayarak depolama hesabınızdaki envanter raporlarına erişmesi için izin verin. Bkz. Azure portalı kullanarak Azure rolleri atama.

4. Birincil depolama hesabına gidin ve Blob Depolama Katkıda Bulunan rolünü kullanıcı kimliğinize atayın.

Synapse Studio'yu ayarlama

1. Synapse çalışma alanınızı Synapse Studio'da açın. Bkz. Synapse Studio'yu açma.

2. Synapse Studio'da, kimliğinize Synapse Yöneticisi rolünün atandığından emin olun. Synapse RBAC: Çalışma alanı için Synapse Yönetici rolü bölümüne bakın.

3. Apache Spark havuzu oluşturma. Bkz. Sunucusuz Apache Spark havuzu oluşturma.

Örnek not defterini ayarlama ve çalıştırma

Bu bölümde, raporda görselleştirdiğiniz istatistiksel veriler oluşturacaksınız. Bu öğreticiyi basitleştirmek için bu bölümde örnek bir yapılandırma dosyası ve örnek bir PySpark not defteri kullanılır. Not defteri, Azure Synapse Studio'da yürütülen bir sorgu koleksiyonu içerir.

Örnek yapılandırma dosyasını değiştir ve karşıya yükle

1. BlobInventoryStorageAccountConfiguration.json dosyasını indirin.

2. Bu dosyanın aşağıdaki yer tutucularını güncelleştirin:

   • Hesabınızın stok raporu adını storageAccountName olarak ayarlayın.

   • destinationContainer Envanter raporlarının bulunduğu kapsayıcının adına ayarlayın.

   • Analiz etmek istediğiniz sonuçları oluşturan stok raporu kuralının adını blobInventoryRuleName olarak ayarlayın.

   • Stok raporu hesabının hesap anahtarı olarak ayarlayın accessKey .

3. Bu dosyayı Synapse çalışma alanını oluştururken belirttiğiniz birincil depolama hesabınızdaki kapsayıcıya yükleyin.

Örnek PySpark not defterini içeri aktarma

1. ReportAnalysis.ipynb örnek not defterini indirin.

   Not

   Bu dosyayı uzantıyla kaydettiğinizden .ipynb emin olun.

2. Synapse çalışma alanınızı Synapse Studio'da açın. Bkz. Synapse Studio'yu açma.

3. Synapse Studio'da Geliştir sekmesini seçin.

4. Öğe eklemek için artı işaretini (+) seçin.

5. İçeri Aktar'ı seçin, indirdiğiniz örnek dosyaya göz atın, bu dosyayı seçin ve Aç'ı seçin.

   Özellikler iletişim kutusu görüntülenir.

6. Özellikler iletişim kutusunda Oturumu yapılandır bağlantısını seçin.

   

   Oturumu yapılandır iletişim kutusu açılır.

7. Oturumu yapılandır iletişim kutusunun Ekle açılan listesinde, bu makalenin önceki bölümlerinde oluşturduğunuz Spark havuzunu seçin. Ardından Uygula düğmesini seçin.

Python not defterini değiştirme

1. Python not defterinin ilk hücresinde değişkenin storage_account değerini birincil depolama hesabının adına ayarlayın.

2. Değişkenin container_name değerini Synapse çalışma alanını oluştururken belirttiğiniz hesaptaki kapsayıcının adıyla güncelleştirin.

3. Yayımla düğmesini seçin.

PySpark not defterini çalıştırma

1. PySpark not defterinde Tümünü çalıştır'ı seçin.

   Spark oturumunun başlatılması birkaç dakika, envanter raporlarının işlenmesi ise birkaç dakika daha sürer. İşlenmek üzere çok sayıda envanter raporu varsa ilk çalıştırma biraz zaman alabilir. Sonraki çalıştırmalar yalnızca son çalıştırmadan sonra oluşturulan yeni envanter raporlarını işler.

   Not

   Not defterinde herhangi bir değişiklik yaparsanız, not defteri çalışır durumda olur, Yayımla düğmesini kullanarak bu değişiklikleri yayımladığınızdan emin olun.

2. Veri sekmesini seçerek not defterinin başarıyla çalıştığını doğrulayın.

   Veri bölmesinin Çalışma Alanı sekmesinde reportdata adlı bir veritabanı görünmelidir. Bu veritabanı görünmüyorsa web sayfasını yenilemeniz gerekebilir.

   

   Veritabanı bir tablo kümesi içerir. Her tablo, PySpark not defterinden sorguları çalıştırarak elde edilen bilgileri içerir.

3. Tablonun içeriğini incelemek için reportdata veritabanının Tablolar klasörünü genişletin. Ardından bir tabloya sağ tıklayın, SQL betiği seç'i ve ardından İLK 100 satırı seç'i seçin.

   

4. Sorguyu gerektiği gibi değiştirebilir ve ardından çalıştır'ı seçerek sonuçları görüntüleyebilirsiniz.

   

Verileri görselleştirme

1. ReportAnalysis.pbit örnek rapor dosyasını indirin.

2. Power BI Desktop açın. Yükleme yönergeleri için bkz . Power BI Desktop'ı edinme.

3. Power BI'da Dosya, Rapor aç ve ardından Raporlara göz at'ı seçin.

4. Aç iletişim kutusunda, dosya türünü Power BI şablon dosyaları (*.pbit) olarak değiştirin.

   

5. İndirdiğiniz ReportAnalysis.pbit dosyasının konumuna gidin ve Aç'ı seçin.

   Synapse çalışma alanının adını ve veri tabanı adını girmenizi isteyen bir iletişim kutusu görüntülenir.

6. İletişim kutusunda, synapse_workspace_name alanını çalışma alanı adı olarak ve veritabanı_adı alanını reportdata olarak ayarlayın. Ardından Yükle düğmesini seçin.

   

   Not defteri tarafından alınan verilerin görselleştirmelerini sağlayan bir rapor görüntülenir. Aşağıdaki görüntüler, bu raporda görünen grafik ve grafik türlerini gösterir.

   

   

   

Sonraki adımlar

• Not defterinizi düzenli aralıklarla çalıştırmaya devam etmek için bir Azure Synapse işlem hattı ayarlayın. Bu sayede, yeni envanter raporları oluşturuldukça bunları işleyebilirsiniz. İlk çalıştırmadan sonra, sonraki çalıştırmaların her biri artımlı verileri analiz eder ve ardından tabloları bu çözümlemenin sonuçlarıyla güncelleştirir. Yönergeler için bkz İşlem hatları ile tümleştirme.

• Depolama hesabınızdaki tek tek kapsayıcıları analiz etmenin yolları hakkında bilgi edinin. Şu makalelere bakın:

  Azure Depolama envanterini kullanarak kapsayıcıya göre blob sayısını ve toplam boyutu hesaplayın

  Öğretici: Databricks kullanarak kapsayıcı istatistiklerini hesaplama

• Bloblarınızın ve kapsayıcılarınızın analizine göre maliyetlerinizi iyileştirmenin yolları hakkında bilgi edinin. Şu makalelere bakın:

  Azure Blob Depolama maliyetlerini planlama ve yönetme

  Verileri arşivleme maliyetini tahmin etme

  Veri yaşam döngüsünü otomatik olarak yöneterek maliyetleri iyileştirme