Öğretici: Blob envanter raporlarını analiz etme

Bloblarınızın ve kapsayıcılarınızın üretimde nasıl depolandığını, düzenlenip kullanıldığını anlayarak maliyet ve performans arasındaki dengeleri daha iyi iyileştirebilirsiniz.

Bu öğreticide zaman içinde veri büyümesi, zaman içinde eklenen veriler, değiştirilen dosya sayısı, blob anlık görüntü boyutları, her katman üzerinde erişim desenleri ve verilerin hem şu anda hem de zaman içinde nasıl dağıtıldığı (örneğin: katmanlar, dosya türleri, kapsayıcılar ve blob türleri arasında veriler) gibi istatistiklerin nasıl oluşturulup görselleştirildiği gösterilir.

Bu öğreticide aşağıdakilerin nasıl yapılacağını öğreneceksiniz:

• Blob envanter raporu oluşturma
• Synapse çalışma alanı ayarlama
• Synapse Studio'yu ayarlama
• Synapse Studio'da analiz verileri oluşturma
• Sonuçları Power BI’da görselleştirme

Önkoşullar

• Azure aboneliği - ücretsiz hesap oluşturma

• Azure depolama hesabı - depolama hesabı oluşturma

  Kullanıcı kimliğinizin kendisine Atanmış Depolama Blob Verileri Katkıda Bulunanı rolüne sahip olduğundan emin olun.

Stok raporu oluşturma

Depolama hesabınız için blob envanter raporlarını etkinleştirin. Bkz . Azure Depolama blob envanter raporlarını etkinleştirme.

İlk raporunuzun oluşturulması için envanter raporlarını etkinleştirdikten sonra 24 saate kadar beklemeniz gerekebilir.

Synapse çalışma alanı ayarlama

1. Azure Synapse çalışma alanı oluşturun. Bkz . Azure Synapse çalışma alanı oluşturma.

   Not

   Çalışma alanını oluşturmanın bir parçası olarak hiyerarşik ad alanına sahip bir depolama hesabı oluşturacaksınız. Azure Synapse, Spark tablolarını ve uygulama günlüklerini bu hesaba depolar. Azure Synapse bu hesabı birincil depolama hesabı olarak ifade eder. Karışıklığı önlemek için, bu makalede stok raporları içeren hesaba başvurmak için stok raporu hesabı terimi kullanılır.

2. Synapse çalışma alanında, kullanıcı kimliğinize Katkıda Bulunan rolünü atayın. Bkz . Azure RBAC: Çalışma alanı için sahip rolü.

3. Synapse çalışma alanına, envanter raporu hesabınıza gidip çalışma alanının sistem tarafından yönetilen kimliğine Depolama Blob Verileri Katkıda Bulunanı rolünü atayarak depolama hesabınızdaki envanter raporlarına erişme izni verin. Bkz. Azure portalı kullanarak Azure rolleri atama.

4. Birincil depolama hesabına gidin ve Blob Depolama Katkıda Bulunanı rolünü kullanıcı kimliğinize atayın.

Synapse Studio'yu ayarlama

1. Synapse çalışma alanınızı Synapse Studio'da açın. Bkz. Synapse Studio'yu açma.

2. Synapse Studio'da, kimliğinize Synapse Yöneticisi rolünün atandığından emin olun. Çalışma alanı için bkz. Synapse RBAC: Synapse Yönetici rolü.

3. Apache Spark havuzu oluşturma. Bkz. Sunucusuz Apache Spark havuzu oluşturma.

Örnek not defterini ayarlama ve çalıştırma

Bu bölümde, raporda görselleştirdiğiniz istatistiksel veriler oluşturacaksınız. Bu öğreticiyi basitleştirmek için bu bölümde örnek bir yapılandırma dosyası ve örnek bir PySpark not defteri kullanılır. Not defteri, Azure Synapse Studio'da yürütülen bir sorgu koleksiyonu içerir.

Örnek yapılandırma dosyasını değiştirme ve karşıya yükleme

1. BlobInventoryStorageAccountConfiguration.json dosyasını indirin.

2. Bu dosyanın aşağıdaki yer tutucularını güncelleştirin:

   • Stok raporu hesabınızın adına ayarlayın storageAccountName .

   • Envanter raporlarının bulunduğu kapsayıcının adına ayarlayın destinationContainer .

   • Analiz etmek istediğiniz sonuçları oluşturan stok raporu kuralının adına ayarlayın blobInventoryRuleName .

   • Stok raporu hesabının hesap anahtarı olarak ayarlayın accessKey .

3. Bu dosyayı Synapse çalışma alanını oluştururken belirttiğiniz birincil depolama hesabınızdaki kapsayıcıya yükleyin.

Örnek PySpark not defterini içeri aktarma

1. ReportAnalysis.ipynb örnek not defterini indirin.

   Not

   Bu dosyayı uzantıyla kaydettiğinizden .ipynb emin olun.

2. Synapse çalışma alanınızı Synapse Studio'da açın. Bkz. Synapse Studio'yu açma.

3. Synapse Studio'da Geliştir sekmesini seçin.

4. Öğe eklemek için artı işaretini (+) seçin.

5. İçeri Aktar'ı seçin, indirdiğiniz örnek dosyaya göz atın, bu dosyayı seçin ve Aç'ı seçin.

   Özellikler iletişim kutusu görüntülenir.

6. Özellikler iletişim kutusunda Oturumu yapılandır bağlantısını seçin.

   

   Oturumu yapılandır iletişim kutusu açılır.

7. Oturumu yapılandır iletişim kutusunun Ekle açılan listesinde, bu makalenin önceki bölümlerinde oluşturduğunuz Spark havuzunu seçin. Ardından Uygula düğmesini seçin.

Python not defterini değiştirme

1. Python not defterinin ilk hücresinde değişkenin storage_account değerini birincil depolama hesabının adına ayarlayın.

2. Değişkenin container_name değerini Synapse çalışma alanını oluştururken belirttiğiniz hesaptaki kapsayıcının adıyla güncelleştirin.

3. Yayımla düğmesini seçin.

PySpark not defterini çalıştırma

1. PySpark not defterinde Tümünü çalıştır'ı seçin.

   Spark oturumunun başlatılması birkaç dakika, envanter raporlarının işlenmesi ise birkaç dakika daha sürer. İşlenmek üzere çok sayıda envanter raporu varsa ilk çalıştırma biraz zaman alabilir. Sonraki çalıştırmalar yalnızca son çalıştırmadan sonra oluşturulan yeni envanter raporlarını işler.

   Not

   Not defterinde herhangi bir değişiklik yaparsanız, not defteri çalışır durumda olur, Yayımla düğmesini kullanarak bu değişiklikleri yayımladığınızdan emin olun.

2. Veri sekmesini seçerek not defterinin başarıyla çalıştığını doğrulayın.

   Veri bölmesinin Çalışma Alanı sekmesinde reportdata adlı bir veritabanı görünmelidir. Bu veritabanı görünmüyorsa web sayfasını yenilemeniz gerekebilir.

   

   Veritabanı bir tablo kümesi içerir. Her tablo, PySpark not defterinden sorguları çalıştırarak elde edilen bilgileri içerir.

3. Tablonun içeriğini incelemek için reportdata veritabanının Tablolar klasörünü genişletin. Ardından bir tabloya sağ tıklayın, SQL betiği seç'i ve ardından İLK 100 satırı seç'i seçin.

   

4. Sorguyu gerektiği gibi değiştirebilir ve ardından çalıştır'ı seçerek sonuçları görüntüleyebilirsiniz.

   

Verileri görselleştirme

1. ReportAnalysis.pbit örnek rapor dosyasını indirin.

2. Power BI Desktop açın. Yükleme yönergeleri için bkz . Power BI Desktop'ı edinme.

3. Power BI'da Dosya, Rapor aç ve ardından Raporlara göz at'ı seçin.

4. Aç iletişim kutusunda, dosya türünü Power BI şablon dosyaları (*.pbit) olarak değiştirin.

   

5. İndirdiğiniz ReportAnalysis.pbit dosyasının konumuna gidin ve Aç'ı seçin.

   Synapse çalışma alanının adını ve veri tabanı adını girmenizi isteyen bir iletişim kutusu görüntülenir.

6. İletişim kutusunda, synapse_workspace_name alanını çalışma alanı adına ve database_name alanını olarak reportdataayarlayın. Ardından Yükle düğmesini seçin.

   

   Not defteri tarafından alınan verilerin görselleştirmelerini sağlayan bir rapor görüntülenir. Aşağıdaki görüntüler, bu raporda görünen grafik ve grafik türlerini gösterir.

   

   

   

Sonraki adımlar

• Not defterinizi düzenli aralıklarla çalıştırmaya devam etmek için bir Azure Synapse işlem hattı ayarlayın. Bu şekilde, yeni envanter raporlarını oluşturulurken işleyebilirsiniz. İlk çalıştırmadan sonra, sonraki çalıştırmaların her biri artımlı verileri analiz eder ve ardından tabloları bu çözümlemenin sonuçlarıyla güncelleştirir. Yönergeler için bkz . İşlem hatları ile tümleştirme.

• Depolama hesabınızdaki tek tek kapsayıcıları analiz etmenin yolları hakkında bilgi edinin. Şu makalelere bakın:

  Azure Depolama envanterini kullanarak kapsayıcıya göre blob sayısını ve toplam boyutu hesaplayın

  Öğretici: Databricks kullanarak kapsayıcı istatistiklerini hesaplama

• Bloblarınızın ve kapsayıcılarınızın analizine göre maliyetlerinizi iyileştirmenin yolları hakkında bilgi edinin. Şu makalelere bakın:

  Azure Blob Depolama maliyetlerini planlama ve yönetme

  Verileri arşivleme maliyetini tahmin etme

  Veri yaşam döngüsünü otomatik olarak yöneterek maliyetleri iyileştirme