Aracılığıyla paylaş

Lakehouse tablosuna 2 GB Parquet verisi yüklemek için Dataflow 2. Nesil kullanan fiyatlandırma senaryosu

  • Makale

Bu senaryoda Dataflow 2. Nesil, Azure Data Lake Depolama (ADLS) 2. Nesil'de depolanan 2 GB Parquet verilerini Microsoft Fabric'teki bir Lakehouse tablosuna yüklemek için kullanılmıştır. Parquet verileri için NYC Taxi-green örnek verilerini kullandık.

Aşağıdaki örnekte kullanılan fiyatlar varsayımsaldır ve tam olarak gerçek fiyatlandırmayı ima etmeyi amaçlamamektedir. Bunlar yalnızca Microsoft Fabric'teki Data Factory projelerinin maliyetini nasıl tahmin edip planlayabileceğinizi ve yönetebileceğinizi göstermek içindir. Ayrıca Doku kapasiteleri bölgeler arasında benzersiz olarak fiyatlandırıldığından, ABD Batı 2 'deki (tipik bir Azure bölgesi) saat başına 0,18 ABD doları olan Doku kapasitesi için kullandıkça öde fiyatlandırmasını kullanırız. Diğer Doku kapasitesi fiyatlandırma seçeneklerini keşfetmek için buraya Microsoft Fabric - Fiyatlandırma bölümüne bakın.

Yapılandırma

Bu senaryoyu gerçekleştirmek için aşağıdaki adımlarla bir veri akışı oluşturmanız gerekir:

  1. Veri Akışını Başlat: ADLS 2. Nesil depolama hesabından 2 GB Parquet dosyaları verisi alın.
  2. Power Query'yi yapılandırma:
    1. Power Query'ye gidin.
    2. Sorguyu hazırlama seçeneğinin etkinleştirildiğinden emin olun.
    3. Parquet dosyalarını birleştirmeye devam edin.
  3. Veri Dönüştürme:
    1. Netlik için üst bilgileri yükseltin.
    2. Gereksiz sütunları kaldırın.
    3. Sütun veri türlerini gerektiği gibi ayarlayın.
  4. Çıktı Veri Hedefi Tanımla:
    1. Lakehouse'ı veri çıkış hedefi olarak yapılandırın.
    2. Bu örnekte, Fabric içinde bir Lakehouse oluşturuldu ve kullanıldı.

Doku Ölçümleri Uygulamasını kullanarak maliyet tahmini

Screenshot showing the duration and CU consumption of the job in the Fabric Metrics App.

Screenshot showing details of Dataflow Gen2 Refresh duration and CU consumption.

Screenshot showing details of SQL Endpoint Query duration and CU consumption used in the run.

Screenshot showing details of Warehouse Query and OneLake Compute duration and CU consumption used in the run.

Screenshot showing details of Query and Dataset On-Demand Refresh duration and CU consumption and SQL Endpoint Query used in the run.

Screenshot showing details of a second Query and Dataset On-Demand Refresh duration and CU consumption used in the run.

Screenshot showing details of OneLake Compute and 2 High Scale Dataflow Compute duration and CU consumption used in the run.

Yüksek Ölçekli Veri Akışı İşlem Ölçümü göz ardı edilebilir etkinlik kaydetti. Veri Akışı 2. Nesil yenileme işlemleri için standart İşlem ölçümü 112.098.540 İşlem Birimi (CU) tüketir. Ambar Sorgusu, SQL Uç Nokta Sorgusu ve İsteğe Bağlı Veri Kümesi Yenilemesi gibi diğer işlemlerin, Veri Akışı 2. Nesil uygulamasının şu anda saydam olan ve ilgili işlemleri için gerekli olan ayrıntılı yönlerini oluşturduğunu göz önünde bulundurmanız önemlidir. Ancak, bu işlemler gelecekteki güncelleştirmelerde gizlenecek ve Veri Akışı 2. Nesil maliyetleri tahmin edilirken göz ardı edilmelidir.

Not

Ölçüm olarak bildirilmiş olsa da, çalıştırmanın gerçek süresi Doku Ölçümleri Uygulaması ile etkili CU saatlerini hesaplarken geçerli değildir çünkü bildirdiği CU saniye ölçümü de zaten süresine göre hesaplanır.

Metric Standart İşlem Yüksek Ölçekli İşlem
Toplam CU saniyesi 112.098.54 CU saniye 0 CU saniye
Geçerli CU saatleri faturalandırıldı 112.098,54 / (60*60) = 31,14 CU saati 0 / (60*60) = 0 CU saati

Toplam çalıştırma maliyeti 0,18 ABD doları/CU saati = (31,14 CU saati) * (0,18 ABD doları/CU saati) ~= 5,60 USD

İlgili içerik