Azure Data Factory maliyetlerini yönetmeyi planlama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Azure Data Factory maliyetlerini nasıl planladığınız ve yönettiğiniz açıklanmaktadır.

İlk olarak, ETL projesinin başında, hizmetin maliyetleri tahmin etmek üzere herhangi bir kaynak eklemeden önce Azure Data Factory maliyetlerini planlamaya yardımcı olması için Azure fiyatlandırması ile işlem hattı başına tüketim ve fiyatlandırma hesaplayıcılarının bir bileşimini kullanırsınız. Ardından, Azure kaynaklarını eklerken tahmini maliyetleri gözden geçirin. Azure Data Factory kaynaklarını kullanmaya başladıktan sonra, bütçeleri ayarlamak ve maliyetleri izlemek için Maliyet Yönetimi özelliklerini kullanın. Ayrıca tahmin edilen maliyetleri gözden geçirebilir ve harekete geçmek isteyebileceğiniz alanları belirlemek için harcama eğilimlerini belirleyebilirsiniz. Azure Data Factory maliyetleri, Azure faturanızdaki aylık maliyetlerin yalnızca bir kısmıdır. Bu makalede yalnızca veri fabrikası maliyetlerini planlama ve yönetme işlemleri açıklanmaktadır. Üçüncü taraf hizmetler de dahil olmak üzere Azure aboneliğinizde kullanılan tüm Azure hizmetleri ve kaynakları için faturalandırılırsınız.

Önkoşullar

Maliyet Yönetimi'nde maliyet analizi çoğu Azure hesap türünü destekler, ancak tümünü desteklemez. Desteklenen hesap türlerinin tam listesini görüntülemek için, bkz. Maliyet Yönetimi verilerini anlama. Maliyet verilerini görüntülemek için azure hesabı için en azından okuma erişimine sahip olmanız gerekir. Azure Maliyet Yönetimi verilerine erişim atama hakkında daha fazla bilgi için bkz. Verilere erişim atama.

Azure Data Factory'i kullanmadan önce maliyetleri tahmin edin

AZURE Data Factory'de ETL iş yükünüzü çalıştırmanın maliyetini tahmin etmek için ADF fiyatlandırma hesaplayıcısını kullanın. Hesaplayıcıyı kullanmak için etkinlik çalıştırmalarının sayısı, veri tümleştirme birimi saat sayısı, Veri Akışı için kullanılan işlem türü, çekirdek sayısı, örnek sayısı, yürütme süresi vb. gibi ayrıntıları girmeniz gerekir.

Fiyatlandırma hesaplayıcısıyla ilgili sık sorulan sorulardan biri, giriş olarak hangi değerlerin kullanılması gerektiğidir. Kavram kanıtı aşamasında, çeşitli ADF ölçümlerinin tüketimini anlamak için örnek veri kümelerini kullanarak deneme çalıştırmaları gerçekleştirebilirsiniz. Ardından örnek veri kümesinin tüketimine bağlı olarak, tam veri kümesinin ve işletimsel zamanlamanın tüketimini yansıtabilirsiniz.

Not

Aşağıdaki örnekte kullanılan fiyatlar varsayımsaldır ve gerçek fiyatlandırmayı ima etmeye yönelik değildir.

Örneğin, AWS S3'ten Azure Data Lake 2. Nesil'e günlük 1 TB veri taşımanız gerektiğini varsayalım. Veri alımı aktarım hızını ölçmek ve buna karşılık gelen faturalama tüketimini anlamak için 100 GB veri taşıma POC'si gerçekleştirebilirsiniz.

Aşağıda örnek bir kopyalama etkinliği çalıştırma ayrıntıları verilmiştir (gerçek kilometreniz belirli veri kümenizin şekline, ağ hızlarına, S3 hesabı çıkış sınırlarına, ADLS 2. Nesil'de giriş sınırlarına ve diğer faktörlere göre değişir).

İşlem hattı çalıştırma düzeyinde tüketim izlemesini kullanarak ilgili veri taşıma ölçümü tüketim miktarlarını görebilirsiniz:

Bu nedenle, ayın tamamı için günde 1 TB taşımak için gereken toplam DIU-saat sayısı:

1,2667 (DIU-saat) * (1 TB / 100 GB) * 30 (ay içindeki gün) = 380 DIU-saat

Artık aylık faturanızın tahminini almak için ADF fiyatlandırma hesaplayıcısına 30 etkinlik çalıştırması ve 380 DIU-saat takabilirsiniz:

Azure Data Factory için tam faturalama modelini anlama

Azure Data Factory, yeni kaynakları dağıttığınızda maliyetleri tahakkuk ettiren Azure altyapısında çalışır. Diğer ek altyapı maliyetlerinin tahakkuk ettirebileceğini anlamak önemlidir.

Azure Data Factory için nasıl ücretlendirilirsiniz?

Azure Data Factory, bulut ölçeği için oluşturulmuş sunucusuz ve esnek bir veri tümleştirme hizmetidir. En yüksek yük için planlamanız gereken sabit boyutlu bir işlem yoktur; bunun yerine, ETL işlemlerini çok daha ölçeklenebilir bir şekilde tasarlamanıza olanak tanıyan işlem başına isteğe bağlı olarak ne kadar kaynak ayrılacağını belirtirsiniz. Buna ek olarak, ADF tüketime dayalı bir plan üzerinden faturalandırılır ve bu da yalnızca kullandığınız kadar ödeme yaptığınız anlamına gelir.

Azure Data Factory kaynaklarını oluşturduğunuzda veya kullandığınızda aşağıdaki ölçümler için ücretlendirilebilirsiniz:

• Düzenleme Etkinlik Çalıştırmaları - Düzenleme etkinlik çalıştırmalarının sayısına göre ücretlendirilirsiniz.
• Veri Entegrasyonu Birimi (DIU) Saatleri - Azure Integration Runtime'da çalıştırılan kopyalama etkinlikleri için kullanılan DIU sayısına ve yürütme süresine göre ücretlendirilirsiniz.
• Sanal Çekirdek Saatleri : Veri akışı yürütme ve hata ayıklama için işlem türüne, sanal çekirdek sayısına ve yürütme süresine göre ücretlendirilirsiniz.

Faturalama döneminizin sonunda her bir ölçüm için alınan ücretler toplanır. Faturanız veya faturanız tüm Azure Data Factory maliyetleri için bir bölüm gösterir. Her ölçüm için de ayrı bir satır öğesi bulunur.

Azure Data Factory ile tahakkuk eden diğer maliyetler

Azure Data Factory (ADF) için kaynak oluşturduğunuzda, diğer Azure hizmetlerine yönelik kaynaklar da oluşturulur. Bu ölçümler şunlardır:

• İşlem Hattı Etkinliği yürütme
• Dış İşlem Hattı Etkinliği yürütme
• Veri fabrikası yapıtlarını oluşturma/düzenleme/alma/izleme
• Örnek türüne ve süresine göre SSIS Integration Runtime (IR) süresi

Not

ADF'nize ve diğer Azure kaynaklarınıza aynı etiketi atayabilir ve bunları birleştirilmiş faturalamalarını görüntülemek için aynı kategoriye ekleyebilirsiniz. ADF etiketi içindeki tüm SSIS IR'leri tarafından devralınır. ADF etiketinizi değiştirirseniz, yeni etiketi devralması için içindeki tüm SSIS IR'leri durdurmanız ve yeniden başlatmanız gerekir. Bkz . SSIS IR'yi yeniden yapılandırma.

Azure Data Factory ile Azure Ön Ödemesi kullanma

Azure Ön Ödeme kredinizle Azure Data Factory ücretleri için ödeme yapabilirsiniz. Ancak Azure Ön Ödemesi kredinizi Azure Market’te sunulanlar dahil olmak üzere üçüncü taraf ürün ve hizmetleri için ödeme yapma amacıyla kullanamazsınız.

Maliyetleri izleme

Azure Data Factory maliyetleri fabrika, işlem hattı, işlem hattı çalıştırma ve etkinlik çalıştırma düzeylerinde izlenebilir.

Maliyet Analizi ile maliyetleri fabrika düzeyinde izleme

Data Factory ile Azure kaynaklarını kullanırken maliyetler doğurabilirsiniz. Azure kaynak kullanım birimi maliyetleri zaman aralıklarına (saniye, dakika, saat ve gün) veya birim kullanımına (bayt, megabayt vb.) göre farklılık gösterir. Data Factory kullanımı başlar başlamaz maliyetler tahakkuk eder ve maliyetleri maliyet analizinde görebilirsiniz.

Maliyet analizini kullandığınızda Data Factory maliyetlerini farklı zaman aralıkları için grafikler ve tablolarda görüntülersiniz. Bazı örnekler güne, geçerli ve önceki aya ve yıla göredir. Ayrıca bütçelere ve tahmin edilen maliyetlere göre maliyetleri de görüntüleyebilirsiniz. Zaman içinde daha uzun görünümlere geçmek, harcama eğilimlerini belirlemenize yardımcı olabilir. Aşırı harcamanın nerede meydana gelebileceğini de görürsünüz. Bütçe oluşturduysanız bunların aşıldığı yeri de kolayca görebilirsiniz.

Data Factory maliyetlerini maliyet analizinde görüntülemek için:

1. Azure Portal’ında oturum açın.
2. Azure portalında kapsamı açın ve menüden Maliyet analizi'ni seçin. Örneğin Abonelikler'e gidin, listeden bir abonelik belirleyin ve menüden Maliyet analizi'ni seçin. Maliyet analizinde farklı bir kapsama geçmek için Kapsam'ı seçin.
3. Varsayılan olarak, hizmetlerin maliyeti ilk halka grafiğinde gösterilir. Grafikte Azure Data Factory v2 etiketli alanı seçin.

Maliyet analizini ilk açtığınızda gerçek aylık maliyetler gösterilir. Aşağıda tüm aylık kullanım maliyetlerini gösteren bir örnek verilmiştir.

• Data Factory gibi tek bir hizmetin maliyetlerini daraltmak için Filtre ekle'yi ve ardından Hizmet adı'na tıklayın. Ardından Azure Data Factory v2'yi seçin.

Burada yalnızca Data Factory maliyetlerini gösteren bir örnek verilmiştir.

Yukarıdaki örnekte, hizmetin geçerli maliyetini görürsünüz. Azure bölgelerine göre maliyetler (konumlar) ve kaynak grubuna göre Data Factory maliyetleri de gösterilir. Buradan maliyetleri kendiniz keşfedebilirsiniz.

Maliyet Analizi ile maliyetleri işlem hattı düzeyinde izleme

Bazı durumlarda, örneğin geri ödeme amacıyla fabrikamızdaki işlemlerin maliyetinin ayrıntılı bir dökümünü isteyebilirsiniz. Azure Faturalama maliyet analizi platformlarını tümleştiren Data Factory, her işlem hattı için faturalama ücretlerini ayırabilir. Bir fabrika için Azure Data Factory ayrıntılı faturalama raporlamasını kabul ederek, yukarıda belirtilen fabrika içinde her bir işlem hattının size ne kadara mal olduğunu daha iyi anlayabilirsiniz.

Ayrıntılı faturalama yapmak istediğiniz her fabrikayı kabul etmeniz gerekir. İşlem hattı başına ayrıntılı faturalama özelliğini açmak için

1. Azure Data Factory portalına gidin
2. Yönet sekmesinin altında Genel bölümünde Fabrika ayarı'yı seçin
3. Faturalama raporunu işlem hattına göre göster'i seçin
4. Değişikliği yayımlama

Not

Ayrıntılı işlem hattı faturalama ayarları , fabrikanızdan dışarı aktarılan ARM şablonlarına dahil değildir . Başka bir deyişle Sürekli Tümleştirme ve Teslim (CI/CD) fabrika için faturalama davranışlarının üzerine yazılmaz. Bu, geliştirme, test ve üretim fabrikaları için farklı faturalama davranışları ayarlamanıza olanak tanır.

Özellik etkinleştirildikten sonra, her işlem hattının Faturalama raporumuzda ayrı bir girişi olur: Seçilen zaman aralığında her işlem hattının tam olarak ne kadar maliyeti olduğunu gösterir. Harcama eğilimlerini belirlemenize ve varsa fazla harcama bildiriminde bulunmanıza olanak tanır.

Maliyet Analizi'nin grafik araçlarını kullanarak, yukarıda gösterildiği gibi, ancak tek tek işlem hatları için benzer grafikler ve eğilim çizgileri elde edersiniz. Ayrıca, fabrika adı faturalama raporuna eklendiğinden fabrika adına göre özet görünümü alırsınız ve gerektiğinde düzgün filtrelemeye olanak sağlarsınız.

Değişiklik yalnızca faturaların ileriye doğru nasıl yayılma şeklini etkiler ve geçmiş ücretleri değiştirmez. Değişiklik faturalama raporuna doldurulmadan önce lütfen biraz zaman verin: genellikle değişiklik 1 gün içinde yansıtılır.

Uyarı

Faturalama başına ayarını kabul ederek fabrikanızdaki her işlem hattı için bir giriş olacaktır. Faturalama raporunuzu önemli ölçüde uzatabileceği ve karmaşıklaştırabileceği için fabrikada aşırı miktarda işlem hattınız olup olmadığını lütfen unutmayın.

Sınırlamalar

İşlem hattı faturalama özelliklerine yönelik bilinen sınırlamalar aşağıdadır. Bu faturalama ölçümleri, onu döndüren işlem hattı altında dosya oluşturmaz, bunun yerine fabrikanız için bir geri dönüş satırı öğesi altında dosyalanır.

• Okuma/Yazma ve İzleme dahil olmak üzere Data Factory İşlemleri ücretleri
• Azure Data Factory SQL Server Integration Services (SSIS) düğümleri için ücretler
• Azure Integration Runtime (Azure IR) için Yapılandırılmış Yaşam Süresi (TTL) varsa, bu IR'de çalıştırılan Veri Akışı etkinlikler tek tek işlem hatları altında dosyalenmez.

Azure Data Factory'de işlem hattı çalıştırma düzeyinde tüketimi izleme

İşlem hattınızdaki etkinlik türlerine, ne kadar veri taşıdığınıza ve dönüştürdüğünüze ve dönüştürmenin karmaşıklığına bağlı olarak işlem hattı yürütmek Azure Data Factory'de farklı faturalama ölçümlerini döndürür.

Azure Data Factory kullanıcı deneyiminde tek tek işlem hattı çalıştırmaları için farklı ölçümler için tüketim miktarını görüntüleyebilirsiniz. İzleme deneyimini açmak için Azure portalının veri fabrikası dikey penceresindeki İzleyici ve Yönet kutucuğunu seçin. Zaten ADF UX'deyseniz sol kenar çubuğundaki İzleyici simgesini seçin. Varsayılan izleme görünümü, işlem hattı çalıştırmalarının listesidir.

İşlem hattı adının yanındaki Tüketim düğmesine tıklanması, işlem hattı içindeki tüm etkinliklerde toplanan işlem hattı çalıştırmanızın tüketimini gösteren bir açılır pencere görüntüler.

İşlem hattı çalıştırması tüketim görünümü, belirli bir işlem hattı çalıştırması için her ADF ölçümü için tüketilen tutarı gösterir, ancak size faturalanan tutar sahip olduğunuz Azure hesabının türüne ve kullanılan para birimi türüne bağlı olduğundan ücretlendirilen gerçek fiyatı göstermez. Desteklenen hesap türlerinin tam listesini görüntülemek için, bkz. Maliyet Yönetimi verilerini anlama.

Azure Data Factory'de etkinlik çalıştırma düzeyinde tüketimi izleme

İşlem hattı çalıştırması düzeyinde toplanan tüketimi anladıktan sonra, daha fazla detaya gidip işlem hattı içindeki en yüksek maliyetli etkinliği belirlemeniz gereken senaryolar vardır.

Etkinliği çalıştırma düzeyinde görmek için veri fabrikanızın Yazma ve İzleme kullanıcı arabirimine gidin. İşlem hattı çalıştırmalarının listesini gördüğünüz İzleyici sekmesinde işlem hattı çalıştırmalarındaki etkinlik çalıştırmaları listesine erişmek için işlem hattı adı bağlantısını seçin. Etkinlik adının yanındaki Çıkış düğmesini seçin ve JSON çıkışında billableDuration özelliğini arayın:

Kopyalama etkinliği çalıştırmasından bir örnek aşağıda verilmiştir:

Eşleme Veri Akışı etkinlik çalıştırmasından bir örnek aşağıda verilmiştir:

Bütçe oluşturma

Maliyetleri yönetmek için bütçeler oluşturabilir ve paydaşları harcama anormallikleri ve fazla harcama riskleri ile ilgili otomatik olarak bilgilendiren uyarılar oluşturabilirsiniz. Uyarılar, bütçe ve maliyet eşiklerine kıyasla harcamaya göre belirlenir. Azure abonelikleri ve kaynak grupları için bütçeler ve uyarılar oluşturulur, bu nedenle genel maliyet izleme stratejisinin bir parçası olarak kullanışlıdır.

İzlemenizde daha fazla ayrıntı düzeyi olmasını istiyorsanız Azure'daki belirli kaynaklara veya hizmetlere yönelik filtrelerle bütçeler oluşturulabilir. Filtreler, yanlışlıkla ek paraya mal olan yeni kaynaklar oluşturmamanıza yardımcı olur. Bütçe oluştururken kullanılabilen filtre seçenekleri hakkında daha fazla bilgi için bkz . Grup ve filtre seçenekleri.

Maliyet verilerini dışarı aktarma

Ayrıca, bir depolama hesabına da maliyet verilerinizi çıkartabilirsiniz. Bu, maliyetler için başka veri çözümlemesi yapmanız gerektiğinde veya diğer kişilere ihtiyaç duyduğunuzda yararlıdır. Örneğin finans ekipleri Excel veya Power BI kullanarak verileri analiz edebilir. Maliyetlerinizi günlük, haftalık veya aylık bir zamanlamaya göre dışarı aktarabilir ve özel bir tarih aralığı ayarlayabilirsiniz. Maliyet verilerini dışarı aktarmak, maliyet veri kümelerini almak için önerilen yoldur.

İlgili içerik

• Azure Maliyet Yönetimi ile bulut yatırımınızı iyileştirmeyi öğrenin.
• Maliyet analizi ile maliyetleri yönetme hakkında daha fazla bilgi edinin.
• Beklenmeyen maliyetleri önleme hakkında bilgi edinin.
• Maliyet Yönetimi destekli öğrenme kursuna katılın.
• Azure Data Factory fiyatlandırma sayfası
• Örnekler aracılığıyla Azure Data Factory'nin anlaşılması
• Azure Data Factory fiyatlandırma hesaplayıcısı