Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu makalede, Azure Data Factory'de FinOps'un nasıl uygulanacağı açıklanmaktadır.
FinOps nedir?
FinOps Foundation Teknik Danışmanlık Konseyi FinOps'yi buna göre tanımlar:
FinOps, kuruluşların mühendislik, finans, teknoloji ve iş ekiplerinin veri odaklı harcama kararları üzerinde işbirliği yapmasına yardımcı olarak en yüksek iş değerini elde etmesine olanak tanıyan gelişen bir bulut finansal yönetim disiplini ve kültürel uygulamadır.
FinOps, özünde kültürel bir uygulamadır. Bu, ekiplerin bulut maliyetlerini yönetmesinin yoludur. Burada herkes, merkezi bir en iyi yöntemler grubu tarafından desteklenen bulut kullanımlarının sahipliğini alır. Mühendislik, Finans, Ürün vb.'deki işlevsel ekipler birlikte çalışarak daha hızlı ürün teslimi sağlarken aynı zamanda daha fazla finansal denetim ve öngörülebilirlik elde eder.
Azure Data Factory'ye FinOps uygulama
Azure Data Factory, Microsoft'un buluttaki Veri Tümleştirme ve ETL (ayıklama, dönüştürme, yükleme) hizmetidir. Veri fabrikasında etkili bütçeleme ve maliyet denetimleri elde etmek için öncelikle fiyatlandırma modelini nasıl anlayacağınızı gözden geçireceğiz. Ardından, harcamalarınızı fabrika ve işlem hattı düzeylerinde analiz etmek önemlidir. Bunu Data Factory'nin yerleşik tüketim raporlarıyla ve Azure maliyet yönetimi ve maliyet analizi özelliklerini kullanarak Azure abonelik düzeyinde yapabilirsiniz. Son olarak, maliyet denetimleri sağlamaya yardımcı olmak için Azure aboneliğinizde harcama limitlerini ayarlama hakkında konuşuyoruz.
Azure Data Factory fiyatlandırmasını anlama
Aşağıdaki grafikte veri fabrikası fiyatlandırmasını hesaplamaya ilişkin genel akış açıklanmaktadır. Fiyatlandırmayı hesaplamak için Azure Fiyatlandırma Hesaplayıcısı nasıl kullanılacağını gösterir. Genel olarak, veri fabrikası faturalamasını anlamanın birincil bölümleri şu maliyetleri içerir: düzenleme, yürütme, tür tümleştirme çalışma zamanı (IR), veri taşıma (kopyalama) ve veri akışları.
- Veri fabrikası kaynağınızın veya havuz tümleştirme çalışma zamanınızın yönetilen sanal ağ (VNET) kullanıp kullanmadığını denetleyin. Bu durumda düzenleme ve yürütme, Azure tarafından yönetilen VNET IR kullanılarak hesaplanır. Düzelmemişse, sonraki adıma geçin.
- Kaynak veya bağlantı noktasının yerel tümleştirme çalışma zamanını kullanıp kullanmadığını onaylayın. Bu durumda, düzenleme ve yürütme şirket içinde barındırılan IR tarafından hesaplanır ve toplam maliyet hem düzenleme hem de yürütme maliyetlerinin toplamına eşittir. Değilse, düzenleme ve yürütme Azure IR tarafından hesaplanır.
- Azure IR ve Azure yönetilen sanal ağ IR için veri akışını kullanıp kullanmadığınızdan emin olun. Bu durumda toplam maliyet, veri akışı kümesi, düzenleme ve yürütme maliyetlerinin toplamına eşittir. Aksi takdirde toplam maliyet, düzenleme ve yürütme maliyetlerinin toplamıdır.
Azure Data Factory maliyetlerini hesaplama işlemini gösteren
Örnek senaryolar
Şimdi yaygın veri fabrikası senaryolarına ve her iş yüküyle ilişkili tahmini maliyetlere ilişkin çeşitli örneklere göz atalım. Her örneği incelediğimizde, veri fabrikası maliyetleri için şu standartları göz önünde bulundurun:
- Faturanızı gözden geçirirken, data factory'nin her etkinlik süresi için dakikayı (yani 1 dk 1 sn = 2 dakikalık faturalama) yuvarladığını unutmayın.
- Aşağıdaki örnekler yaygın senaryoları temel alır ve tahmini maliyetleri gösterir.
- Azure'da kullandığınız veri depolarından ve dış hizmetlerden başka maliyetler tahakkuk edebilir.
- Gerçek maliyetleriniz, Microsoft ile sahip olduğunuz satış sözleşmesi koşullarına göre bu örneklerden biraz farklı olabilir.
- Bu bağlantı daha fazla örnek sağlar: örnekler aracılığıyla Azure Data Factory fiyatlandırmasını anlama.
Örnek: Azure Databricks ile saatlik veri kopyalama ve dönüştürme
Bu senaryoda, AWS S3'ten Azure Blob depolamaya veri kopyalamak ve Azure Databricks ile verileri 30 gün boyunca günde 8 saat saatlik bir zamanlamaya dönüştürmek istiyorsunuz.
Bu örnekte kullanılan fiyatlar varsayımsaldır ve gerçek tam fiyatlandırmayı ima etmeye yönelik değildir. Okuma/yazma ve izleme maliyetleri genellikle göz ardı edilebilir olduğundan ve genel maliyetleri önemli ölçüde etkilemeyeceğinden gösterilmez. Etkinlik çalıştırmaları, fiyatlandırma hesaplayıcı tahminlerinde en yakın 1000'e yuvarlanır.
Konfigürasyon
Senaryoyu gerçekleştirmek için aşağıdaki öğelerle bir işlem hattı oluşturmanız gerekir:
- AWS S3'ten kopyalanacak veriler için bir giriş veri kümesi ve Azure depolama alanındaki veriler için bir çıkış veri kümesi içeren bir kopyalama etkinliği.
- Veri dönüştürme için bir Azure Databricks etkinliği.
- İşlem hattını saatte bir çalıştırmak için zamanlanmış bir tetikleyici. İşlem hattını çalıştırmak istediğinizde, hemen başlatabilir veyazamanlayabilirsiniz. İşlem hattının kendisine ek olarak, her tetikleyici örneği tek bir Etkinlik çalıştırması olarak sayılır.
Maliyet tahmini
Aşağıdaki adımları kullanarak Azure Fiyatlandırma Hesaplayıcısı üzerinde işlem yapın:
- Hem kaynak hem de havuz Azure tarafından yönetilen sanal ağ kullanmıyorsa 2. Adım'a gidin.
- Hem kaynak hem de alıcı kendi barındırılan IR kullanmıyorsa, düzenleme ve yürütme Azure IR kullanılarak hesaplanır.
- Burada yalnızca kopyalama etkinliğini ve bir dış etkinliği kullanırız. Veri akışı etkinliğini kullanmaz, bu nedenle toplam maliyet düzenleme ve yürütme maliyetlerinin toplamına eşittir.
Bir ay için tahmini fiyatlandırma (30 gün boyunca günde 8 saat):
Türler | Hesaplama |
---|---|
Orchestration (binlerce etkinlik çalıştırma sayısı) | Yürütme başına 3 etkinlik çalıştırması (tetikleyici çalıştırması için 1, etkinlik çalıştırmaları için 2). Ayda etkinlik çalıştırma sayısı = 3 * 8 * 30 = 720. Bin/ay içindeki etkinlik çalıştırması sayısı = 1 |
Yürütme | 1. Veri tümleştirme birimi (DIU) saatleri: • Her yürütme için DIU süresi = 10 dk • Varsayılan DIU ayarı = 4 • DIU saat/ay = (10 dk / 60 dk) * 4 * 8 * 30 = 160 2. Dış boru hattı etkinliği yürütme saatleri: • Yürütme süresi başına: 10 dk • Dış işlem hattı faaliyet yürütme saatleri = (10 dk / 60 dk) * 8 * 30 = 40 |
Fiyatlandırma hesaplayıcısı örneği
30 günlük toplam senaryo fiyatlandırması: 41,01 ABD doları
Örnek: Normal bir iş günü için eşleme veri akışı hata ayıklamasını kullanma
Bu örnekte, veri mühendisi için tipik bir iş günü için eşleme veri akışı hata ayıklama maliyetleri gösterilmektedir. Aşağıdaki örnekte kullanılan fiyatlar varsayımsaldır ve tam olarak gerçek fiyatlandırmayı ima etmeye yönelik değildir. Okuma/yazma ve izleme maliyetleri genellikle göz ardı edilebilir olduğundan ve genel maliyetleri önemli ölçüde etkilemeyeceğinden gösterilmez. Etkinlik çalıştırmaları, fiyatlandırma hesaplayıcı tahminlerinde de en yakın 1000'e yuvarlanmış durumdadır.
Azure Data Factory mühendisi
Veri fabrikası mühendisi, eşleme veri akışlarını her gün tasarlamaktan, oluşturmaktan ve test etmeden sorumludur. Mühendis, sabah Azure Data Factory Studio'da oturum açar ve veri akışları için hata ayıklama modunu etkinleştirir. Hata ayıklama oturumları için varsayılan Yaşam Süresi (TTL) 60 dakikadır. Mühendis 8 saat boyunca gün boyunca çalışır, bu nedenle hata ayıklama oturumunun süresi hiç dolmaz. Bu nedenle mühendisin günün ücretleri şunlardır:
8 saat * 8 işlemciye optimize edilmiş çekirdek * çekirdek başına saatte 0,193 USD = 12,35 USD
Bütçeleme
Azure Data Factory uygulamasını planlarken, ETL ve veri tümleştirme projeleriniz için bütçe oluşturmaya yardımcı olmak için maliyetlerinizi anlamak ve tahmin etmek önemlidir.
İşlem hattı izleme görünümünde tüketim raporu düğmesini seçerek her çalıştırma için faturalanan birimlerin anlık görüntüsünü alın.
İzleme sayfasında, herhangi bir işlem hattı çalıştırması için, bir hata ayıklama çalıştırmasından, manuel olarak tetiklenen çalıştırmadan veya otomatik tetikleyici ile başlatılan çalıştırmadan gelen tüketim raporunu manuel olarak kullanabilirsiniz.
Veri fabrikası işlem hattı tüketim raporu, faturalanan tahmini birimleri sağlar. Daha küçük veri kümelerinde işlem hattınızın hata ayıklama yürütmesini kullanarak bu testleri çalıştırabilir ve ardından bu tahminlerden üretim bütçenizi tahmin edebilirsiniz.
Tüketim raporu, birimler halinde değerler sağlar. Bundan parasal bir tahmin elde etmek için, Azure fiyatlandırma hesaplayıcısını temel alarak bu rapordaki birimlerin değerini bölgenizdeki fiyatla çarpın. Bu, işlem hattı yürütmesinin bir tahminini oluşturur. En iyi yöntem, temel maliyet aralığı elde etmek ve bütçelemeniz için bu çalıştırmaların ortalamasını kullanmak için işlem hattını farklı veri kümeleriyle birkaç kez yürütmektir.
Azure maliyet iyileştirmesi
Bu bölümde Microsoft maliyet yönetimi, Azure Danışmanı ve data factory'deki ayrılmış örnekler için maliyet iyileştirmesi ele alınmaktadır.
Microsoft maliyet yönetimi
Microsoft Azure, Azure harcamalarınızı izlemenize, iyileştirmenize ve denetlemenize yardımcı olan araçlar sağlar. Veri fabrikası harcamalarınızın önceliği en yüksekse, azure'da her veri fabrikası için ayrı bir kaynak grubu oluşturmanız önerilir. Bu şekilde, Microsoft Maliyet Yönetimikullanarak bütçe oluşturmak, harcamalarınızı izlemek ve maliyet denetimlerini uygulamak kolaydır.
Günümüzde kuruluşlar harcamaları kontrol etmek ve daha azıyla daha fazlasını yapmak için her zamankinden daha fazla çalışmaktadır. Azure Data Factory v2 kullanımınıza ve data factory için kullandığınız genel Azure kaynak grubuna harcama limitleri ayarlamak için Azure bütçeleri özelliğini kullanabilirsiniz.
bütçe oluştur penceresinden, Azure Data Factory hizmetini veya kaynak grubunu seçmek için filtreleri kullanın.
Azure Danışmanı
Azure bütçenizi iyileştirmeye yönelik bir diğer değerli araç da Azure Danışmanı'dır. Azure Danışmanı ile genel Azure harcamalarınızı azaltmaya yönelik öneriler alabilirsiniz. Buna Azure Data Factorynineşleme veri akışlarının maliyetlerini azaltmaya yönelik ayrılmış örnek fiyatlandırmasının kullanımı dahildir. Ayrıca Azure ön ödeme kredisiile Azure Data Factory ücretleri için ödeme yapabilirsiniz.
Azure Data Factory'de ayrılmış örnekler
Rezerve Edilmiş Örnekler, Azure Data Factory'de veri akışlarını eşlemek için kullanılabilir ve bu sayede veri akışlarının normal liste fiyatına kıyasla tasarruf sağlayabilirsiniz. Ayrılmış örneklerle, rezervasyonun uzunluğuna göre indirim düzeylerinde 1 yıllık veya 3 yıllık rezervasyonlar önceden satın alırsınız. Ayrılmış örnekleri kullanarak maliyet tasarruflarınızın özelleştirilmiş bir görünümünü görmek için Azure portalına gidin ve Rezervasyonlar 'i ve ardından veri fabrikası'nı seçin. Buradan, normalde kullandığınız veri akışı türünü seçersiniz ve Azure portalı daha sonra önceki veri fabrikası kullanımınıza göre gelecekteki tasarruflarınızı tahmin eder.
Ayrılmış örnekleri kullanarak eşleme veri akışı kapasitesinin rezerve edilmesi, doğrudan veri akışı kullanımınızla ilgili genel veri fabrikası harcamalarınızda anında indirim sağlayabilir.
Veri fabrikası harcamalarınızı izleme
Azure'da veri tümleştirme altyapınızı oluştururken zaman içindeki harcamalarınızı izlemek önemlidir. Veri fabrikası bütçenizi izlemenin çeşitli yolları vardır. Varsayılan olarak veri fabrikası, hizmetin kullandığı farklı faturalama ölçüm cihazlarına dayalı olarak fabrikanız için genel bir özete sahip maliyet sağlar.
İşlem hattı faturalama detaylı görünümünü kullanma
Fabrika ayarlarının altında bir seçenek olarak işlem hattına göre faturalamayı kullanacak şekilde ayarlayarak veri fabrikasından maliyetlerinizin işlem hattı düzeyinde toplanarak sağlanmasını isteyebilirsiniz.
Bu görünüm, her işlem hattına göre veri fabrikası harcamalarınızın dökümünü sağlar. Bu, maliyetleri varsayılan olan fabrika toplamı yerine satır öğesi düzeyinde dağıtmak için yararlı olabilir.
Veri fabrikası faturanızın işlem hattı düzeyinde görünümü, genel veri fabrikası maliyetlerini her işlem hattı kaynağına bağlamak için kullanışlıdır. Ayrıca, hem şirket içi tüketim hem de dış müşteri veya iş ortağı kullanımı için fabrikanızın kullanıcılarına geri ödeme uygulamak için kullanımı kolay bir mekanizma sağlamak da yararlıdır.
Boru hattı maliyet ilişkilendirmesi için etiketlerin nasıl kullanılacağı
Veri fabrikası kaynağınızın maliyetlerini izlemeye yönelik bir diğer mekanizma da fabrikanızdaetiketleme kullanmaktır. Veri fabrikanıza ve diğer Azure kaynaklarına aynı etiketi atayabilir ve bunları birleştirilmiş faturalamalarını görüntülemek için aynı kategoriye ekleyebilirsiniz. Fabrika içindeki tüm SSIS (SQL Server Integration Services) IR'leri bu etiketi devralır. Veri fabrikası etiketinizi değiştirirseniz, yeni etiketi devralması için fabrika içindeki tüm SSIS IR'lerini durdurmanız ve yeniden başlatmanız gerektiğini unutmayın. Diğer ayrıntılar için SSIS IR'yi yeniden yapılandırmabölümüne bakın.
İlgili içerik
- Azure Data Factory maliyetlerini yönetmeyi planlama
- Örnekler aracılığıyla Azure Data Factory fiyatlandırmasını anlama
- Azure fiyatlandırma hesaplayıcısı