Azure Data Factory'de güvenilirlik

Azure Data Factory, sunucusuz veri tümleştirmesi ve veri dönüşümü için esnek ve güçlü veri işlem hatları oluşturmanıza olanak tanır. Bir Azure hizmeti olarak Data Factory, güvenilirlik gereksinimlerinizi desteklemek için çeşitli özellikler sunar.

Azure'ı kullandığınızda güvenilirlik paylaşılan bir sorumluluktır. Microsoft, dayanıklılık ve kurtarmayı desteklemek için çeşitli özellikler sunar. Bu özelliklerin kullandığınız tüm hizmetler içinde nasıl çalıştığını anlamak ve iş hedeflerinize ve çalışma süresi hedeflerinize ulaşmak için ihtiyacınız olan özellikleri seçmek sizin sorumluluğunuzdadır.

Bu makalede Data Factory'nin geçici hatalar, kullanılabilirlik alanı kesintileri ve bölge kesintileri gibi çeşitli olası kesintilere ve sorunlara karşı nasıl dayanıklı hale getirilmeye başlandığı açıklanır. Ayrıca, yedeklemeleri diğer sorun türlerinden kurtarmak için nasıl kullanabileceğinizi açıklar ve Data Factory hizmet düzeyi sözleşmesi (SLA) hakkındaki bazı önemli bilgileri vurgular.

Uyarı

Veri fabrikanızın güvenilirliğini göz önünde bulundurduğunuz zaman, bağlı olduğu veri depolarının güvenilirliğini de göz önünde bulundurmanız gerekir. Veri depoları eşit düzeyde dayanıklı değilse yalnızca veri fabrikasının dayanıklılığının artırılmasının sınırlı etkisi olabilir. Dayanıklılık gereksinimlerinize bağlı olarak, birden çok alanda yapılandırma değişiklikleri yapmanız gerekebilir. Veri depolarının iş sürekliliği gereksinimlerinizi karşıladığından emin olmak için ürün güvenilirliği belgelerine ve yönergelerine başvurun.

Güvenilirlik mimarisine genel bakış

Data Factory birden çok altyapı bileşeninden oluşur. Her bileşen çeşitli yollarla altyapı güvenilirliğini destekler.

Data Factory bileşenleri şunlardır:

• İşlem hattı tetikleyicilerini yöneten ve işlem hattı etkinliklerinin koordinasyonunu denetleyen temel Data Factory hizmeti. Çekirdek hizmet, veri fabrikasındaki her bileşen için meta verileri de yönetir. Temel hizmeti Microsoft yönetir.

• Veri depolarına bağlanan ve işlem hattınızda tanımlanan etkinlikleri gerçekleştiren tümleştirme çalışma zamanları (IR). Farklı IR türleri vardır.

  • Azure IR ve Azure-SQL Sunucu Tümleştirme Hizmetleri (Azure-SSIS) IR'yi içeren Microsoft tarafından yönetilen IR'ler. Microsoft, bu çalışma zamanlarını oluşturan bileşenleri yönetir. Bazı senaryolarda, IR'lerinizin dayanıklılığını etkileyen ayarları yapılandırabilirsiniz.

  • Kendi kendine barındırılan tümleştirme çalışma zamanları (SHIR). Microsoft, Data Factory işlem hatlarınızın bazı bölümlerini gerçekleştirmek için kendi işlem altyapınızda çalıştırabileceğiniz yazılımlar sağlar. İşlem kaynaklarının dağıtımından ve yönetiminden ve bu işlem kaynaklarının dayanıklılığından siz sorumlusunuz.

Geçici hatalara dayanıklılık

Geçici hatalar, bileşenlerde kısa ve aralıklı hatalardır. Bunlar genellikle bulut gibi dağıtılmış bir ortamda gerçekleşir ve işlemlerin normal bir parçasıdır. Geçici hatalar kısa bir süre sonra kendilerini düzeltmektedir. Uygulamalarınızın genellikle etkilenen istekleri yeniden deneyerek geçici hataları işleyebileceği önemlidir.

Bulutta barındırılan tüm uygulamalar, bulutta barındırılan API'ler, veritabanları ve diğer bileşenlerle iletişim kurarken Azure geçici hata işleme yönergelerini izlemelidir. Daha fazla bilgi için bkz Geçici hataları ele alma önerileri.

Data Factory'yi kullanırken, özellikle işlem hatlarını ve etkinlikleri tasarlarken geçici hatalara hazırlanmak önemlidir.

İdempotans

İşlem hattı etkinliklerinizin idempotent olması gerekir; bu da herhangi bir olumsuz etkiye neden olmadan birden çok kez yeniden çalıştırılabilecekleri anlamına gelir. Ağ hatası veya kullanılabilirlik alanı kesintisi gibi geçici bir hata oluşursa Data Factory işlem hattı etkinliklerini yeniden çalıştırabilir. Bu yeniden çalıştırma yinelenen kayıtlar oluşturabilir.

Geçici bir hata nedeniyle yinelenen kayıt ekleme işlemini önlemek için aşağıdaki en iyi yöntemleri uygulayın:

• Veritabanına yazmadan önce her kayıt için benzersiz tanımlayıcılar kullanın. Bu yaklaşım yinelenen kayıtları bulmanıza ve ortadan kaldırmanıza yardımcı olabilir.

• upsert'i destekleyen bağlayıcılar için bir upsert stratejisi kullanın. Yinelenen kayıt ekleme işlemi gerçekleşmeden önce, bir kaydın zaten var olup olmadığını denetlemek için bu yaklaşımı kullanın. Varsa güncelleştirin. Var değilse ekleyin. Örneğin, MERGE veya ON DUPLICATE KEY UPDATE gibi SQL komutları bu upsert yaklaşımını kullanır.

• Kopyalama işlemi stratejilerini kullanın. Daha fazla bilgi için bkz. Kopyalama etkinliğinde veri tutarlılığı doğrulaması.

İlkeleri yeniden deneme

Bağlı kaynaklarda geçici hatalar gibi bir sorun varsa işlem hattınızın bölümlerini yeniden deneyecek şekilde yapılandırmak için yeniden deneme ilkelerini kullanabilirsiniz. Data Factory'de, aşağıdaki işlem hattı nesne türlerinde yeniden deneme ilkelerini yapılandırabilirsiniz:

• Atlayan pencere tetikleyicileri
• Yürütme etkinlikleri

Veri fabrikası tetikleyicileriniz ve etkinlikleriniz için yeniden deneme ilkelerini değiştirme veya devre dışı bırakma hakkında daha fazla bilgi için İşlem Hattı Çalıştırmaları ve Tetikleyiciler bölümüne bakın.

Kullanılabilirlik alanı hatalarına dayanıklılık

Kullanılabilirlik alanları , bir Azure bölgesi içindeki veri merkezlerinin fiziksel olarak ayrı gruplarıdır. Bir bölge başarısız olduğunda hizmetler kalan bölgelerden birine devredilebilir.

Data Factory, kullanılabilirlik alanlarındaki hatalara dayanıklılık sağlayan alanlar arası yedekliliği destekler.

Data Factory'nin her bölümü alanlar arası yedekliliği destekler:

• Çekirdek hizmet: Microsoft, temel Data Factory hizmetindeki bileşenleri yönetir ve bunları kullanılabilirlik alanlarına dağıtır.

  Ancak, bir bölge hatasından sonra Microsoft yuvarlanan pencere tetikleyicilerinin durumunu garanti etmez.

• Irs: Alanlar arası yedeklilik desteği, kullandığınız IR türüne bağlıdır.

  • Azure IR alanlar arası yedekliliği destekler ve Microsoft bu özelliği yönetir.

    

  • Azure-SSIS IR için en az iki düğüm dağıtmanız gerekir. Bu düğümler otomatik olarak farklı kullanılabilirlik alanlarına ayrılır.

    Aşağıdaki diyagramda alanlar arası yedekli işlem hattı ve farklı bölgelere dağıtılan iki düğümle Azure-SSIS tümleştirme çalışma zamanı gösterilmektedir:

    

  • SHIR, çalışma zamanı ortamını barındıracak işlem altyapısını dağıtma sorumluluğunu size verir. Tek tek sanal makineler (VM) gibi birden çok düğüm dağıtabilir ve bunları yüksek kullanılabilirlik için yapılandırabilirsiniz. Daha sonra bu düğümleri birden çok kullanılabilirlik alanına dağıtabilirsiniz. Daha fazla bilgi için bkz . Yüksek kullanılabilirlik ve ölçeklenebilirlik.

Gereksinimler

Alanlar arası yedekli Data Factory kaynakları kullanılabilirlik alanlarını destekleyen herhangi bir bölgeye dağıtılabilir.

Maliyet

• Çekirdek hizmet: Alanlar arası yedeklilik için ek maliyet uygulanmaz.

• Irs: Bölge yedekliliği maliyeti, kullandığınız IR türüne bağlı olarak değişir.

  • Azure IR , ek ücret ödemeden alanlar arası yedeklilik içerir.

  • Azure-SSIS IR , alanlar arası yedeklilik elde etmek için en az iki düğüm dağıtmanızı gerektirir. Her düğümün nasıl faturalandığı hakkında daha fazla bilgi için bkz . Fiyatlandırma örneği: Azure-SSIS IR üzerinde SSIS paketlerini çalıştırma.

  • SHIR , işlem altyapısını dağıtmanızı ve yönetmenizi gerektirir. Bölge dayanıklılığını elde etmek için işlem kaynaklarınızı birden çok bölgeye yaymalısınız. Dağıttığınız düğüm sayısına ve bunları nasıl yapılandırdığınıza bağlı olarak, temel alınan işlem hizmetlerinden ve diğer destekleyici hizmetlerden ek maliyetler doğurabilirsiniz. SHIR'yi birden çok düğümde çalıştırmak için ek ücret alınmaz.

Kullanılabilirlik alanı desteğini yapılandırma

• Çekirdek hizmet: Yapılandırma gerekmez. Data Factory çekirdek hizmeti bölge yedekliliğini otomatik olarak destekler.

• Irs:

  • Azure IR: Yapılandırma gerekmez. Azure IR, alanlar arası yedekliliği otomatik olarak etkinleştirir.

  • Azure-SSIS IR: Yapılandırma gerekmez. Azure-SSIS IR, iki veya daha fazla düğümle dağıtıldığında bölge yedekliliğini otomatik olarak etkinleştirir.

  • SHIR , düğümlerinizi birden çok kullanılabilirlik alanına yayma dahil olmak üzere kendi dayanıklılığınızı yapılandırmanızı gerektirir.

Kapasite planlaması ve yönetimi

• Çekirdek hizmet: Data Factory çekirdek hizmeti isteğe bağlı olarak otomatik olarak ölçeklendirilir ve kapasiteyi planlamanız veya yönetmeniz gerekmez.

• Irs:

  • Azure IR isteğe bağlı olarak otomatik olarak ölçeklendirilir ve kapasiteyi planlamanız veya yönetmeniz gerekmez.

  • Azure-SSIS IR , kullandığınız düğüm sayısını özel olarak yapılandırmanızı gerektirir. Kullanılabilirlik alanı hatasına hazırlanmak için IR'nizin kapasitesini fazla sağlamayı göz önünde bulundurun. Aşırı sağlama, çözümün bir miktar kapasite kaybına tolerans göstermesini ve performansı düşürmeden çalışmaya devam etmesini sağlar. Daha fazla bilgi için bkz. Fazla sağlama ile kapasiteyi yönetme.

  • SHIR , kendi kapasitenizi ve ölçeklendirmenizi yapılandırmanızı gerektirir. SHIR dağıtırken aşırı kapasite tahsis etmeyi göz önünde bulundurun.

Tüm bölgeler sağlıklı olduğunda davranış

Bu bölümde Data Factory kaynakları alanlar arası yedeklilik için yapılandırıldığında ve tüm kullanılabilirlik alanları çalışır durumda olduğunda neler bekleyebileceğiniz açıklanmaktadır.

• Bölgeler arasında trafik yönlendirme: Normal işlemler sırasında Data Factory her kullanılabilirlik alanındaki iyi durumdaki örnekler arasında işlem hattı etkinliklerini, tetikleyicileri ve diğer işleri otomatik olarak dağıtır.

• Bölgeler arasında veri çoğaltma: Data Factory genel olarak durum bilgisi olmayan bir hizmet olduğundan bölgeler arasında durum çoğaltılması gerekmez.

  Ancak atlayan pencere tetikleyicileri, bölgeler arasında tam olarak çoğaltılmayan durum içeriyor.

Bölge hatası sırasındaki davranış

Bu bölümde Data Factory kaynakları alanlar arası yedeklilik için yapılandırıldığında ve kullanılabilirlik alanı kesintisi olduğunda neler bekleyebileceğiniz açıklanmaktadır.

• Algılama ve yanıt: Data Factory platformu, kullanılabilirlik alanındaki bir hatayı algılamaktan ve yanıtlamaktan sorumludur. İş akışlarınızda veya diğer bileşenlerinizde bir bölge yük devretmesini başlatmak için herhangi bir eylemde bulunmanız gerekmez.

• Bildirim: Bir bölge kapatıldığında Microsoft sizi otomatik olarak bilgilendirmez. Ancak, tek bir kaynağın durumunu izlemek için Azure Kaynak Durumu'nı kullanabilir ve sorunları size bildirmek için Kaynak Durumu uyarıları ayarlayabilirsiniz. Azure Hizmet Durumu'nı , bölge hataları dahil olmak üzere hizmetin genel durumunu anlamak için de kullanabilir ve sorunları size bildirmek için Hizmet Durumu uyarıları ayarlayabilirsiniz.

• Etkin istekler: Devam eden tüm işlem hatları ve tetikleyiciler çalışmaya devam eder ve bölge hatasından kaynaklanan ani bir kesintiyle karşılaşmazsınız. Ancak, bölge hatası sırasında devam eden etkinlikler başarısız olabilir ve yeniden başlatılabilir. Bölge hatalarından ve diğer hatalardan kurtulmalarına yardımcı olan etkinliklerin bir kez etkili olacak şekilde tasarlanması önemlidir. Daha fazla bilgi için bkz. Geçici hatalara dayanıklılık.

• Beklenen kapalı kalma süresi: Bölge hatası sırasında kapalı kalma süresi beklenmez.

• Beklenen veri kaybı: Genel olarak Data Factory durum bilgisi olmayan bir hizmet olduğundan, bölge hatası sırasında veri kaybı beklenmiyor.

  Ancak, "tumbling window" tetikleyici kullanırsanız, bir bölge arızası sonrasında tetikleyicinin durumu kaybolabilir. Bölge hatası sırasında çalışan tetikleyicileri yeniden başlatmanız veya yeniden çalıştırmanız gerekir.

Bölge kurtarma

Kullanılabilirlik alanı kurtarıldığında, Data Factory otomatik olarak orijinal bölgeye geri döner. İşlem hatlarınızda veya diğer bileşenlerinizde bir bölge geri kazanımı başlatmak için herhangi bir işlem yapmanız gerekmez.

Ancak SHIR kullanıyorsanız işlem kaynaklarınızı durdurulduysa yeniden başlatmanız gerekebilir.

Bölge hataları için test

Çekirdek hizmet ve Azure ile Azure-SSIS IR'ler için Data Factory, alanlar arası yedekli kaynaklar için trafik yönlendirmeyi, yük devretmeyi ve yeniden çalışmayı yönetir. Bu özellik tam olarak yönetildiği için kullanılabilirlik alanı hata işlemlerini başlatmanız veya doğrulamanız gerekmez.

SHIR'ler için Azure Chaos Studio'yu kullanarak Bir Azure VM'de kullanılabilirlik alanı hatasının benzetimini yapabilirsiniz.

Bölge genelindeki hatalara dayanıklılık

Data Factory kaynakları tek bir Azure bölgesine dağıtılır. Bölge kullanılamaz duruma gelirse veri fabrikanız da kullanılamaz. Ancak, bölge kesintilerine karşı dayanıklılığı sağlamaya yardımcı olmak için kullanabileceğiniz yaklaşımlar vardır. Bu yaklaşımlar, veri fabrikasının eşleştirilmiş veya eşleşmemiş bir bölgede olup olmadığına ve özel gereksinimlerinize ve yapılandırmanıza bağlıdır.

Microsoft tarafından yönetilen eşleştirilmiş bir bölgeye geçiş

Data Factory, Brezilya Güney ve Güneydoğu Asya hariç, eşleştirilmiş bölgelerdeki veri fabrikaları için Microsoft tarafından yönetilen yük devretmeyi destekler. Microsoft, uzun süren bir bölge hatası gerçekleşirse düşük bir olasılıkla, Data Factory örneğiniz için bölgesel bir yük devretme işlemi başlatabilir.

Güney Brezilya ve Güneydoğu Asya'daki veri yerleşimi gereksinimleri nedeniyle Data Factory verileri, Azure Depolama alanlar arası yedekli depolama kullanılarak yalnızca yerel bölgede depolanır. Güneydoğu Asya için tüm veriler Singapur'da depolanır. Güney Brezilya için tüm veriler Brezilya'da depolanır.

Microsoft, eşleştirilmeyen bölgelerde veya Brezilya Güney ve Güneydoğu Asya'daki veri fabrikaları için sizin adınıza bölgesel yedekleme gerçekleştirmez.

Önemli

Microsoft, Microsoft'un yönettiği yük devretmeyi tetikler. Büyük olasılıkla önemli bir gecikmeden sonra ortaya çıkar ve en iyi çaba temelinde yapılır. Bu işlemin bazı özel durumları da vardır. Veri fabrikası meta verilerinizde bazı kayıplar yaşayabilirsiniz. Data Factory kaynaklarının yük devretmesi, diğer Azure hizmetlerinin yük devretme zamanından farklı bir zamanda gerçekleşebilir.

Bölge kesintilerine karşı dayanıklı olmanız gerekiyorsa dayanıklılık için özel çok bölgeli çözümlerden birini kullanmayı göz önünde bulundurun.

IR'ların yük devretmesi

Yük devretme hazırlıkları yaparken, kullandığınız IR'ye bağlı olarak bazı ek hususlar göz önünde bulundurulabilir.

• Azure IR'yi kullandığı bölgeyi otomatik olarak çözümlemek için yapılandırabilirsiniz. Bölge otomatik olarak çözümlenmek üzere ayarlandıysa ve birincil bölgede bir kesinti varsa Azure IR otomatik olarak eşleştirilmiş bölgeye devredilir. Bu yük devretme sınırlamalara tabidir. IR kurulumunda etkinlik uygulamanız veya dağıtmanız için Azure IR bölgesini yapılandırmak için bölgeyi otomatik çözümle olarak ayarlayın.

• Azure-SSIS IR yük devretmesi, veri fabrikasının Microsoft tarafından yönetilen yük devretmesinden ayrı olarak yönetilir. Daha fazla bilgi için bkz. Dayanıklılık için özel çok bölgeli çözümler.

• SHIR , sorumlu olduğunuz altyapı üzerinde çalıştığından, Microsoft tarafından yönetilen yük devretme SHIR'ler için geçerli değildir. Daha fazla bilgi için bkz. Dayanıklılık için özel çok bölgeli çözümler.

Yük devretme sonrası yeniden yapılandırma

Microsoft tarafından yönetilen bir yük devretme tamamlandıktan sonra, eşleştirilmiş bölgede Data Factory işlem hattınıza erişebilirsiniz. Ancak yük devretme tamamlandıktan sonra IR'ler veya diğer bileşenler için yeniden yapılandırma gerçekleştirmeniz gerekebilir. Bu işlem ağ yapılandırmasını yeniden kurmayı içerir.

Dayanıklılık için özel çok bölgeli çözümler

İşlem hatlarınızın bölgesel kesintilere dayanıklı olması gerekiyorsa ve yük devretme işlemi üzerinde denetime ihtiyacınız varsa meta veri temelli işlem hattı kullanmayı göz önünde bulundurun.

• Meta verilerinizde yapılan değişiklikleri izlemek ve denetlemek için Data Factory için kaynak denetimini ayarlayın. İşlem hatları, veri kümeleri, bağlı hizmetler ve tetikleyiciler için meta veri JSON dosyalarınıza erişmek için bu yaklaşımı kullanabilirsiniz. Data Factory, Azure DevOps ve GitHub gibi farklı Git depo türlerini destekler. Daha fazla bilgi için bkz. Data Factory'de kaynak denetimi.

• İşlem hattı meta verilerinizi ve dağıtımlarınızı yönetmek için Azure DevOps gibi sürekli tümleştirme ve sürekli teslim (CI/CD) sistemi kullanın. İŞLEMleri başka bir bölgedeki bir örneğe hızla geri yüklemek için CI/CD kullanabilirsiniz. Bölge kullanılamıyorsa, el ile veya otomasyon aracılığıyla yeni bir veri fabrikası sağlayabilirsiniz. Yeni veri fabrikası oluşturulduktan sonra, mevcut Git deposundan işlem hatlarınızı, veri kümelerinizi ve bağlı hizmetler JSON'ınızı geri yükleyebilirsiniz. Daha fazla bilgi için bkz. Data Factory ve Azure Synapse Analytics işlem hatları için iş sürekliliği ve olağanüstü durum kurtarma (BCDR).

Kullandığınız IR'ye bağlı olarak, dikkat edilmesi gereken başka noktalar da olabilir.

• Azure-SSIS IR , Azure SQL Veritabanı'nda veya Azure SQL Yönetilen Örneği'nde depolanan bir veritabanını kullanır. Bu veritabanı için coğrafi kopyalama veya geçiş grubu yapılandırabilirsiniz. Azure-SSIS veritabanı, okuma-yazma erişimine sahip bir birincil Azure bölgesinde bulunur. Veritabanı sürekli olarak salt okunur erişime sahip ikincil bir bölgeye çoğaltılır. Birincil bölge kullanılamıyorsa, yük devretme işlemi tetiklenir, bu da birincil ve ikincil veritabanlarının rollerini değiştirmesine neden olur.

  Ayrıca, Azure SQL Veritabanı veya SQL Yönetilen Örneği yük devretme grubuyla eşzamanlı çalışan hazır duruma getirilmiş Azure SSIS IR çiftini yapılandırabilirsiniz.

  Daha fazla bilgi için BCDR için Azure-SSIS IR Yapılandırma sayfasına bakın.

• SHIR , yönettiğiniz altyapı üzerinde çalışır. SHIR bir Azure VM'ye dağıtıldıysa, VM'nin başka bir bölgeye yük devretmesini tetikleme amacıyla Azure Site Recovery'yi kullanabilirsiniz.

Yedekleme ve geri yükleme

Data Factory, kaynak denetimi tümleştirmesi aracılığıyla CI/CD'yi destekler, böylece bir veri fabrikası örneğinin meta verilerini yedekleyebilirsiniz. CI/CD işlem hatları bu meta verileri sorunsuz bir şekilde yeni bir ortama dağıtır. Daha fazla bilgi için bkz. Data Factory'de CI/CD.

Hizmet düzeyi sözleşmesi

Azure hizmetleri için hizmet düzeyi sözleşmesi (SLA), her hizmetin beklenen kullanılabilirliğini ve bu kullanılabilirlik beklentisini elde etmek için çözümünüzün karşılaması gereken koşulları açıklar. Daha fazla bilgi için çevrimiçi hizmetler için SLA'lar sayfasına bakın.

Data Factory aşağıdakiler için ayrı kullanılabilirlik SLA'ları sağlar:

• Veri fabrikanızı yönetmek için yaptığınız API çağrılarının başarı oranı.
• Yürütülmeye başlayan etkinlik çalıştırmalarının sayısı.

Etkinlik çalıştırmalarının kısa süreli olarak ertelenmesine izin verilir ve işi yürütmek için tüm bağımlılıkların yerine getirilmesi gerekir.

İlgili içerik

• Azure'da güvenilirlik