Aracılığıyla paylaş

Azure'da toplu işlem teknolojisi seçme

  • Makale

Büyük veri çözümleri genellikle genel veri işleme çözümüne katkıda bulunan ayrık toplu işleme görevlerinden oluşur. İçgörülere anında erişim gerektirmeyen iş yükleri için toplu işlem kullanabilirsiniz. Toplu işleme gerçek zamanlı işleme gereksinimlerini tamamlayabilir. Karmaşıklığı dengelemek ve genel uygulamanız için maliyeti azaltmak için toplu işlemeyi de kullanabilirsiniz.

Toplu işleme altyapılarının temel gereksinimi, büyük hacimli verileri işlemek için hesaplamaların ölçeğini genişletmektir. Gerçek zamanlı işlemeden farklı olarak, toplu işlemenin gecikme süreleri veya dakika veya saat cinsinden bir sonuç olarak veri alımı ile işlem arasındaki süre vardır.

Toplu işleme için bir teknoloji seçin

Microsoft, toplu işlem yapmak için kullanabileceğiniz çeşitli hizmetler sunar.

Microsoft Fabric

Microsoft Fabric , kuruluşlar için hepsi bir arada analiz ve veri platformudur. Uçtan uca analiz çözümünü sağlama, yönetme ve yönetme yöntemlerinizi basitleştiren bir hizmet olarak yazılım teklifidir. Doku, veri taşıma, işleme, alma, dönüştürme ve raporlama işlemlerini işler. Toplu işleme için kullandığınız doku özellikleri arasında veri mühendisliği, veri ambarları, göl evleri ve Apache Spark işleme yer alır. Doku'daki Azure Data Factory, göl binalarını da destekler. Geliştirmeyi basitleştirmek ve hızlandırmak için yapay zeka destekli Copilot'ı etkinleştirebilirsiniz.

  • Diller: R, Python, Java, Scala ve SQL

  • Güvenlik: Yönetilen sanal ağ ve OneLake rol tabanlı erişim denetimi (RBAC)

  • Birincil depolama: Kısayolları ve yansıtma seçeneklerini içeren OneLake

  • Spark: Önceden doldurulan başlangıç havuzu ve önceden tanımlanmış düğüm boyutlarına sahip özel spark havuzu

Azure Synapse Analytics

Azure Synapse Analytics , hem SQL hem de Spark teknolojilerini bir çalışma alanının tek bir yapısı altında bir araya getiren bir kurumsal analiz hizmetidir. Azure Synapse Analytics güvenliği, idareyi ve yönetimi basitleştirir. Her çalışma alanında uçtan uca iş akışları yazmak için kullanabileceğiniz tümleşik veri işlem hatları vardır. Ayrıca büyük ölçekli analizler için ayrılmış bir SQL havuzu, gölü doğrudan sorgulamak için kullanabileceğiniz sunucusuz bir SQL uç noktası ve dağıtılmış veri işleme için spark çalışma zamanı da sağlayabilirsiniz.

  • Diller: Python, Java, Scala ve SQL

  • Güvenlik: Azure Data Lake Storage'da yönetilen sanal ağ, RBAC ve erişim denetimi ve depolama erişim denetimi listeleri

  • Birincil depolama: Data Lake Storage ve diğer kaynaklarla tümleştirme

  • Spark: Önceden tanımlanmış düğüm boyutlarıyla özel Spark yapılandırma kurulumu

Azure Databricks

Azure Databricks , Spark tabanlı bir analiz platformudur. Açık kaynak Spark'ın üzerine kurulu zengin ve premium Spark özelliklerine sahiptir. Azure Databricks, Azure hizmetlerinin geri kalanıyla tümleşen bir Microsoft hizmetidir. Spark kümesi dağıtımları için ek yapılandırmalar içerir. Unity Kataloğu, Azure Databricks Spark nesnelerinin idaresini basitleştirmeye yardımcı olur.

  • Diller: R, Python, Java, Scala ve Spark SQL.

  • Güvenlik: Microsoft Entra Id ile kullanıcı kimlik doğrulaması.

  • Birincil depolama: Azure Blob Depolama, Data Lake Storage, Azure Synapse Analytics ve diğer hizmetlerle yerleşik tümleştirme. Daha fazla bilgi için bkz . Veri kaynakları.

Diğer avantajlar şunlardır:

  • İşbirliği ve veri keşfi için web tabanlı not defterleri .

  • Hızlı küme başlangıç süreleri, otomatik sonlandırma ve otomatik ölçeklendirme.

  • GPU özellikli kümeler için destek.

Anahtar seçim ölçütleri

Toplu işlemeye yönelik teknolojinizi seçmek için aşağıdaki soruları göz önünde bulundurun:

  • Yönetilen hizmet mi istiyorsunuz yoksa kendi sunucularınızı mı yönetmek istiyorsunuz?

  • Toplu işleme mantığını bildirimli veya kesin olarak yazmak istiyor musunuz?

  • Seri seri işleme gerçekleştiriyor musunuz? Evet ise, bir kümeyi otomatik olarak sonlandırma olanağı sağlayan veya her toplu iş için fiyatlandırma modellerine sahip seçenekleri göz önünde bulundurun.

  • Başvuru verilerini aramak için toplu işlemle birlikte ilişkisel veri depolarını sorgulamanız mı gerekiyor? Evet ise, dış ilişkisel depoları sorgulama olanağı sağlayan seçenekleri göz önünde bulundurun.

Yetenek matrisi

Aşağıdaki tablolarda hizmetler arasındaki özelliklerdeki önemli farklar özetlenmektedir.

Genel özellikler

Özellik Fabric Azure Synapse Analytics Azure Databricks
Hizmet olarak yazılım Evet1 Hayı Hayır
Yönetilen hizmet Hayır Evet Yes
İlişkisel veri deposu Yes Evet Yes
Fiyatlandırma modeli Kapasite birimleri SQL havuzu veya küme saati Azure Databricks birim 2 ve küme saati

[1] Atanan Yapı kapasitesi.

[2] Azure Databricks birimi saatte bir işleme özelliğidir.

Diğer özellikler

Özellik Fabric Azure Synapse Analytics Azure Databricks
Otomatik ölçeklendirme Hayır Hayır Evet
Ölçeği genişletme ayrıntı düzeyi Doku Başına SKU Küme başına veya SQL havuzu başına Küme başına
Verilerin bellek içi önbelleğe alınmasını sağlama Hayır Evet Yes
Dış ilişkisel depolardan sorgu Yes Hayı Evet
Kimlik Doğrulaması Microsoft Entra Kimlik SQL veya Microsoft Entra Kimliği Microsoft Entra Kimlik
Denetim Evet Evet Yes
Satır düzeyi güvenlik Yes Evet 1 Yes
Güvenlik duvarlarını destekler Yes Evet Yes
Dinamik veri maskeleme Yes Evet Yes

[1] Yalnızca filtre koşulu. Daha fazla bilgi için bkz . Satır düzeyi güvenlik.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazarlar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar