Aracılığıyla paylaş

Azure'da toplu işlem teknolojisi seçme

Büyük veri çözümleri genellikle genel veri işleme çözümüne katkıda bulunan ayrık toplu işleme görevlerinden oluşur. İçgörülere anında erişim gerektirmeyen iş yükleri için toplu işlem kullanabilirsiniz. Toplu işleme gerçek zamanlı işleme gereksinimlerini tamamlayabilir. Karmaşıklığı dengelemek ve genel uygulamanız için maliyeti azaltmak için toplu işlemeyi de kullanabilirsiniz.

Toplu işleme altyapılarının temel gereksinimi, büyük hacimli verileri işlemek için hesaplamaların ölçeğini genişletmektir. Gerçek zamanlı işlemenin aksine, toplu işlemede verinin alınması ile bir sonucun hesaplanması arasındaki bekleme süreleri dakika veya saat cinsinden olabilmektedir.

Toplu işleme için bir teknoloji seçin

Microsoft, toplu işlem yapmak için kullanabileceğiniz çeşitli hizmetler sunar.

Microsoft Fabric

Microsoft Fabric , kuruluşlar için hepsi bir arada analiz ve veri platformudur. Hizmet olarak yazılım sunumu, uçtan uca analiz çözümünüzü sağlama, yönetme ve yönetişim süreçlerinizi basitleştirir. Platform, veri taşıma, işleme, alma, dönüştürme ve raporlama işlemlerini gerçekleştirir. Toplu işleme için kullandığınız alt yapı özellikleri arasında veri mühendisliği, veri ambarları, veri gölleri ve Apache Spark işleme yer alır. Fabric'deki Azure Data Factory, göl evlerini de destekler. Geliştirmeyi basitleştirmek ve hızlandırmak için yapay zeka destekli Copilot'ı etkinleştirebilirsiniz.

  • Diller: R, Python, Java, Scala ve SQL

  • Güvenlik: Yönetilen sanal ağ ve OneLake rol tabanlı erişim denetimi (RBAC)

  • Birincil depolama: Kısayolları ve yansıtma seçeneklerini içeren OneLake

  • Spark: Önceden doldurulan başlangıç havuzu ve önceden tanımlanmış düğüm boyutlarına sahip özel spark havuzu

Azure Synapse Analytics

Azure Synapse Analytics , hem SQL hem de Spark teknolojilerini bir çalışma alanının tek bir yapısı altında bir araya getiren bir kurumsal analiz hizmetidir. Azure Synapse Analytics güvenliği, idareyi ve yönetimi basitleştirir. Her çalışma alanında uçtan uca iş akışları yazmak için kullanabileceğiniz tümleşik veri işlem hatları vardır. Ayrıca büyük ölçekli analizler için ayrılmış bir SQL havuzu, gölü doğrudan sorgulamak için kullanabileceğiniz sunucusuz bir SQL uç noktası ve dağıtılmış veri işleme için spark çalışma zamanı da sağlayabilirsiniz.

  • Diller: Python, Java, Scala ve SQL

  • Güvenlik: Azure Data Lake Storage'da yönetilen sanal ağ, RBAC ve erişim denetimi ve depolama erişim denetimi listeleri

  • Birincil depolama: Data Lake Storage ve diğer kaynaklarla entegre olur.

  • Spark: Önceden tanımlanmış düğüm boyutlarıyla özel Spark yapılandırma kurulumu

Azure Databricks

Azure Databricks , Spark tabanlı bir analiz platformudur. Açık kaynak Spark'ın üzerine kurulu zengin ve premium Spark özelliklerine sahiptir. Azure Databricks, Azure hizmetlerinin geri kalanıyla tümleşen bir Microsoft hizmetidir. Spark kümesi dağıtımları için ek yapılandırmalar içerir. Unity Kataloğu, Azure Databricks Spark nesnelerinin idaresini basitleştirmeye yardımcı olur.

  • Diller: R, Python, Java, Scala ve Spark SQL.

  • Güvenlik: Microsoft Entra Id ile kullanıcı kimlik doğrulaması.

  • Birincil depolama: Azure Blob Depolama, Data Lake Storage, Azure Synapse Analytics ve diğer hizmetlerle yerleşik tümleştirme. Daha fazla bilgi için bkz . Veri kaynakları.

Diğer avantajlar şunlardır:

  • İşbirliği ve veri keşfi için web tabanlı not defterleri .

  • Hızlı küme başlangıç süreleri, otomatik sonlandırma ve otomatik ölçeklendirme.

  • GPU özellikli kümeler için destek.

Anahtar seçim ölçütleri

Toplu işlemeye yönelik teknolojinizi seçmek için aşağıdaki soruları göz önünde bulundurun:

  • Yönetilen hizmet mi istiyorsunuz yoksa kendi sunucularınızı mı yönetmek istiyorsunuz?

  • Toplu işleme mantığını bildirimli veya kesin olarak yazmak istiyor musunuz?

  • Seri işlemleri kısa aralıklarla, toplu halde mi gerçekleştiriyorsunuz? Evet ise, bir kümeyi otomatik olarak sonlandırma olanağı sağlayan veya her toplu iş için fiyatlandırma modellerine sahip seçenekleri göz önünde bulundurun.

  • Başvuru verilerini aramak için toplu işlemle birlikte ilişkisel veri depolarını sorgulamanız mı gerekiyor? Evet ise, dış ilişkisel depoları sorgulama olanağı sağlayan seçenekleri göz önünde bulundurun.

Yetenek matrisi

Aşağıdaki tablolarda hizmetler arasındaki özelliklerdeki önemli farklar özetlenmektedir.

Genel özellikler

Yetenek Kumaş Azure Synapse Analytics Azure Databricks
Hizmet olarak yazılım Evet1 Hayı Hayı
Yönetilen hizmet Hayı Evet Evet
İlişkisel veri deposu Evet Evet Evet
Fiyatlandırma modeli Kapasite birimleri SQL havuzu veya küme çalışma saati Azure Databricks birim 2 ve küme saati

[1] Atanan Kumaş kapasitesi.

[2] Azure Databricks birimi saatte bir işleme özelliğidir.

Diğer özellikler

Yetenek Kumaş Azure Synapse Analytics Azure Databricks
Otomatik ölçeklendirme Hayı Hayı Evet
Ölçek genişletme ayrıntı seviyesi Kumaş Başına SKU Küme başına veya SQL havuzu başına Küme başına
Verilerin bellek içi önbelleğe alınmasını sağlama Hayı Evet Evet
Dış ilişkisel depolardan sorgu Evet Hayı Evet
Kimlik Doğrulaması Microsoft Entra Kimlik SQL veya Microsoft Entra Kimliği Microsoft Entra Kimlik
Denetim Evet Evet Evet
Satır düzeyi güvenlik Evet Evet 1 Evet
Güvenlik duvarlarını destekler Evet Evet Evet
Dinamik veri maskeleme Evet Evet Evet

[1] Yalnızca filtre koşulu. Daha fazla bilgi için bkz . Satır düzeyi güvenlik.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazarlar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar