Azure Data Lake ile veri tümleştirme çözümü tasarlama

Tamamlandı

Veri gölü, genellikle blob veya dosya olan doğal biçiminde depolanmış verilerin deposudur. Azure Data Lake Depolama, Azure'da yerleşik büyük veri analizi için kapsamlı, ölçeklenebilir ve uygun maliyetli bir veri gölü çözümüdür. Azure Data Lake Storage, verilerinizdeki içgörüleri hızlıca tanımlamanıza yardımcı olmak için bir dosya sistemini bir depolama platformu ile bir araya getirir. Çözüm, analiz iş yükleri için iyileştirmeler sağlamak üzere Azure Blob Depolama özelliklerine dayalıdır. Bu tümleştirme, Azure Depolama'nın analiz performansı, yüksek kullanılabilirlik, güvenlik ve dayanıklılık özelliklerini etkinleştirir. Bu videoda gösterim sağlanmaz.

Not

Hizmetin geçerli uygulaması Azure Data Lake Storage 2. Nesil.

Azure Data Lake Storage hakkında bilinmesi gerekenler

Azure Data Lake Storage'ı daha iyi anlamak için aşağıdaki özellikleri inceleyelim.

• Azure Data Lake Storage, verilerin yerel biçimini kullanarak her tür veriyi depolayabilir. Azure Data Lake Storage, tüm veri biçimleri ve büyük veri boyutları için destekle yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verilerle çalışabilir.
• Çözüm öncelikle Hadoop ve veri erişim katmanı olarak Apache Hadoop Dağıtılmış Dosya Sistemi'ni (HDFS) kullanan tüm çerçevelerle çalışacak şekilde tasarlanmıştır. Veri erişim katmanı olarak HDFS kullanan veri çözümleme çerçeveleri doğrudan erişebilir.
• Azure Data Lake Storage, giriş ve çıkış yoğunluklu analiz ve veri taşıma için yüksek aktarım hızını destekler.
• Azure Data Lake Storage erişim denetimi modeli hem Azure rol tabanlı erişim denetimini (RBAC) hem de UNIX için Taşınabilir İşletim Sistemi Arabirimi (POSIX) erişim denetim listelerini (ACL) destekler.
• Azure Data Lake Storage, Azure Blob çoğaltma modellerini kullanır. Bu modeller, yerel olarak yedekli depolama (LRS) ile tek bir veri merkezinde veri yedekliliği sağlar.
• Azure Data Lake Storage yüksek depolama alanı sunar ve analiz için çok sayıda veri türünü kabul eder.
• Azure Data Lake Storage Azure Blob Depolama düzeylerinde fiyatlendirilir.

Azure Data Lake Storage nasıl çalışır?

Azure Data Lake Storage'ı kullanmanın üç önemli adımı vardır:

1. Verileri alma. Azure Data Lake Storage birçok farklı veri alımı yöntemi sunar:

   • Planlanmamış veriler için AzCopy, Azure CLI, PowerShell ve Azure Depolama Gezgini gibi araçları kullanabilirsiniz.
   • İlişkisel veriler için Azure Data Factory hizmeti kullanılabilir. Azure Cosmos DB, SQL Veritabanı, Azure SQL Yönetilen örnekleri ve daha fazlası gibi herhangi bir kaynaktan veri aktarabilirsiniz.
   • Akış verileri için Azure HDInsight üzerinde Apache Storm, Azure Stream Analytics vb. araçları kullanabilirsiniz.

   Aşağıdaki diyagramda, planlanmamış verilerin ve akış verilerinin Azure Data Lake Storage'da toplu olarak nasıl alınıp planlanmamış olarak alınıyor olduğu gösterilmektedir.

   

2. Depolanan verilere erişin. Verilerinize erişmenin en kolay yolu Azure Depolama Gezgini kullanmaktır. Depolama Gezgini, Azure Data Lake Storage verilerinize erişmek için grafik kullanıcı arabirimine (GUI) sahip tek başına bir uygulamadır. Verilere erişmek için PowerShell, Azure CLI, HDFS CLI veya diğer programlama dili SDK'larını da kullanabilirsiniz.

3. Erişim denetimini yapılandırın. Yetkilendirme mekanizması uygulayarak Azure Data Lake Storage'da depolanan verilere kimlerin erişebileceğini denetleme. Azure RBAC veya ACL'yi seçebilirsiniz.

İş senaryosu

Tailwind Traders web siteleri, Satış Noktası (POS) sistemleri, sosyal medya siteleri ve Nesnelerin İnterneti (IoT) cihazları dahil olmak üzere birden fazla veri kaynağına sahiptir. Şirket, tüm iş verilerini analiz etmek için Azure'ı kullanmakla ilgileniyor. Azure'ın mevcut BI sistemlerini nasıl geliştirebileceğine ilişkin rehberlik sağlamakla görevlendirildiniz. Azure depolama özelliklerinin şirketin iş zekası çözümüne nasıl değer katabileceği konusunda takıma öneride bulunmalısınız. Veri gereksinimlerini karşılamak için Azure Data Lake Storage'ı önermeyi planlıyorsunuz. Data Lake Storage, yüksek performanslı büyük veri analizine bakış ile çok büyük miktarlarda yapılandırılmamış veriyi yükleyip depolayabileceğiniz bir depo sağlar.

Şimdi Azure Data Lake Storage'ın kuruluşun büyük veri gereksinimleri için nasıl doğru seçim olabileceğini gözden geçirelim.

Senaryo	Çözüm
Büyük hacimli verileri yönetmek için bulutta bir veri ambarı sağlayın.	Azure Data Lake Storage, Azure platformundaki sanal donanım üzerinde çalışır. Depolama, büyük ücretlere neden olmadan ölçeklenebilir, hızlı ve güvenilirdir. Depolama maliyetlerini işlem maliyetlerinden ayırır. Veri hacminiz arttıkça yalnızca depolama gereksinimleriniz değişir.
JSON dosyaları, CSV, günlük dosyaları veya diğer biçimler gibi çeşitli veri türleri koleksiyonunu destekler.	Azure Data Lake Storage, tüm veri biçimlerinizi (ham veriler dahil) tek bir konumda depolayarak kuruluşunuz için veri demokratikleştirmesini sağlar. Kullanıcılarınız veri silolarını ortadan kaldırarak Azure Veri Gezgini gibi araçları kullanarak depolama hesaplarındaki her veri öğesine erişebilir ve bunlarla çalışabilir.
Gerçek zamanlı veri alımını ve depolamayı etkinleştirin.	Azure Data Lake Storage doğrudan Azure HDInsight, Azure IoT Hub, Azure Event Hubs veya Azure Stream Analytics'te Apache Storm örneğinden gerçek zamanlı verileri alabilir. Ayrıca yarı yapılandırılmış verilerle de çalışır ve tüm gerçek zamanlı verilerinizi depolama hesabınıza almanızı sağlar.

Azure Blob Depolama veya Azure Data Lake'i seçerken dikkat edilmesi gerekenler

Aşağıdaki tabloda, Azure Blob Depolama kullanımına yönelik depolama çözümü ölçütleri ile Azure Data Lake karşılaştırması yer alır. Ölçütleri gözden geçirin ve Tailwind Traders için en uygun çözümü göz önünde bulundurun.

Karşılaştır	Azure Data Lake	Azure Blob Saklama Alanı
Veri türleri	Büyük hacimli metin verilerini depolamak için iyi	Fotoğraflar, videolar ve yedeklemeler gibi yapılandırılmamış metin tabanlı olmayan verileri depolamak için idealdir
Coğrafi yedeklilik	Veri çoğaltmayı el ile yapılandırmanız gerekir	Coğrafi olarak yedekli depolamayı varsayılan olarak sağlar
Ad Alanları	Hiyerarşik ad alanlarını destekler	Düz ad alanlarını destekler
Hadoop uyumluluğu	Hadoop hizmetleri Azure Data Lake'te depolanan verileri kullanabilir	Uygulamalar ve çerçeveler Azure Blob Dosya Sistemi Sürücüsü'ni kullanarak Azure Blob Depolama'deki verilere erişebilir
Güvenlik	Ayrıntılı erişimi destekler	Ayrıntılı erişim desteklenmiyor