Bu makale, tweet'lerde kamuoyuna bakış için bir çözüm sunar. Amaç, açıklama kümelerini ve popüler konuların çıkışını veren bir dönüştürme işlem hattı oluşturmaktır.
Apache®, Apache NiFi, Apache Hadoop, Apache Hive ve Apache Airflow, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki tescilli ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Mimari
Bu diyagramın PowerPoint dosyasını indirin.
Alım işlem hattı
Twitter alım işlem hattı dört aşamadan oluşur.
Veri toplama ve alma
Aşağıdaki bileşenler tweet'leri alın:
- Hadoop Dağıtılmış Dosya Sistemi (HDFS) (1)
- Azure Data Factory aracılığıyla Azure Synapse Analytics (4)
- Azure Blob Depolama (4)
- Azure Cosmos DB (4)
Veri işleme
Veri işleme sırasında:
- Tweet verilerini içeren JSON dosyası CSV biçimine (2) dönüştürülür.
- Apache Hive ve Azure Synapse Analytics tabloları oluşturulur (2).
- Yaklaşım analizi tweet'lerde çalışır (2).
- Azure Bilişsel Hizmetler görüntüleri işler ve insan yüzlerini tanımlar (2).
Verileri depolama
Aşağıdaki bileşenler verileri depolar:
- HDFS ve Hive (3)
- Azure Synapse Analytics (3)
- Blob Depolama (3)
- Azure Cosmos DB (7)
Verileri görselleştirme
Power BI panoları aşağıdaki kaynaklardan verileri görüntüler:
- Hive (5)
- Azure Synapse Analytics (6)
- Azure Cosmos DB (8)
Veri akışı
Bu diyagramın PowerPoint dosyasını indirin.
Çözümün veri akışı üç ana bölümden oluşur.
Tweet alma
JSON biçimindeki tweet verilerini içeren dosya CSV biçimine dönüştürülür. Öznitelikler, CSV oluşturma için değişken olarak kullanılmak üzere JSON verilerinden ayıklanır.
Görüntüleri işleme
Yaklaşım analizi, resim içeren tweet'lerde çalıştırılır. Görüntüler toplandıktan sonra, yüz algılama işlemleri görüntüler üzerinde çalışır. Tanınan tüm insan yüzleri HDInsight'ta depolanır.
Yaklaşım analizini çalıştırma
Alınan iletilerde Doğal Dil Araç Seti (NLTK) algoritması çalışır. Yaklaşım analizi, tweet'lerdeki metin üzerinde çalışır. Sonuçlar Hive tablosunda CSV biçiminde depolanır ve JSON verileri Azure Cosmos DB'de depolanır.
Bileşenler
Bu diyagramın PowerPoint dosyasını indirin.
Data Factory , çeşitli kaynaklar ve havuzlar için toplu dönüştürme hizmetleri sağlar. Data Factory, büyük veri işlemenin önemli bir bileşeni olarak ayıklama, dönüştürme, yükleme (ETL) iş yüklerini basitleştirmeye yardımcı olur. Data Factory, büyük veri tümleştirmesinin karmaşıklıklarını ve ölçek zorluklarını da ele alır.
NiFi , yazılım sistemleri arasında veri akışını otomatikleştirir. NiFi, güvenlik özellikleri, genişletilebilir bir mimari ve esnek bir ölçeklendirme modeli sunar. Birden çok kaynağı ve farklı işlemci türlerine sahip birden çok havuzu işler. NiFi işlevselliği şunları içerir:
- Akış dönüşümlerini çalıştırma.
- Ayrılmış sistemleri bulutta Bağlan.
- Azure Depolama ve diğer veri depolarına veri taşıma.
- Kenardan buluta ve hibrit bulut uygulamalarını Azure hizmetleriyle tümleştirme.
- Güçlü veri başarısı özellikleri sağlama.
HDInsight , şirket içi ortamlar için veri ve analiz için bir Hadoop platformudur. HDInsight verileri gerçek zamanlı ve toplu olarak güvenli bir şekilde alabilir, depolayabilir ve işleyebilir. HDInsight, birden çok kaynaktan gelen büyük veri kümelerinin dağıtılmış depolama ve işlenmesine yönelik açık kaynak bir çerçeve olan Hortonworks Veri Platformu (HDP) üzerine kurulmuştur.
Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri için bir analiz hizmetidir. Kolay erişim için verileri bulutta merkezileştirir.
Azure Cosmos DB , modern uygulama geliştirme için tam olarak yönetilen bir NoSQL veritabanıdır. Azure Cosmos DB, tek basamaklı milisaniye yanıt süreleri ve otomatik ve anında ölçeklenebilirlik sağlayarak her ölçekte hızı garanti eder. Hizmet düzeyi sözleşmesi (SLA) destekli kullanılabilirliği ve kurumsal düzeyde güvenlik, iş sürekliliği sağlar.
Bilişsel Hizmetler , yapay zeka işlevselliği sağlayan bulut tabanlı hizmetlerden oluşur. REST API'leri ve istemci kitaplığı SDK'ları, yapay zeka veya veri bilimi becerilerine sahip olmasa bile uygulamalarda bilişsel zeka oluşturmanıza yardımcı olur.
Power BI , Microsoft Power Platform'un bir parçası olan bir iş analizi hizmetidir. Power BI etkileşimli görselleştirmeler ve iş zekası özellikleri sağlar. Kullanımı kolay arabirimi, kullanıcıların kendi raporlarını ve panolarını oluşturmasını mümkün kılar.
Alternatifler
Çoğu çözüm bileşeni için alternatifleri değiştirebilirsiniz. Örneğin:
- HDInsight kümesi yerine Cloudera kümesi kullanabilirsiniz.
- Data Factory yerine Azure Databricks'i kullanabilirsiniz. Azure Databricks verileri dönüştürebilir ve depolayabilir, ancak düzenleyici olarak da kullanabilirsiniz. Diğer bir alternatif de her iki hizmeti de kullanmaktır. Data Factory kullanan birçok çözüm, Azure Databricks'i de kullanır.
- Nifi yerine Apache Airflow'ı ETL betiklerini çalıştıran bir iş akışı aracı olarak kullanabilirsiniz.
- Ana dosya deponuz için Azure Cosmos DB yerine Elasticsearch kullanabilirsiniz.
- Pano hizmetleri için Power BI yerine Kibana kullanabilirsiniz.
Senaryo ayrıntıları
Markalama şirketler için önemlidir, çünkü bir şirketin değeri pazarın o şirketin imajına bağlıdır. Şirketiniz, reaktif kararlar yerine tahmine dayalı, veri odaklı kararlar almak için harekete geçtikçe, neler olduğunu gerçek zamanlı olarak izlemeniz ve anlamanız gerekir. Rekabet avantajı elde etmek için sosyal medya analizini kullanarak kamuoyunu tanımlamanız ve anlamanız gerekir. Tweet'lerdeki yaklaşımı tanımlamanın yanı sıra yüzleri ve resimleri de tanımayı seçebilirsiniz.
Bu çözüm, tweet'lerdeki kamuoyunu ölçer. Dönüştürme işlem hattı, açıklama kümelerini ve popüler konuları oluşturur. İşlem hattı, Apache NiFi ve Azure HDInsight gibi açık kaynak çözümleri Azure yaklaşım analizi ve yüz tanıma hizmetleriyle sorunsuz bir şekilde tümleştirerek değer sunar. Çözüm çok çeşitli sektörler için geçerlidir; sosyal ağları izlemek tek bir sektörle sınırlı değildir.
Olası kullanım örnekleri
Bu çözüm, aşağıdakiler dahil olmak üzere sosyal ağlarda markalaşmayı izleyen tüm alanlar için idealdir:
- Pazarlama
- İletişim
- Siyaset
- Medya ve eğlence
- Gayrimenkuller ve tesisler
- Gıda servisi (seyahat ve konukseverlik)
- Fashion
- Retail
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Kullandığınız işleme araçlarına ve kaynak sayısına bağlı olarak çözümün dönüşümlerini ve görselleştirmelerini kolaylaştırabilirsiniz. Mümkünse, bir havuz ile temel bir işlem hattı kullanmayı göz önünde bulundurun. Birden çok kaynak ve birden çok pano kullanmak yerine bu işlem hattını tek bir panoya aktarın.
Bu örnek, mümkün olduğunca çok hizmet kullanır. Bu yaklaşım sayesinde power BI ile sahip olduğunuz performansı ve deneyimleri çeşitli kaynaklar ve veri türleri arasında karşılaştırabilirsiniz.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
Üretim ortamlarında kurtarma süresi hedefinizi (RTO) ve kurtarma noktası hedefinizi (RPO) değerlendirin. Tüm olağanüstü durum kurtarma kararları ve senaryoları bu değerlendirmelere bağlıdır.
Çoğu durumda, her araç için yüksek kullanılabilirlik hizmetine ihtiyacınız vardır. Etkili olağanüstü durum kurtarma için RTO'nuzu azaltmak önemlidir. Ancak yüksek kullanılabilirliğe sahipseniz olağanüstü durum senaryolarından kaçınabilirsiniz. Örneğin, başka bir bölgede hizmetler oluşturabilirsiniz.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.
Kimlik tabanlı bir sistem ve yerel Azure araçları kullanarak güçlü bir güvenlik duruşu hedefleyin. Dış bileşenler için, güçlü ve güvenli bir iş yükü sağlamak için Kerberos gibi dış kimlik doğrulama araçlarını kullanın.
Maliyet iyileştirme
Uygun maliyetli bir iş yükü oluşturma hakkında bilgi için maliyet iyileştirme sütununa genel bakış'ı gözden geçirin.
Operasyonel mükemmellik
Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel mükemmellik sütununa genel bakış.
Tüm hizmetlerden izleme günlüklerini merkezileştirin. Çözüm, Azure'da yerel olan dış araçları ve araçları kullanır. Tüm sistemlerin bütünsel bir görünümünü elde etmek için tüm araçlardan izleme verilerini tümleştirin.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.
Çözüm birden çok kaynak kullandığından, işlemin bir parçası olarak sıkıştırmayı göz önünde bulundurun. Kullandığınız dosya biçimlerini de göz önünde bulundurun. Azure Cosmos DB'yi, gecikme süresi ve tutarlılık düzeyleri arasında bir denge elde etmek için yapılandırın. Ancak bu bileşenin performans sorununa dönüşmesini önlemek için işlem boyunca Azure Cosmos DB performansını izleyin ve değerlendirin. Gecikme süresini azaltmak için verileri konuma göre bölümleme veya veri kaynaklarını kullandığınız yere yakın bir yere taşımayı göz önünde bulundurun.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- Jose Mendez | Üst Düzey Bulut Çözümü Mimarı
- Katie Novotny | Üst Düzey Bulut Çözümü Mimarı
Sonraki adımlar
- Azure Data Factory nedir?
- Azure HDInsight nedir?
- Azure Blob Depolama’ya giriş
- Azure Synapse Analytics'te ayrılmış SQL havuzu (eski adı SQL DW) nedir?
- Azure Cosmos DB'ye hoş geldiniz
- Azure Bilişsel Hizmetler nedir?
- Power BI nedir?
- Bilişsel Hizmetler oluşturma ve kullanma
- Dil hizmetiyle metni analiz etme
- Yüz Tanıma hizmetiyle yüzleri algılama ve analiz etme