Bu makalede, tweet'lerde kamuoyunun görüşlerini göstermek için bir çözüm sunulur. Amaç, açıklama kümelerini ve popüler konuların çıkışını veren bir dönüştürme işlem hattı oluşturmaktır.
Apache®, Apache NiFi, Apache Hadoop, Apache Hive ve Apache Airflow, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Mimari
Bu diyagramın PowerPoint dosyasını indirin.
Alma işlem hattı
Twitter alım işlem hattı dört aşamadan oluşur.
Veri toplama ve alma
Aşağıdaki bileşenler tweet'leri alın:
- Hadoop Dağıtılmış Dosya Sistemi (HDFS) (1)
- Azure Data Factory aracılığıyla Azure Synapse Analizi (4)
- Azure Blob Depolama (4)
- Azure Cosmos DB (4)
Veri işleme
Veri işleme sırasında:
- Tweet verilerini içeren JSON dosyası CSV biçimine (2) dönüştürülür.
- Apache Hive ve Azure Synapse Analytics tabloları oluşturulur (2).
- Yaklaşım analizi tweet'lerde çalışır (2).
- Azure Bilişsel Hizmetler görüntüleri işler ve insan yüzlerini tanımlar (2).
Verileri depolama
Aşağıdaki bileşenler verileri depolar:
- HDFS ve Hive (3)
- Azure Synapse Analytics (3)
- Blob Depolama (3)
- Azure Cosmos DB (7)
Verileri görselleştirme
Power BI panoları aşağıdaki kaynaklardan verileri görüntüler:
- Hive (5)
- Azure Synapse Analytics (6)
- Azure Cosmos DB (8)
Veri akışı
Bu diyagramın PowerPoint dosyasını indirin.
Çözümün veri akışı üç ana bölümden oluşur.
Tweet alma
JSON biçimindeki tweet verilerini içeren dosya CSV biçimine dönüştürülür. Öznitelikler, CSV oluşturma için değişken olarak kullanmak üzere JSON verilerinden ayıklanır.
Görüntüleri işleme
Yaklaşım analizi, görüntü içeren tweet'lerde çalıştırılır. Görüntüler toplandıktan sonra, görüntüler üzerinde yüz algılama işlemleri çalıştırılır. Tanınan tüm insan yüzleri HDInsight'ta depolanır.
Yaklaşım analizi çalıştırma
Alınan iletilerde Doğal Dil Araç Seti (NLTK) algoritması çalışır. Yaklaşım analizi, tweet'lerdeki metin üzerinde çalışır. Sonuçlar Bir Hive tablosunda CSV biçiminde depolanır ve JSON verileri Azure Cosmos DB'de depolanır.
Bileşenler
Bu diyagramın PowerPoint dosyasını indirin.
Data Factory , çeşitli kaynaklar ve havuzlar için toplu dönüştürme hizmetleri sağlar. Data Factory, büyük veri işlemenin önemli bir bileşeni olarak ayıklama-dönüştürme-yükleme (ETL) iş yüklerini basitleştirmeye yardımcı olur. Data Factory, büyük veri tümleştirmesinin karmaşıklıklarını ve ölçek zorluklarını da ele alır.
NiFi , yazılım sistemleri arasındaki veri akışını otomatikleştirir. NiFi güvenlik özellikleri, genişletilebilir bir mimari ve esnek bir ölçeklendirme modeli sunar. Farklı işlemci türlerine sahip birden çok kaynağı ve birden çok havuzu işler. NiFi işlevselliği şunları içerir:
- Akış dönüştürmelerini çalıştırma.
- Ayrılmış sistemleri buluta bağlama.
- Azure Depolama'ya ve diğer veri depolarına veri taşıma.
- Kenardan buluta ve hibrit bulut uygulamalarını Azure hizmetleriyle tümleştirme.
- Sağlam veri başarısı özellikleri sağlama.
HDInsight , şirket içi ortamlar için veri ve analiz için bir Hadoop platformudur. HDInsight verileri gerçek zamanlı olarak ve toplu olarak güvenli bir şekilde alabilir, depolayabilir ve işleyebilir. HDInsight, birden çok kaynaktan gelen büyük veri kümelerinin dağıtılmış depolanması ve işlenmesi için açık kaynak bir çerçeve olan Hortonworks Veri Platformu (HDP) üzerine kurulmuştur.
Azure Synapse Analytics, veri ambarları ve büyük veri sistemleri için bir analiz hizmetidir. Kolay erişim için verileri bulutta merkezileştirir.
Azure Cosmos DB , modern uygulama geliştirme için tam olarak yönetilen bir NoSQL veritabanıdır. Azure Cosmos DB, tek basamaklı milisaniye yanıt süreleri ve otomatik ve anında ölçeklenebilirlik sağlayarak her ölçekte hızı garanti eder. SLA destekli kullanılabilirliği ve kurumsal düzeyde güvenlik, iş sürekliliği sağlar.
Bilişsel Hizmetler , yapay zeka işlevselliği sağlayan bulut tabanlı hizmetlerden oluşur. REST API'leri ve istemci kitaplığı SDK'ları, yapay zeka veya veri bilimi becerilerine sahip olmasanız bile uygulamalarda bilişsel zeka oluşturmanıza yardımcı olur.
Power BI , Microsoft Power Platform'un bir parçası olan bir iş analizi hizmetidir. Power BI etkileşimli görselleştirmeler ve iş zekası özellikleri sağlar. Kullanımı kolay arabirimi, kullanıcıların kendi raporlarını ve panolarını oluşturmasını mümkün kılar.
Alternatifler
Çoğu çözüm bileşeni için alternatifleri değiştirebilirsiniz. Örneğin:
- HDInsight kümesi yerine Cloudera kümesi kullanabilirsiniz.
- Data Factory yerine Azure Databricks'i kullanabilirsiniz. Azure Databricks verileri dönüştürebilir ve depolayabilir, ancak düzenleyici olarak da kullanabilirsiniz. Diğer bir alternatif de her iki hizmeti de kullanmaktır. Data Factory kullanan birçok çözüm, Azure Databricks'i de kullanır.
- Nifi yerine Apache Airflow'u ETL betikleri çalıştıran bir iş akışı aracı olarak kullanabilirsiniz.
- Ana dosya deponuz için Azure Cosmos DB yerine Elasticsearch kullanabilirsiniz.
- Pano hizmetleri için Power BI yerine Kibana kullanabilirsiniz.
Senaryo ayrıntıları
Markalama şirketler için önemlidir, çünkü bir şirketin değeri, pazarın o şirketin imajına bağlıdır. Şirketiniz reaktif kararlar yerine tahmine dayalı, veri odaklı kararlar almak için ilerledikçe, neler olduğunu gerçek zamanlı olarak izlemeniz ve anlamanız gerekir. Rekabet avantajı elde etmek için sosyal medya analizini kullanarak kamuoyunu tanımlamanız ve anlamanız gerekir. Tweet'lerdeki yaklaşımı tanımlamanın yanı sıra yüzleri ve resimleri tanımayı da seçebilirsiniz.
Bu çözüm, tweet'lerdeki kamuoyunu ölçer. Dönüştürme işlem hattı, açıklama kümelerini ve popüler konuları çıkarır. İşlem hattı, Apache NiFi ve Azure HDInsight gibi açık kaynak çözümleri Azure yaklaşım analizi ve yüz tanıma hizmetleriyle sorunsuz bir şekilde tümleştirerek değer sunar. Çözüm çok çeşitli sektörler için geçerlidir; sosyal ağları izlemek tek bir sektörle sınırlı değildir.
Olası kullanım örnekleri
Bu çözüm, aşağıdakiler dahil olmak üzere sosyal ağlarda markalaşmayı izleyen tüm alanlar için idealdir:
- Marketing
- İletişim
- Siyaset
- Medya ve eğlence
- Emlak ve tesisler
- Yemek servisi (seyahat ve misafirperverlik)
- Moda
- Retail
Dikkat edilmesi gerekenler
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Microsoft Azure Well-Architected Framework.
kullandığınız işleme araçlarına ve kaynak sayısına bağlı olarak, çözümün dönüşümlerini ve görselleştirmelerini kolaylaştırabilirsiniz. Mümkünse, bir havuz ile temel bir işlem hattı kullanmayı göz önünde bulundurun. Birden çok kaynak ve birden çok pano kullanmak yerine bu işlem hattını tek bir panoya akışla aktarın.
Bu örnekte mümkün olduğunca çok hizmet kullanılır. Bu yaklaşım sayesinde Power BI ile sahip olduğunuz performansı ve deneyimleri çeşitli kaynaklarda ve veri türlerinde karşılaştırabilirsiniz.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
Üretim ortamlarında kurtarma süresi hedefinizi (RTO) ve kurtarma noktası hedefinizi (RPO) değerlendirin. Tüm olağanüstü durum kurtarma kararları ve senaryoları bu değerlendirmelere bağlıdır.
Çoğu durumda, her araç için bir yüksek kullanılabilirlik hizmetine ihtiyacınız vardır. Etkili olağanüstü durum kurtarma için RTO'nuzu azaltmanız önemlidir. Ancak yüksek kullanılabilirliğe sahipseniz olağanüstü durum senaryolarından kaçınabilirsiniz. Örneğin, başka bir bölgede hizmetler oluşturabilirsiniz.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz. Güvenlik sütununa genel bakış.
Kimlik tabanlı bir sistem ve yerel Azure araçları kullanarak güçlü bir güvenlik duruşu hedefleyin. Dış bileşenlerde, güçlü ve güvenli bir iş yükü sağlamak için Kerberos gibi dış kimlik doğrulama araçlarını kullanın.
Maliyet iyileştirmesi
Uygun maliyetli bir iş yükü oluşturma hakkında bilgi için maliyet iyileştirme sütununa genel bakış bölümünü gözden geçirin.
Operasyonel Mükemmellik
Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz. Operasyonel mükemmellik sütununa genel bakış.
Tüm hizmetlerden izleme günlüklerini merkezileştirin. Çözüm, Azure'da yerel olan dış araçları ve araçları kullanır. Tüm sistemlerin bütünsel bir görünümünü elde etmek için tüm araçlardan izleme verilerini tümleştirin.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.
Çözüm birden çok kaynak kullandığından, işlemin bir parçası olarak sıkıştırmayı göz önünde bulundurun. Kullandığınız dosya biçimlerini de göz önünde bulundurun. Azure Cosmos DB'yi gecikme süresi ve tutarlılık düzeyleri arasında denge sağlamak için yapılandırın. Ancak bu bileşenin bir performans sorununa dönüşmesini önlemek için işlem boyunca Azure Cosmos DB performansını izleyin ve değerlendirin. Gecikme süresini azaltmak için verileri konuma göre bölümleme veya veri kaynaklarını kullandığınız yere yakın bir yere taşımayı göz önünde bulundurun.
Katkıda Bulunanlar
Bu makale Microsoft tarafından korunur. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- Jose Mendez | Üst Düzey Bulut Çözümü Mimarı
- Katie Novotny | Üst Düzey Bulut Çözümü Mimarı
Sonraki adımlar
- Azure Data Factory nedir?
- Azure HDInsight nedir?
- Azure Blob Depolama’ya giriş
- Azure Synapse Analytics'te ayrılmış SQL havuzu (eski adı SQL DW) nedir?
- Azure Cosmos DB'ye hoş geldiniz
- Azure Bilişsel Hizmetler nedir?
- Power BI nedir?
- Bilişsel Hizmetler oluşturma ve kullanma
- Dil hizmetiyle metin çözümleme
- Yüz Tanıma hizmetiyle yüzleri algılama ve analiz etme