Azure Veri Gezgini nasıl çalışır?
Bu ünitede, sistemin ana bileşenlerini tartışarak Azure Veri Gezgini'ın arka planda nasıl çalıştığına bakacağız. Ardından, ortak bir iş akışını keşfederek hizmetle nasıl etkileşim kuracağınızı öğrenirsiniz:
- Veri alımı
- Kusto Sorgu Dili
- Veri görselleştirme
Bu bilgi, Azure Veri Gezgini'ın veri gereksinimlerinize uygun olup olmadığını belirlemenize yardımcı olur.
Ana bileşenler
Azure Veri Gezgini kümesi verilerinizi almak, işlemek ve sorgulamak için tüm işleri yapar. Kümeler ihtiyaçlarınıza göre otomatik olarak ölçeklenebilir. Azure Veri Gezgini ayrıca verileri Azure Depolama'da depolar ve en iyi sorgu performansını elde etmek için bu verilerin bazılarını küme işlem düğümlerinde önbelleğe alır.
Azure Veri Gezgini kümesinde neler var?
Her Azure Veri Gezgini kümesi en fazla 10.000 veritabanı ve her veritabanı en fazla 10.000 tablo barındırabilir. Her tablodaki veriler, uzantılar olarak da adlandırılan veri parçalarında depolanır. Tüm veriler alma süresine göre otomatik olarak dizine eklenir ve bölümlenmiş olur. İlişkisel veritabanından farklı olarak, birincil yabancı anahtar kısıtlamaları veya benzersizlik gibi başka kısıtlamalar yoktur. Bu tasarım, büyük miktarlarda çeşitli verileri depolayabileceğiniz anlamına gelir. Depolanma şekli nedeniyle sorgulamaya hızlı erişim elde edersiniz.
Veritabanının mantıksal yapısı diğer birçok ilişkisel veritabanına benzer. Azure Veri Gezgini veritabanı şu içeriği içerebilir:
- Tablolar: Bir sütun kümesinden oluşur. Her sütunun dokuz farklı veri türünden biri vardır.
- Dış tablolar: Temel depolama alanı Azure Data Lake gibi diğer konumlarda olan tablolar.
Genel iş akışını tanımaya başlama
Genel olarak, Azure Veri Gezgini ile etkileşime geçtiğinizde şu iş akışının üzerinden geçersiniz: Öncelikle verilerinizi sisteme almak için alırsınız. Ardından verilerinizi analiz edebilirsiniz. Ardından, çözümlemenizin sonuçlarını görselleştirirsiniz. İstediğiniz zaman veri yönetimi özellikleriyle de etkileşime geçebilirsiniz. Azure Veri Gezgini ile bu çalışma, kümeyle etkileşim yoluyla gerçekleştirilir. Bu kaynaklara Web kullanıcı arabiriminden veya SDK'ları kullanarak erişebilirsiniz.
Verilerimi Azure Veri Gezgini'a Nasıl yaparım??
Veri alımı, bir veya daha fazla kaynaktan alınan veri kayıtlarını Azure Veri Gezgini'deki bir tabloya yüklemek için kullanılan işlemdir. Daha fazla veri işleme, eşleşen şemayı, düzenlemeyi, dizin oluşturmayı, kodlamayı ve sıkıştırmayı içerir. Daha sonra Data Manager, veri alımını sorgu için kullanılabildiği altyapıya işler.
Yerel Web Kullanıcı Arabirimi sihirbazına ek olarak, çeşitli alım araçları da mevcuttur. Yönetilen işlem hatları, Event Grid, IoT Hub ve Azure Data Factory dahil. Logstash eklentisi, Kafka bağlayıcısı, Power Automate ve Apache Spark bağlayıcısı gibi bağlayıcıları ve eklentileri kullanabilirsiniz. Ayrıca SDK'ları veya LightIngest'i kullanarak programlı alım da kullanabilirsiniz.
Veriler iki modda alınabilir: Toplu işlem veya Akış. Toplu veri alımı, yüksek alım aktarım hızı ve hızlı sorgu sonuçları için iyileştirilmiştir. Akış alımı, tablo başına küçük veri kümeleri için neredeyse gerçek zamanlı gecikme süresi sağlar.
Verilerimi analiz Nasıl yaparım??
Azure Veri Gezgini verileri analiz etmek için özel Kusto Sorgu Dili (KQL) kullanır. Microsoft'ta yaygın olarak kullanılır (Azure İzleyici - Log Analytics ve Uygulama Analizler, Microsoft Sentinel ve Microsoft Defender XDR). KQL hızlı akış, çeşitli, büyük veri keşfi için iyileştirilmiştir. Sorgular tablolara, görünümlere, işlevlere ve diğer tablosal ifadelere başvurur. Farklı veritabanlarına ve hatta kümelere tablolar ekleme. Sorgular Web kullanıcı arabirimi, çeşitli sorgu araçları veya Azure Veri Gezgini SDK'larından biriyle çalıştırılabilir.
Kusto Sorgu Dili nasıl çalışır?
Kusto Sorgu Dili ifade edici, sezgisel ve yüksek oranda üretken bir sorgu dilidir. Basit tek satırlı komut dosyalarından karmaşık veri işleme betiklerine sorunsuz bir geçiş sunar ve yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış (metin arama) verileri sorgulamayı destekler. Dilde çok çeşitli sorgu dili işleçleri ve işlevleri (toplama, filtreleme, zaman serisi işlevleri, jeo-uzamsal işlevler, birleşimler, birleşimler ve daha fazlası) vardır. KQL, kümeler arası ve veritabanları arası sorguları destekler ve ayrıştırma (json, XML vb.) perspektifinden zengin özelliklere sahiptir. Ayrıca dil, gelişmiş analizleri yerel olarak destekler.
Sorgu sonuçlarımı nasıl görüntüleyebilirim?
Azure Veri Gezgini Web kullanıcı arabirimi, büyük veriler göz önünde bulundurularak tasarlanmıştır ve sorgu çalıştırmanıza ve panolar oluşturmanıza olanak tanır. En fazla 500 K kayıt ve binlerce sütunun görüntülenmesini destekler. Yüksek oranda ölçeklenebilir ve verilerinizden hızlı içgörüler elde etmenize yardımcı olan işlevlerle zengindir. Azure Veri Gezgini Panolarınızda verilerinizin farklı görsel ekranlarını da kullanabilirsiniz. Power BI ve Grafana gibi bugün kullanılabilen önde gelen görselleştirme hizmetlerinden bazılarına yerel bağlayıcılar kullanarak da sonuçlarınızı görüntüleyebilirsiniz. Azure Veri Gezgini ayrıca Tableau ve Qlik gibi araçlar için ODBC ve JDBC bağlayıcı desteğine sahiptir.
Verilerimi Nasıl yaparım? yönetebilirsiniz?
Yönetici, Azure Veri Gezgini kümelerinde çeşitli bakım ve ilke görevleri gerçekleştirmek ister ve Denetim komutları bunu yapma olanağı sağlar. Denetim komutlarını kullanarak yeni kümeler veya veritabanları oluşturabilir, veri bağlantıları kurabilir, otomatik ölçeklendirme gerçekleştirebilir ve küme yapılandırmalarını ayarlayabilirler. Ayrıca varlıkları, meta veri nesnelerini, izinleri yönetmeyi ve güvenlik ilkelerini denetleyebilir ve değiştirebilirler. Buna ek olarak, gerçekleştirilmiş görünümleri (diğer tabloların sürekli güncelleştirilen filtrelenmiş görünümleri), işlevleri (depolanan işlevler ve kullanıcı tanımlı işlevler) ve güncelleştirme ilkesini (alma sonrasında tetiklenen işlevler) değiştirebilirler.
Denetim komutları WebUI, Azure portalı, çeşitli sorgu araçları veya Azure Veri Gezgini SDK'larından biri kullanılarak doğrudan altyapıda çalıştırılır.