Azure Synapse Veri Gezgini nedir? (Önizleme)
Azure Synapse Veri Gezgini müşterilere günlük ve telemetri verilerinden içgörü elde etmek için etkileşimli bir sorgu deneyimi sağlar. Mevcut SQL ve Apache Spark analiz çalışma zamanı altyapılarını tamamlamak için Veri Gezgini analiz çalışma zamanı, telemetri verilerinde yaygın olarak bulunan serbest metin ve yarı yapılandırılmış verilerin otomatik olarak dizinlenmesi için güçlü dizin oluşturma teknolojisi kullanılarak verimli log analytics için iyileştirilmiştir.
Daha fazla bilgi edinmek için aşağıdaki videoya bakın:
Azure Synapse Veri Gezgini benzersiz kılan nedir?
Kolay veri alımı - Veri Gezgini kod içermeyen/düşük kodlu, yüksek aktarım hızına uygun veri alımı ve gerçek zamanlı kaynaklardan verileri önbelleğe alma için yerleşik tümleştirmeler sunar. Veriler Azure Event Hubs, Kafka, Azure Data Lake gibi kaynaklardan, Fluentd/Fluent Bit gibi açık kaynak aracılarından ve çok çeşitli bulut ve şirket içi veri kaynaklarından alınabiliyor.
Karmaşık veri modellemesi yoktur - Veri Gezgini ile karmaşık veri modelleri oluşturmaya ve verileri tüketilmeden önce dönüştürmek için karmaşık betik oluşturmaya gerek yoktur.
Dizin bakımı yok - Verileri sorgu performansı için iyileştirmek için bakım görevlerine ve dizin bakımına gerek yoktur. Veri Gezgini ile tüm ham veriler hemen kullanılabilir hale gelir ve böylece akışınızda ve kalıcı verilerinizde yüksek performanslı ve yüksek eşzamanlılık sorguları çalıştırabilirsiniz. Bu sorguları kullanarak gerçek zamanlıya yakın panolar ve uyarılar oluşturabilir ve operasyonel analiz verilerini veri analizi platformunun geri kalanına bağlayabilirsiniz.
Veri analizini demokratikleştirme - Veri Gezgini, Excel'in basitliğiyle SQL'in açıklayıcılığını ve gücünü sağlayan sezgisel Kusto Sorgu Dili (KQL) ile self servis, büyük veri analizini demokratikleştirir. KQL, verimli serbest metin ve regex araması için Veri Gezgini sınıfının en iyi metin dizinleme teknolojisinden ve diziler ve iç içe geçmiş yapılar dahil olmak üzere izlemeleri\metin verilerini ve JSON yarı yapılandırılmış verileri sorgulamaya yönelik kapsamlı ayrıştırma özelliklerinden yararlanarak ham telemetri ve zaman serisi verilerini keşfetmek için son derece iyileştirilmiştir. KQL, model puanlaması için altyapı içi Python yürütme desteğiyle birden çok zaman serisi oluşturmak, işlemek ve analiz etmek için gelişmiş zaman serisi desteği sunar.
Petabayt ölçeğinde kanıtlanmış teknoloji - Veri Gezgini bağımsız olarak ölçeklendirilebilen ve gigabaytlarca veya petabaytlarca veri üzerinde analize olanak tanıyan işlem kaynaklarına ve depolamaya sahip dağıtılmış bir sistemdir.
Tümleşik - Azure Synapse Analytics, Veri Gezgini, Apache Spark ve SQL altyapıları arasında veri mühendislerinin, veri bilimcilerinin ve veri analistlerinin veri gölündeki aynı verilere kolayca ve güvenli bir şekilde erişmesini ve bunlar üzerinde işbirliği yapmalarını sağlayan birlikte çalışabilirlik sağlar.
Azure Synapse Veri Gezgini ne zaman kullanılır?
Veri Gezgini'yi gerçek zamanlıya yakın log analytics ve IoT analiz çözümleri oluşturmak için bir veri platformu olarak kullanın:
Günlüklerinizi ve olay verilerinizi şirket içi, bulut ve üçüncü taraf veri kaynakları arasında birleştirin ve ilişkilendirin.
Yapay zeka operasyon yolculuğunuzu hızlandırın (desen tanıma, anomali algılama, tahmin ve daha fazlası).
Maliyetten tasarruf etmek ve üretkenliği artırmak için altyapı tabanlı günlük arama çözümlerini değiştirin.
IoT verileriniz için IoT analiz çözümleri oluşturun.
İç ve dış müşterilerinize hizmet sunmak için analiz SaaS çözümleri oluşturun.
havuz mimarisini Veri Gezgini
Veri Gezgini havuzları, işlem ve depolama kaynaklarını ayırarak bir genişleme mimarisi uygular. Bu sayede her kaynağı bağımsız olarak ölçeklendirin ve örneğin aynı veriler üzerinde birden çok salt okunur işlem çalıştırın. Veri Gezgini havuzları, otomatik dizin oluşturma, sıkıştırma, önbelleğe alma ve dağıtılmış sorguların sunulmasından sorumlu altyapıyı çalıştıran bir dizi işlem kaynağından oluşur. Ayrıca arka plan sistem işlerinden ve yönetilen ve kuyruğa alınmış veri alımından sorumlu veri yönetimi hizmetini çalıştıran ikinci bir işlem kaynakları kümesine sahiptir. Yönetilen blob depolama hesaplarında tüm veriler sıkıştırılmış sütunlu biçim kullanılarak kalıcı hale dönüştürülür.
Veri Gezgini havuzları bağlayıcılar, SDK'lar, REST API'ler ve diğer yönetilen özellikleri kullanarak veri almak için zengin bir ekosistemi destekler. Geçici sorgular, raporlar, panolar, uyarılar, REST API'ler ve SDK'lar için verileri kullanmanın çeşitli yollarını sunar.
Data Explore'ı Azure'da günlük ve zaman serisi analizi için en iyi analiz altyapısı haline getiren birçok benzersiz özellik vardır.
Aşağıdaki bölümlerde önemli farklar vurgulanır.
Serbest metin ve yarı yapılandırılmış veri dizini oluşturma, neredeyse gerçek zamanlı yüksek performanslı ve yüksek eşzamanlı sorgular sağlar
Veri Gezgini yarı yapılandırılmış verileri (JSON) ve yapılandırılmamış verileri (serbest metin) dizinler ve bu da çalışan sorguların bu tür veriler üzerinde iyi performans göstermesini sağlar. Varsayılan olarak, her alan veri alımı sırasında dizine eklenir ve belirli alanlar için dizinde ince ayar yapmak veya devre dışı bırakmak için alt düzey kodlama ilkesi kullanma seçeneği kullanılır. Dizinin kapsamı tek bir veri parçasıdır.
Dizinin uygulanması, aşağıdaki gibi alanın türüne bağlıdır:
| Alan türü | Dizin oluşturma uygulaması |
|---|---|
| Dize | Altyapı, dize sütunu değerleri için ters terim dizini oluşturur. Her dize değeri analiz edilir ve normalleştirilmiş terimlere bölünür ve her terim için kayıt sıralarını içeren sıralı bir mantıksal konum listesi kaydedilir. Elde edilen sıralanmış terim listesi ve bunların ilişkili konumları sabit bir B ağacı olarak depolanır. |
| Sayısal Tarih Saat TimeSpan |
Altyapı, basit bir aralık tabanlı ileriye doğru dizin oluşturur. Dizin, her blok için, bir blok grubu için ve veri parçası içindeki sütunun tamamı için min/max değerlerini kaydeder. |
| Dinamik | Alma işlemi, özellik adları, değerler ve dizi öğeleri gibi dinamik değer içindeki tüm "atomik" öğeleri numaralandırır ve bunları dizin oluşturucusunun içine iletir. Dinamik alanlar, dize alanlarıyla aynı ters terim dizinine sahiptir. |
Bu verimli dizin oluşturma özellikleri, verileri yüksek performanslı ve yüksek eşzamanlılık sorgularında neredeyse gerçek zamanlı olarak kullanılabilir hale getirmek için Data Explore'ı etkinleştirir. Sistem, performansı daha da artırmak için veri parçalarını otomatik olarak iyileştirir.
Kusto Sorgu Dili
KQL, Azure İzleyici Log Analytics ve Application Insights, Microsoft Sentinel, Azure Veri Gezgini ve diğer Microsoft tekliflerinin hızlı bir şekilde benimsenmesiyle büyüyen büyük bir topluluğa sahiptir. Dil, kolay okunan bir söz dizimi ile iyi tasarlanmıştır ve basit tek satırlı sorgulardan karmaşık veri işleme sorgularına sorunsuz bir geçiş sağlar. Bu, Veri Gezgini, telemetri verilerinin hızlı bir şekilde araştırılabilmesi için SQL'de bulunmayan toplamalar, zaman serisi ve kullanıcı analizi için zengin IntelliSense desteği ve zengin dil yapıları ve yerleşik özellikler kümesi sağlamasına olanak tanır.