Azure Veri Gezgini veri alımına genel bakış

Veri alımı, kümenizdeki bir tabloya veri yüklemeyi içerir. Azure Veri Gezgini veri geçerliliğini sağlar, gerektiğinde biçimleri dönüştürür ve şema eşleştirme, kuruluş, dizin oluşturma, kodlama ve sıkıştırma gibi işlemeler gerçekleştirir. Veri alındıktan sonra sorgu için kullanılabilir.

Azure Veri Gezgini, akış veya kuyruğa alınmış alım kullanarak tek seferlik alım veya sürekli alım işlem hattı oluşturma olanağı sunar. Size uygun olanı belirlemek için bkz. Tek seferlik veri alımı ve Sürekli veri alımı.

Not

Veriler, ayarlanan saklama ilkesine göre depolama alanında kalıcı hale edilir.

Tek seferlik veri alımı

Tek seferlik alım, geçmiş verilerin aktarılması, eksik verilerin doldurulması ve prototip oluşturma ile veri analizinin ilk aşamaları için yararlıdır. Bu yaklaşım, sürekli işlem hattı taahhüdüne gerek kalmadan hızlı veri tümleştirmesini kolaylaştırır.

Tek seferlik veri alımı gerçekleştirmenin birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:

Tek seferlik alım kararı için akış çizelgesi.

Daha fazla bilgi için ilgili belgelere bakın:

Çıkma İlgili belgeler
Alma için Azure Veri Gezgini tarafından desteklenen veri biçimlerine bakın.
Azure Data Factory işlem hatları için desteklenen dosya biçimlerine bakın.
Mevcut bir depolama sisteminden verileri içeri aktarmak için bkz. Geçmiş verileri Azure Veri Gezgini alma.
Azure Veri Gezgini web kullanıcı arabirimindeyerel bir dosyadan, Amazon S3'ten veya Azure Depolama'dan veri alabilirsiniz.
Azure Data Factory ile tümleştirmek için bkz. Azure Data Factory kullanarak azure Veri Gezgini veri kopyalama.
Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır.

Sürekli veri alımı

Sürekli alım, canlı verilerden anında içgörü gerektiren durumlarda üstünlük sağlar. Örneğin, sürekli alma, sistemleri, günlük ve olay verilerini ve gerçek zamanlı analizi izlemek için yararlıdır.

Sürekli veri alımı, akış veya kuyruğa alınmış alım ile bir alım işlem hattı ayarlamayı içerir:

  • Akış alımı: Bu yöntem, tablo başına küçük veri kümeleri için neredeyse gerçek zamanlı gecikme süresi sağlar. Veriler bir akış kaynağından mikro toplu olarak alınır, başlangıçta satır deposuna yerleştirilir ve sonra sütun deposu uzantılarına aktarılır. Daha fazla bilgi için bkz. Akış alımını yapılandırma.

  • Kuyruğa alınan alma: Bu yöntem yüksek alım aktarım hızı için iyileştirilmiştir. Veriler, alım özelliklerine göre toplu olarak oluşturulur ve ardından hızlı sorgu sonuçları için küçük toplu işlemler birleştirilir ve iyileştirilir. Varsayılan olarak, kuyruğa alınan maksimum değerler 5 dakika, 1000 öğe veya toplam boyut olarak 1 GB'tır. Kuyruğa alınan alma komutunun veri boyutu sınırı 6 GB'tır. Bu yöntem, geçici hataları azaltmak için yeniden deneme mekanizmalarını kullanır ve işlemde hiçbir iletinin kaybolmamasını sağlamak için 'en az bir kez' mesajlaşma semantiğini izler. Kuyruğa alınan alma hakkında daha fazla bilgi için bkz. Alma toplu işlem ilkesi.

Not

Çoğu senaryoda, daha yüksek performanslı bir seçenek olduğundan kuyruğa alınmış alımı kullanmanızı öneririz.

Sürekli veri alımını yapılandırmanın birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:

Sürekli alım için karar ağacı diyagramı.

Daha fazla bilgi için ilgili belgelere bakın:

Çıkma İlgili belgeler
Bağlayıcıların listesi için bkz. Bağlayıcılara genel bakış.
Event Hubs veri bağlantısı oluşturun. Event Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
Gerçek zamanlı akış verisi işlem hatları oluşturmaya yönelik bir dağıtılmış akış platformu olan Apache Kafka'dan veri alın.
IoT Hub veri bağlantısı oluşturun. IoT Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
Event Grid veri bağlantısı oluşturun. Event Grid ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
Apache Spark, Apache Kafka, Azure Cosmos DB, Fluent Bit, Logstash, Açık Telemetri, Power Automate, Splunk ve daha fazlası gibi ilgili bağlayıcının yönergelerine bakın. Daha fazla bilgi için bkz . Bağlayıcılara genel bakış.
Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır.

Not

Akış alımı tüm alım yöntemleri için desteklenmez. Destek ayrıntıları için belirli alım yönteminin belgelerine bakın.

Yönetim komutları ile doğrudan alma

Azure Veri Gezgini, veri yönetimi hizmetini kullanmak yerine verileri doğrudan kümenize alan aşağıdaki alım yönetimi komutlarını sunar. Bunlar yalnızca keşif ve prototip oluşturma için kullanılmalı, üretim veya yüksek hacimli senaryolarda kullanılmamalıdır.

Alım yöntemlerini karşılaştırma

Aşağıdaki tabloda ana alım yöntemleri karşılaştırır:

Alma adı Veri türü En büyük dosya boyutu Akış, kuyruğa alınmış, doğrudan En yaygın senaryolar Dikkat edilmesi gerekenler
Apache Spark bağlayıcısı Spark ortamı tarafından desteklenen her biçim Sınırsız Kuyruğa alındı Mevcut işlem hattı, alımdan önce Spark'ta ön işleme, Spark ortamının desteklediği çeşitli kaynaklardan güvenli (Spark) akış işlem hattı oluşturmanın hızlı yolu. Spark kümesinin maliyetini göz önünde bulundurun. Toplu yazma için Event Grid için Azure Veri Gezgini veri bağlantısı ile karşılaştırın. Spark akışı için olay hub'ına yönelik veri bağlantısıyla karşılaştırın.
Azure Data Factory (ADF) Desteklenen veri biçimleri Sınırsız. ADF kısıtlamalarını devralır. Kuyruğa alındı veya ADF tetikleyicisi başına Excel ve XML gibi desteklenmeyen biçimleri destekler ve 90'dan fazla kaynaktan büyük dosyaları perm üzerinden buluta kopyalayabilir Bu yöntem, veriler alınana kadar nispeten daha fazla zaman alır. ADF tüm verileri belleğe yükler ve ardından veri alımına başlar.
Event Grid Desteklenen veri biçimleri 1 GB sıkıştırılmamış Kuyruğa alındı Azure depolamadan sürekli alma, Azure depolamadaki dış veriler Alma işlemi blob yeniden adlandırma veya blob oluşturma eylemleriyle tetiklenebilir
Olay Hub’ı Desteklenen veri biçimleri Yok Kuyruğa alındı, akış İletiler, olaylar
Veri deneyimi alma *SV, JSON 1 GB sıkıştırılmamış Kuyruğa alınmış veya doğrudan alma Tek seferlik, tablo şeması oluşturma, Event Grid ile sürekli alım tanımı, kapsayıcı ile toplu alım (5.000 bloba kadar; geçmiş alımı kullanırken sınır yok)
IoT Hub’ı Desteklenen veri biçimleri Yok Kuyruğa alındı, akış IoT iletileri, IoT olayları, IoT özellikleri
Kafka bağlayıcısı Avro, ApacheAvro, JSON, CSV, Parquet ve ORC Sınırsız. Java kısıtlamalarını devralır. Kuyruğa alındı, akış Mevcut işlem hattı, kaynaktan yüksek hacimli tüketim. Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir.
Kusto istemci kitaplıkları Desteklenen veri biçimleri 1 GB sıkıştırılmamış Kuyruğa alındı, akış, doğrudan Kurumsal gereksinimlere göre kendi kodunuzu yazma Programlı alım, alma işlemi sırasında ve sonrasında depolama işlemlerini en aza indirerek alım maliyetlerini (COG) azaltmak için iyileştirilmiştir.
LightIngest Desteklenen veri biçimleri 1 GB sıkıştırılmamış Kuyruğa alınmış veya doğrudan alma Veri geçişi, ayarlanmış alım zaman damgaları ile geçmiş verileri, toplu alım Büyük/küçük harfe duyarlı ve alana duyarlı
Logic Apps Desteklenen veri biçimleri 1 GB sıkıştırılmamış Kuyruğa alındı İşlem hatlarını otomatikleştirmek için kullanılır
LogStash JSON Sınırsız. Java kısıtlamalarını devralır. Kuyruğa alındı Mevcut işlem hattı, girişlerden yüksek hacimli tüketim için Logstash'in olgun ve açık kaynak doğasını kullanın. Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir.
Power Automate Desteklenen veri biçimleri 1 GB sıkıştırılmamış Kuyruğa alındı Akışın bir parçası olarak alma komutları. İşlem hatlarını otomatikleştirmek için kullanılır.

Diğer bağlayıcılar hakkında bilgi için bkz. Bağlayıcılara genel bakış.

İzinler

Aşağıdaki listede çeşitli alım senaryoları için gereken izinler açıklanmaktadır:

  • Yeni tablo oluşturmak için en az Veritabanı Kullanıcısı izinleri gerekir.
  • Şemayı değiştirmeden mevcut bir tabloya veri almak için en az Veritabanı Alma izni gerekir.
  • Varolan bir tablonun şemasını değiştirmek için en az Tablo Yönetici veya Veritabanı Yönetici izinleri gerekir.

Daha fazla bilgi için bkz . Kusto rol tabanlı erişim denetimi.

Alma işlemi

Aşağıdaki adımlarda genel alım işlemi özetlenmiştir:

  1. Toplu işlem ilkesini ayarlama (isteğe bağlı):Veri alımı toplu işleme ilkesine göre toplu olarak oluşturulur. Yönergeler için bkz. aktarım hızı için iyileştirme.

  2. Bekletme ilkesini ayarlama (isteğe bağlı):Veritabanı bekletme ilkesi gereksinimlerinize uygun değilse, bunu tablo düzeyinde geçersiz kılın. Daha fazla bilgi için bkz . Bekletme ilkesi.

  3. Tablo oluşturma: Veri al deneyimini kullanıyorsanız, alım akışının bir parçası olarak bir tablo oluşturabilirsiniz. Aksi takdirde, Azure Veri Gezgini web kullanıcı arabiriminde veya .create table komutuyla veri alımından önce bir tablo oluşturun.

  4. Şema eşlemesi oluşturma: Şema eşlemeleri , kaynak veri alanlarını hedef tablo sütunlarına bağlamaya yardımcı olur. CSV, JSON ve AVRO gibi satır odaklı biçimler ve Parquet gibi sütun odaklı biçimler de dahil olmak üzere farklı eşleme türleri desteklenir. Çoğu yöntemde eşlemeler tabloda da önceden oluşturulabilir.

  5. Güncelleştirme ilkesini ayarlama (isteğe bağlı):Parquet, JSON ve Avro gibi belirli veri biçimleri, basit alma zamanı dönüştürmelerini etkinleştirir. Alma sırasında daha karmaşık işlemler için güncelleştirme ilkesini kullanın. Bu ilke, özgün tablo içindeki alınan veriler üzerinde ayıklamaları ve dönüştürmeleri otomatik olarak yürütür, ardından değiştirilen verileri bir veya daha fazla hedef tabloya alır.

  6. Veri alma: Verileri getirmek için tercih ettiğiniz alım aracını, bağlayıcıyı veya yöntemi kullanın.