Gerçek Zamanlı Analiz tarafından desteklenen veri biçimleri

  • Makale

Veri alımı, verilerin tabloya eklendiği ve Gerçek Zamanlı Analiz'de sorgu için kullanılabilir hale getirildiği işlemdir. Sorgudan alma dışındaki tüm alma yöntemleri için verilerin desteklenen biçimlerden birinde olması gerekir. Aşağıdaki tabloda Gerçek Zamanlı Analiz'in veri alımı için desteklediği biçimler listelenmiş ve açıklanmıştır.

Dekont

Verileri almadan önce verilerinizin düzgün biçimlendirildiğinden ve beklenen alanları tanımladığından emin olun. Biçimin geçerli olduğunu onaylamak için tercih ettiğiniz doğrulayıcıyı kullanmanızı öneririz. Örneğin, CSV veya JSON dosyalarını denetlemek için aşağıdaki doğrulayıcıları yararlı bulabilirsiniz:

Alımın neden başarısız olabileceği hakkında daha fazla bilgi için bkz . Alma hataları.

Biçimlendir Dahili Açıklama
ApacheAvro .avro Mantıksal türler için destek içeren bir AVRO biçimi. Aşağıdaki sıkıştırma codec bileşenleri desteklenir: null, deflateve snappy. Biçimin apacheavro okuyucu uygulaması resmi Apache Avro kitaplığını temel alır. Event Hubs Capture Avro dosyalarını alma hakkında bilgi için bkz . Event Hubs Capture Avro dosyaları için şema eşleme.
Avro .avro .NET kitaplığını temel alan AVRO biçimi için eski bir uygulama. Aşağıdaki sıkıştırma codec'leri desteklenir: null, (için snappy - veri biçimini kullanın ApacheAvrodeflate ).
CSV .csv Virgülle ayrılmış değerlere (, sahip bir metin dosyası). Bkz . RFC 4180: Virgülle Ayrılmış Değerler (CSV) Dosyaları için Ortak Biçim ve MIME Türü.
JSON .json veya \r\nile sınırlandırılmış JSON nesnelerinin yer aldığı \n bir metin dosyası. Bkz. JSON Satırları (JSONL).
MultiJSON .multijson JSON özellik torbaları dizisine (her biri bir kaydı temsil eden) veya boşlukla \n ayrılmış herhangi bir sayıda özellik çantasına sahip bir metin dosyası veya \r\n. Her özellik çantası birden çok satıra yayılabilir. Bu biçim, veriler uygun olmayan torbalar olmadığı sürece yerine JSONtercih edilir.
ORC .orc ORC dosyası.
Parquet .parquet Parquet dosyası.
PSV .psv Kanalla ayrılmış değerlere (|) sahip bir metin dosyası.
HAM .raw İçeriğinin tamamı tek bir dize değeri olan bir metin dosyası.
SCsv .scsv Noktalı virgülle ayrılmış değerler (;) içeren bir metin dosyası.
SOHsv .sohsv SOH ile ayrılmış değerler içeren bir metin dosyası. (SOH, ASCII kod noktası 1'dir; bu biçim HDInsight üzerinde Hive tarafından kullanılır.)
TSV .tsv Sekmeyle ayrılmış değerlere (\t) sahip bir metin dosyası.
TSVE .tsv Sekmeyle ayrılmış değerlere (\t) sahip bir metin dosyası. Kaçış için ters eğik çizgi karakteri (\) kullanılır.
TXT .txt ile \nsınırlandırılmış satırlar içeren bir metin dosyası. Boş satırlar atlanır.
W3CLOGFILE .log W3C tarafından standartlaştırılmış web günlüğü dosyası biçimi.

Dekont

  • Normal Parquet biçim dosyalarının (örneğin Apache Iceberg, Apache Hudi) üzerinde ACID işlevi sağlayan veri depolama sistemlerinden alım desteklenmez.
  • Şemasız Avro desteklenmiyor

Desteklenen veri sıkıştırma biçimleri

Bloblar ve dosyalar aşağıdaki sıkıştırma algoritmalarından herhangi biri aracılığıyla sıkıştırılabilir:

Sıkıştırma Dahili
Gzip .Gz
Posta Kodu .zip

Uzantıyı blob veya dosyanın adına ekleyerek sıkıştırmayı belirtin.

Örneğin:

  • MyData.csv.zip ZIP ile sıkıştırılmış bir blobu veya CSV olarak biçimlendirilmiş bir dosyayı gösterir (arşiv veya tek bir dosya)
  • MyData.json.gz , GZip ile sıkıştırılmış JSON olarak biçimlendirilmiş bir blobu veya dosyayı gösterir.

Biçim uzantılarını içermeyen ancak yalnızca sıkıştırma (örneğin, MyData.zip) olan blob veya dosya adları da desteklenir. Bu durumda, çıkarılamadığı için dosya biçimi bir alma özelliği olarak belirtilmelidir.

Dekont

  • Bazı sıkıştırma biçimleri, sıkıştırılmış akışın bir parçası olarak özgün dosya uzantısını izler. Bu uzantı genellikle dosya biçimini belirlemek için yoksayılır. Dosya biçimi (sıkıştırılmış) blobdan veya dosya adından belirlenemiyorsa, alma özelliği aracılığıyla format belirtilmelidir.
  • tarafından ParquetAVRO kullanılan iç (öbek düzeyi) sıkıştırma codec'i ve ORC biçimleriyle karıştırılmamalıdır. İç sıkıştırma adı genellikle dosya biçimi uzantısının önüne bir dosya adına eklenir; örneğin: file1.gz.parquet, file1.snappy.avro, vb.

İlgili içerik