Azure Veri Gezgini veri alımına genel bakış

Veri alımı, verileri kümenizdeki bir tabloya yüklemeyi içerir. Azure Veri Gezgini veri geçerliliğini sağlar, biçimleri gerektiği gibi dönüştürür ve şema eşleştirme, kuruluş, dizin oluşturma, kodlama ve sıkıştırma gibi işlemeler gerçekleştirir. Veri alındıktan sonra sorgu için kullanılabilir.

Azure Veri Gezgini, akış veya kuyruğa alınmış alım kullanarak tek seferlik veri alımı yapma veya sürekli bir veri alım hattı kurma imkanı sunar. Size uygun olanı belirlemek için bkz . Tek seferlik veri alımı ve Sürekli veri alımı.

Not

• Veriler, ayarlanan bekletme ilkesine göre depolamada kalıcı hale eklenir.
• Bir kayıttaki tek bir dize değeri veya kaydın tamamı izin verilen 64 MB veri sınırını aşarsa veri alımı başarısız olur.

Tek seferlik veri alımı

Bir kerelik alım, geçmiş verilerin aktarılması, eksik verilerin doldurulması ve prototip oluşturma ile veri analizinin ilk aşamaları için yararlıdır. Bu yaklaşım, sürekli işlem hattı taahhüdüne gerek kalmadan hızlı veri tümleştirmesini kolaylaştırır.

Tek seferlik veri alımı gerçekleştirmenin birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:

"Tek seferlik alım için karar ağacı görevi gören diyagram. Geçmiş verileri içeri aktarmak istiyorsanız, Geçmiş verileri içeri aktarma belgesindeki yönergeleri izlemeniz gerekir. Geçmiş verileri almıyorsanız ve veriler desteklenen bir veri biçimindeyse Veri al deneyimini kullanmanızı öneririz. Veriler desteklenmeyen bir biçimdeyse, Kusto istemci kitaplıklarını kullanarak Azure Data Factory ile tümleştirebilir veya kendi özel kodunuzu yazabilirsiniz. Bu seçeneklerin her biriyle ilgili rehberliğe sahip makaleler, bu akış grafiğini doğrudan takip eden makalelere bağlanır."

Daha fazla bilgi için ilgili belgelere bakın:

Çağrı	İlgili belgeler
	Veri alınması amacıyla Azure Veri Gezgini'nin desteklediği veri biçimlerine bakın.
	Bkz. Azure Data Factory işlem hatları için desteklenen dosya biçimleri.
	Mevcut bir depolama sisteminden verileri içeri aktarmak için bkz Geçmiş verileri Azure Veri Gezgini'ne alma.
	Azure Veri Gezgini web kullanıcı arabiriminde yerel bir dosyadan, Amazon S3'ten veya Azure Depolama'dan veri alabilirsiniz.
	Azure Data Factory ile tümleştirmek için Azure Data Factory kullanarak Azure Veri Gezgini'ne veri kopyalama konusuna bakın.
	Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır.

Sürekli veri alımı

Sürekli alım, canlı verilerden anında içgörü gerektiren durumlarda üstünlük sağlar. Örneğin, sürekli alma, izleme sistemleri, günlük ve olay verileri ve gerçek zamanlı analiz için yararlıdır.

Sürekli veri aktarımı, veri akışı veya kuyruğa alınmış veri aktarımı ile bir işlem hattı kurulumu içerir.

• Akış alımı: Bu yöntem, tablo başına küçük veri kümeleri için neredeyse gerçek zamanlı gecikme süresi sağlar. Veriler bir akış kaynağından mikro yığınlar şeklinde alınır, başlangıçta satır deposuna yerleştirilir ve sonra sütun depolama uzantılarına aktarılır. Daha fazla bilgi için Akış alımını yapılandırma kısmına bakın.

• Kuyruğa alınan yükleme: Bu yöntem yüksek yükleme verimliliği için optimize edilmiştir. Veriler alma özelliklerine göre gruplandırılır, küçük partiler halinde birleştirilir ve hızlı sorgu sonuçları için optimize edilir. Varsayılan olarak, kuyruğa alınan maksimum değerler 5 dakika, 1000 öğe veya toplam boyut olarak 1 GB'tır. Kuyruğa alınan alma komutunun veri boyutu sınırı 6 GB'tır. Bu yöntem, geçici hataları azaltmak için yeniden deneme mekanizmalarını kullanır ve işlemde hiçbir iletinin kaybolmamasını sağlamak için 'en az bir kez' mesajlaşma semantiğini izler. Kuyruğa alınan alma hakkında daha fazla bilgi için Alma Toplu İşleme İlkesi bölümüne bakın.

Not

Çoğu senaryoda, daha performanslı bir seçenek olduğundan kuyruğa alınmış alımı kullanmanızı öneririz.

Not

Kuyruğa alınmış veri işleme, verilerin 7 güne kadar güvenilir bir şekilde arabelleğe alınmasını sağlar. Ancak, kümenin bu saklama süresi içinde alımı tamamlamak için yeterli kapasitesi yoksa, 7 günlük sınır aşıldığında veriler silinir. Veri kaybı ve alım gecikmelerini önlemek için lütfen kümenizin 7 günlük süre içinde kuyruğa alınan verileri işlemek için yeterli kaynağa sahip olduğundan emin olun.

Sürekli veri alımını yapılandırmanın birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:

"Sürekli alım kararı almaya yönelik akış grafiği. İlk olarak, verilerinizin türünü ve konumunu belirleyin. Olay verileri için Bir Event Hubs veri bağlantısı oluşturabilir veya Apache Kafka ile veri alabilirsiniz. IoT verileri için bir IoT Hubs veri bağlantısı oluşturabilirsiniz. Azure Depolama'daki veriler için event grid veri bağlantısı oluşturabilirsiniz. Başka yerlerde depolanan veriler için, kullanım örneğinize uygun ayrılmış bir bağlayıcı olup olmadığını görmek için bağlayıcılara genel bakış bölümüne bakın. Öyleyse, bu bağlayıcıyı kullanmak için yönergeleri izleyin. Aksi takdirde Kusto istemci kitaplıklarını kullanarak özel kod yazın. Bu seçeneklerin her biriyle ilgili rehberliğe sahip makaleler, bu akış grafiğini doğrudan takip eden makalelere bağlanır."

Daha fazla bilgi için ilgili belgelere bakın:

Çağrı	İlgili belgeler
	Bağlayıcıların listesi için bkz . Bağlayıcılara genel bakış.
	Event Hubs veri bağlantısı oluşturun. Event Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
	Gerçek zamanlı akış veri işlem hatları oluşturmaya yönelik dağıtılmış bir akış platformu olan Apache Kafka'dan veri alın.
	IoT Hub veri bağlantısı oluşturun. IoT Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
	Event Grid veri bağlantısı oluşturun. Event Grid ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
	Apache Spark, Apache Kafka, Azure Cosmos DB, Fluent Bit, Logstash, Açık Telemetri, Power Automate, Splunk ve daha fazlası gibi ilgili bağlayıcı yönergelerine bakın. Daha fazla bilgi için bkz . Bağlayıcılara genel bakış.
	Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır.

Not

Akış alımı tüm alma yöntemleri için desteklenmez. Destek ayrıntıları için belirli alım yönteminin belgelerine bakın.

Yönetim komutları ile doğrudan veri girişi

Azure Veri Gezgini, veri yönetimi hizmetini kullanmak yerine verileri doğrudan kümenize alan aşağıdaki alım yönetimi komutlarını sunar. Bunlar üretim veya yüksek hacimli senaryolarda değil, yalnızca keşif ve prototip oluşturma için kullanılmalıdır.

• Satır içi alma: .ingest satır içi komutu, komut metninin bir parçası olarak alınacak verileri içerir. Bu yöntem, doğaçlama test amaçlarına yöneliktir.
• Sorgudan alma: .set, .append, .set-or-append veya .set-or-replace komutları , sorgunun veya komutun sonuçları olarak alınacak verileri dolaylı olarak belirtir.
• Depolama alanından alma: .ingest komutu, Azure Blob Depolama gibi dış depolamadan alınan verileri alır, kümeniz tarafından erişilebilir ve komutuyla işaret edilir.

Not

Hata durumunda alma işlemi yeniden gerçekleştirilir ve denemeler arasında bekleme süresi için üstel geri alma yöntemi kullanılarak 48 saate kadar yeniden denenır.

Alım yöntemlerini karşılaştırma

Aşağıdaki tabloda ana alım yöntemleri karşılaştırılmıtır:

Alma adı	Veri türü	En büyük dosya boyutu	Akış, kuyruğa alınmış, doğrudan	En yaygın senaryolar	Dikkat edilmesi gereken noktalar
Apache Spark bağlayıcısı	Spark ortamı tarafından desteklenen her biçim	Sınırsız	Kuyruğa alındı	Spark Çevre desteği çeşitli kaynaklardan güvenli (Spark) akış işlem hattı oluşturmanın hızlı bir yolu olan mevcut işlem hattı, alımdan önce Spark'ta ön işleme.	Spark kümesinin maliyetini göz önünde bulundurun. Toplu yazma için Event Grid için Azure Veri Gezgini veri bağlantısı ile karşılaştırın. Spark akışı için olay hub'ı ile veri bağlantısını karşılaştırın.
Azure Data Factory (ADF)	Desteklenen veri biçimleri	Sınırsız. ADF kısıtlamalarını devralır.	Kuyruğa alınmış veya her ADF tetikleyicisi için	Excel ve XML gibi desteklenmeyen biçimleri destekler ve 90'dan fazla kaynaktan büyük dosyaları şirket içinden buluta kopyalayabilirsiniz	Bu yöntem, veriler alınana kadar nispeten daha fazla zaman alır. ADF tüm verileri belleğe yükler ve sonra veri alımına başlar.
Event Grid	Desteklenen veri biçimleri	6 GB sıkıştırılmamış	Kuyruğa alındı	Azure depolamadan sürekli veri alımı, Azure depolama içindeki dış veriler	Alma işlemi blob yeniden adlandırma veya blob oluşturma eylemleriyle tetiklenebilir
Etkinlik Merkezi	Desteklenen veri biçimleri	Yok	Kuyruğa alındı, yayında	İletiler, olaylar
Veri alma deneyimi	*SV, JSON	1 GB sıkıştırılmamış	Kuyruğa alınmış veya doğrudan işleme	Tek seferlik, tablo şeması oluşturma, Event Grid ile sürekli alım tanımı, kapsayıcı ile toplu alım (5.000 bloba kadar; geçmiş alımı kullanırken sınır yok)
IoT Hub	Desteklenen veri biçimleri	Yok	Kuyruğa alındı, yayında	IoT iletileri, IoT olayları, IoT özellikleri
Kafka bağlayıcısı	Avro, ApacheAvro, JSON, CSV, Parquet ve ORC	Sınırsız. Java kısıtlamalarını devralır.	Kuyruğa alındı, yayında	Mevcut boru hattı, kaynaktan yüksek hacimlerde tüketim.	Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir.
Kusto istemci kitaplıkları	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı, akış, doğrudan	Kurumsal gereksinimlere göre kendi kodunuzu yazma	Programlı alım, alma işlemi sırasında ve sonrasında depolama işlemlerini en aza indirerek alım maliyetlerini (COG) azaltmak için iyileştirilmiştir.
En Açık	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alınmış veya doğrudan işleme	Veri geçişi, ayarlanmış alım zaman damgaları ile geçmiş verileri, toplu alım	Büyük/küçük harfe duyarlı ve alana duyarlı
Logic Apps	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı	İşlem hatlarını otomatikleştirmek için kullanılır
LogStash	JSON veri formatı	Sınırsız. Java kısıtlamalarını devralır.	Kuyruğa alındı	Mevcut işlem hattınızı, girdi kaynaklarından yüksek hacimli veri işleme için Logstash'in olgun ve açık kaynaklı yapısından faydalanarak kullanın.	Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir.
Güç Otomatikleştirme	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı	Akışın bir parçası olarak alma komutları. İşlem hatlarını otomatikleştirmek için kullanılır.

Diğer bağlayıcılar hakkında bilgi için bkz . Bağlayıcılara genel bakış.

İzinler

Aşağıdaki listede çeşitli alım senaryoları için gereken izinler açıklanmaktadır:

• Yeni tablo oluşturmak için en az Veritabanı Kullanıcısı izinlerine sahip olmanız gerekir.
• Mevcut bir tabloya şema değiştirmeden veri almak için en az Tablo Alma iznine sahip olmanız gerekir.
• Varolan bir tablonun şemasını değiştirmek için en az Tablo Yöneticisi veya Veritabanı Yöneticisi izinlerine sahip olmanız gerekir.

Aşağıdaki tabloda her alma yöntemi için gereken izinler açıklanmaktadır:

Alım yöntemi	İzinler
Tek seferlik alım	En azından Tablo Yükleyici
Sürekli veri akışı alımı	En azından Tablo Yükleyici
Sürekli kuyruğa alınmış veri alımı	En azından Tablo Yükleyici
Doğrudan satır içi giriş	En azından Tablo Alma Ve Veritabanı Görüntüleyicisi
Sorgudan doğrudan yükleme	En azından Tablo Alma Ve Veritabanı Görüntüleyicisi
Depolama alanından doğrudan alma	En azından Tablo Yükleyici

Daha fazla bilgi için bkz . Kusto rol tabanlı erişim denetimi.

Alma işlemi

Aşağıdaki adımlarda genel alım işlemi özetlenmektedir:

1. Toplu işlem ilkesini ayarlama (isteğe bağlı):Veriler alma toplu işlem ilkesine göre toplu olarak oluşturulur. Yönergeler için bkz Aktarım hızı için iyileştirme.

2. Bekletme ilkesini ayarlama (isteğe bağlı):Veritabanı bekletme ilkesi gereksinimlerinize uygun değilse, bunu tablo düzeyinde geçersiz kılın. Daha fazla bilgi için bkz. Veri saklama ilkeleri.

3. Tablo oluşturma: Veri al deneyimini kullanıyorsanız, veri alımı akışının bir parçası olarak bir tablo oluşturabilirsiniz. Aksi takdirde, Azure Veri Gezgini web kullanıcı arabiriminde veya .create table komutuyla veri alımından önce bir tablo oluşturun.

4. Şema eşlemesi oluşturma: Şema eşlemeleri , kaynak veri alanlarını hedef tablo sütunlarına bağlamaya yardımcı olur. CSV, JSON ve AVRO gibi satır odaklı biçimler ve Parquet gibi sütun odaklı biçimler de dahil olmak üzere farklı eşleme türleri desteklenir. Çoğu yöntemde, eşlemeler tabloda da önceden oluşturulabilir.

5. Güncelleştirme ilkesini ayarlama (isteğe bağlı): Parquet, JSON ve Avro gibi belirli veri biçimleri basit alma zamanı dönüştürmelerini etkinleştirir. Alma sırasında daha karmaşık işlemler için güncelleştirme ilkesini kullanın. Bu ilke, özgün tablo içindeki alınan veriler üzerinde ayıklamaları ve dönüştürmeleri otomatik olarak yürütür, ardından değiştirilen verileri bir veya daha fazla hedef tabloya alır.

6. Veri alma: Verileri getirmek için tercih ettiğiniz alım aracını, bağlayıcıyı veya yöntemi kullanın.

İlgili içerik

• Bağlayıcılara genel bakış
• Desteklenen veri biçimleri
• Desteklenen veri alma özellikleri
• Politikalara genel bakış