Azure Veri Gezgini veri alımına genel bakış

Veri alımı, verileri kümenizdeki bir tabloya yüklemeyi içerir. Azure Veri Gezgini veri geçerliliğini sağlar, biçimleri gerektiği gibi dönüştürür ve şema eşleştirme, kuruluş, dizin oluşturma, kodlama ve sıkıştırma gibi işlemeler gerçekleştirir. Veri alındıktan sonra sorgu için kullanılabilir.

Azure Veri Gezgini, akış veya kuyruğa alınmış alım kullanarak tek seferlik alım veya sürekli alım işlem hattı oluşturma olanağı sunar. Size uygun olanı belirlemek için bkz . Tek seferlik veri alımı ve Sürekli veri alımı.

Not

Veriler, ayarlanan bekletme ilkesine göre depolamada kalıcı hale eklenir.

Tek seferlik veri alımı

Bir kerelik alım, geçmiş verilerin aktarılması, eksik verilerin doldurulması ve prototip oluşturma ile veri analizinin ilk aşamaları için yararlıdır. Bu yaklaşım, sürekli işlem hattı taahhüdüne gerek kalmadan hızlı veri tümleştirmesini kolaylaştırır.

Tek seferlik veri alımı gerçekleştirmenin birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:

"Tek seferlik alım için karar ağacı görevi gören diyagram. Geçmiş verileri almak istiyorsanız Geçmiş verileri alma belgesindeki yönergeleri izlemeniz gerekir. Geçmiş verileri almıyorsanız ve veriler desteklenen bir veri biçimindeyse Veri al deneyimini kullanmanızı öneririz. Veriler desteklenmeyen bir biçimdeyse, Kusto istemci kitaplıklarını kullanarak Azure Data Factory ile tümleştirebilir veya kendi özel kodunuzu yazabilirsiniz. Bu seçeneklerin her biriyle ilgili rehberliğe sahip makaleler, bu akış grafiğini doğrudan takip eden makalelere bağlanır."

Daha fazla bilgi için ilgili belgelere bakın:

Çıkma	İlgili belgeler
	Alma için Azure Veri Gezgini tarafından desteklenen veri biçimlerine bakın.
	Bkz. Azure Data Factory işlem hatları için desteklenen dosya biçimleri.
	Mevcut bir depolama sisteminden verileri içeri aktarmak için bkz. Geçmiş verileri Azure Veri Gezgini'a alma.
	Azure Veri Gezgini web kullanıcı arabiriminde yerel bir dosyadan, Amazon S3'ten veya Azure Depolama veri alabilirsiniz.
	Azure Data Factory ile tümleştirmek için bkz. Azure Data Factory kullanarak azure Veri Gezgini veri kopyalama.
	Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır.

Sürekli veri alımı

Sürekli alım, canlı verilerden anında içgörü gerektiren durumlarda üstünlük sağlar. Örneğin, sürekli alma, izleme sistemleri, günlük ve olay verileri ve gerçek zamanlı analiz için yararlıdır.

Sürekli veri alımı, akış veya kuyruğa alınmış alım ile bir alım işlem hattı ayarlamayı içerir:

• Akış alımı: Bu yöntem, tablo başına küçük veri kümeleri için neredeyse gerçek zamanlı gecikme süresi sağlar. Veriler bir akış kaynağından mikro toplu olarak alınır, başlangıçta satır deposuna yerleştirilir ve sonra sütun deposu uzantılarına aktarılır. Daha fazla bilgi için bkz . Akış alımını yapılandırma.

• Kuyruğa alınan alma: Bu yöntem yüksek alım aktarım hızı için iyileştirilmiştir. Veriler alma özelliklerine göre toplu işlenir ve ardından hızlı sorgu sonuçları için küçük toplu işlemler birleştirilir ve iyileştirilir. Varsayılan olarak, kuyruğa alınan maksimum değerler 5 dakika, 1000 öğe veya toplam boyut olarak 1 GB'tır. Kuyruğa alınan alma komutunun veri boyutu sınırı 6 GB'tır. Bu yöntem, geçici hataları azaltmak için yeniden deneme mekanizmalarını kullanır ve işlemde hiçbir iletinin kaybolmamasını sağlamak için 'en az bir kez' mesajlaşma semantiğini izler. Kuyruğa alınan alma hakkında daha fazla bilgi için bkz . Alma toplu işlem ilkesi.

Not

Çoğu senaryoda, daha performanslı bir seçenek olduğundan kuyruğa alınmış alımı kullanmanızı öneririz.

Sürekli veri alımını yapılandırmanın birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:

"Sürekli alım kararı almaya yönelik akış grafiği. İlk olarak, verilerinizin türünü ve konumunu belirleyin. Olay verileri için Bir Event Hubs veri bağlantısı oluşturabilir veya Apache Kafka ile veri alabilirsiniz. IoT verileri için bir IoT Hubs veri bağlantısı oluşturabilirsiniz. Azure Depolama'daki veriler için bir Event Grid veri bağlantısı oluşturabilirsiniz. Başka yerlerde depolanan veriler için, kullanım örneğinize uygun ayrılmış bir bağlayıcı olup olmadığını görmek için bağlayıcılara genel bakış bölümüne bakın. Öyleyse, bu bağlayıcıyı kullanmak için yönergeleri izleyin. Aksi takdirde Kusto istemci kitaplıklarını kullanarak özel kod yazın. Bu seçeneklerin her biriyle ilgili rehberliğe sahip makaleler, bu akış grafiğini doğrudan takip eden makalelere bağlanır."

Daha fazla bilgi için ilgili belgelere bakın:

Çıkma	İlgili belgeler
	Bağlayıcıların listesi için bkz. Bağlan örlere genel bakış.
	Event Hubs veri bağlantısı oluşturun. Event Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
	Gerçek zamanlı akış veri işlem hatları oluşturmaya yönelik dağıtılmış bir akış platformu olan Apache Kafka'dan veri alın.
	IoT Hub veri bağlantısı oluşturun. IoT Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
	Event Grid veri bağlantısı oluşturun. Event Grid ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar.
	Apache Spark, Apache Kafka, Azure Cosmos DB, Fluent Bit, Logstash, Açık Telemetri, Power Automate, Splunk ve daha fazlası gibi ilgili bağlayıcı yönergelerine bakın. Daha fazla bilgi için bkz. Bağlan örlere genel bakış.
	Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır.

Not

Akış alımı tüm alma yöntemleri için desteklenmez. Destek ayrıntıları için belirli alım yönteminin belgelerine bakın.

Yönetim komutları ile doğrudan alma

Azure Veri Gezgini, veri yönetimi hizmetini kullanmak yerine verileri doğrudan kümenize alan aşağıdaki alım yönetimi komutlarını sunar. Bunlar üretim veya yüksek hacimli senaryolarda değil, yalnızca keşif ve prototip oluşturma için kullanılmalıdır.

• Satır içi alma: .ingest satır içi komutu, komut metninin bir parçası olarak alınacak verileri içerir. Bu yöntem, doğaçlama test amaçlarına yöneliktir.
• Sorgudan alma: .set, .append, .set-or-append veya .set-or-replace komutları , sorgunun veya komutun sonuçları olarak alınacak verileri dolaylı olarak belirtir.
• Depolama alanından alma: .ingest komutu, Azure Blob Depolama gibi dış depolamadan alınan verileri alır, kümeniz tarafından erişilebilir ve komutuyla işaret edilir.

Not

Hata durumunda alma işlemi yeniden gerçekleştirilir ve denemeler arasında bekleme süresi için üstel geri alma yöntemi kullanılarak 48 saate kadar yeniden denenır.

Alım yöntemlerini karşılaştırma

Aşağıdaki tabloda ana alım yöntemleri karşılaştırılmıtır:

Alma adı	Veri türü	En büyük dosya boyutu	Akış, kuyruğa alınmış, doğrudan	En yaygın senaryolar	Dikkat edilmesi gereken noktalar
Apache Spark bağlayıcısı	Spark ortamı tarafından desteklenen her biçim	Sınırsız	Kuyruğa alındı	Spark Çevre desteği çeşitli kaynaklardan güvenli (Spark) akış işlem hattı oluşturmanın hızlı bir yolu olan mevcut işlem hattı, alımdan önce Spark'ta ön işleme.	Spark kümesinin maliyetini göz önünde bulundurun. Toplu yazma için Event Grid için Azure Veri Gezgini veri bağlantısı ile karşılaştırın. Spark akışı için olay hub'ına yönelik veri bağlantısıyla karşılaştırın.
Azure Data Factory (ADF)	Desteklenen veri biçimleri	Sınırsız. ADF kısıtlamalarını devralır.	Kuyruğa alınmış veya ADF tetikleyicisi başına	Excel ve XML gibi desteklenmeyen biçimleri destekler ve 90'dan fazla kaynaktan, perm üzerindeki büyük dosyaları buluta kopyalayabilen biçimleri destekler	Bu yöntem, veriler alınana kadar nispeten daha fazla zaman alır. ADF tüm verileri belleğe yükler ve sonra veri alımına başlar.
Event Grid	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı	Azure depolamadan sürekli alma, Azure depolamadaki dış veriler	Alma işlemi blob yeniden adlandırma veya blob oluşturma eylemleriyle tetiklenebilir
Olay Hub’ı	Desteklenen veri biçimleri	Yok	Kuyruğa alındı, akış	İletiler, olaylar
Veri alma deneyimi	*SV, JSON	1 GB sıkıştırılmamış	Kuyruğa alınmış veya doğrudan alma	Tek seferlik, tablo şeması oluşturma, Event Grid ile sürekli alım tanımı, kapsayıcı ile toplu alım (5.000 bloba kadar; geçmiş alımı kullanırken sınır yok)
IoT Hub	Desteklenen veri biçimleri	Yok	Kuyruğa alındı, akış	IoT iletileri, IoT olayları, IoT özellikleri
Kafka bağlayıcısı	Avro, ApacheAvro, JSON, CSV, Parquet ve ORC	Sınırsız. Java kısıtlamalarını devralır.	Kuyruğa alındı, akış	Mevcut işlem hattı, kaynaktan yüksek hacimli tüketim.	Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir.
Kusto istemci kitaplıkları	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı, akış, doğrudan	Kurumsal gereksinimlere göre kendi kodunuzu yazma	Programlı alım, alma işlemi sırasında ve sonrasında depolama işlemlerini en aza indirerek alım maliyetlerini (COG) azaltmak için iyileştirilmiştir.
En Açık	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alınmış veya doğrudan alma	Veri geçişi, ayarlanmış alım zaman damgaları ile geçmiş verileri, toplu alım	Büyük/küçük harfe duyarlı ve alana duyarlı
Logic Apps	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı	İşlem hatlarını otomatikleştirmek için kullanılır
LogStash	JSON	Sınırsız. Java kısıtlamalarını devralır.	Kuyruğa alındı	Mevcut işlem hattı, girişlerden yüksek hacimli tüketim için Logstash'in olgun ve açık kaynak doğasını kullanın.	Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir.
Power Automate	Desteklenen veri biçimleri	1 GB sıkıştırılmamış	Kuyruğa alındı	Akışın bir parçası olarak alma komutları. İşlem hatlarını otomatikleştirmek için kullanılır.

Diğer bağlayıcılar hakkında bilgi için bkz. Bağlan örlere genel bakış.

İzinler

Aşağıdaki listede çeşitli alım senaryoları için gereken izinler açıklanmaktadır:

• Yeni tablo oluşturmak için en az Veritabanı Kullanıcısı izinleri gerekir.
• Şemasını değiştirmeden mevcut bir tabloya veri almak için en azından Veritabanı Alma izni gerekir.
• Varolan bir tablonun şemasını değiştirmek için en az Tablo Yönetici veya Veritabanı Yönetici izinleri gerekir.

Daha fazla bilgi için bkz . Kusto rol tabanlı erişim denetimi.

Alma işlemi

Aşağıdaki adımlarda genel alım işlemi özetlenmektedir:

1. Toplu işlem ilkesini ayarlama (isteğe bağlı):Veriler alma toplu işlem ilkesine göre toplu olarak oluşturulur. Yönergeler için bkz . Aktarım hızı için iyileştirme.

2. Bekletme ilkesini ayarlama (isteğe bağlı):Veritabanı bekletme ilkesi gereksinimlerinize uygun değilse, bunu tablo düzeyinde geçersiz kılın. Daha fazla bilgi için bkz. Veri saklama ilkeleri.

3. Tablo oluşturma: Veri al deneyimini kullanıyorsanız, veri alımı akışının bir parçası olarak bir tablo oluşturabilirsiniz. Aksi takdirde, Azure Veri Gezgini web kullanıcı arabiriminde veya .create table komutuyla veri alımından önce bir tablo oluşturun.

4. Şema eşlemesi oluşturma: Şema eşlemeleri , kaynak veri alanlarını hedef tablo sütunlarına bağlamaya yardımcı olur. CSV, JSON ve AVRO gibi satır odaklı biçimler ve Parquet gibi sütun odaklı biçimler de dahil olmak üzere farklı eşleme türleri desteklenir. Çoğu yöntemde, eşlemeler tabloda da önceden oluşturulabilir.

5. Güncelleştirme ilkesini ayarlama (isteğe bağlı): Parquet, JSON ve Avro gibi belirli veri biçimleri basit alma zamanı dönüştürmelerini etkinleştirir. Alma sırasında daha karmaşık işlemler için güncelleştirme ilkesini kullanın. Bu ilke, özgün tablo içindeki alınan veriler üzerinde ayıklamaları ve dönüştürmeleri otomatik olarak yürütür, ardından değiştirilen verileri bir veya daha fazla hedef tabloya alır.

6. Veri alma: Verileri getirmek için tercih ettiğiniz alım aracını, bağlayıcıyı veya yöntemi kullanın.

İlgili içerik

• Bağlayıcılara genel bakış
• Desteklenen veri biçimleri
• Desteklenen alma özellikleri
• İlkelere genel bakış