Azure Veri Gezgini veri alımına genel bakış
Veri alımı, kümenizdeki bir tabloya veri yüklemeyi içerir. Azure Veri Gezgini veri geçerliliğini sağlar, gerektiğinde biçimleri dönüştürür ve şema eşleştirme, kuruluş, dizin oluşturma, kodlama ve sıkıştırma gibi işlemeler gerçekleştirir. Veri alındıktan sonra sorgu için kullanılabilir.
Azure Veri Gezgini, akış veya kuyruğa alınmış alım kullanarak tek seferlik alım veya sürekli alım işlem hattı oluşturma olanağı sunar. Size uygun olanı belirlemek için bkz. Tek seferlik veri alımı ve Sürekli veri alımı.
Not
Veriler, ayarlanan saklama ilkesine göre depolama alanında kalıcı hale edilir.
Tek seferlik veri alımı
Tek seferlik alım, geçmiş verilerin aktarılması, eksik verilerin doldurulması ve prototip oluşturma ile veri analizinin ilk aşamaları için yararlıdır. Bu yaklaşım, sürekli işlem hattı taahhüdüne gerek kalmadan hızlı veri tümleştirmesini kolaylaştırır.
Tek seferlik veri alımı gerçekleştirmenin birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:
Daha fazla bilgi için ilgili belgelere bakın:
Çıkma | İlgili belgeler |
---|---|
Alma için Azure Veri Gezgini tarafından desteklenen veri biçimlerine bakın. | |
Azure Data Factory işlem hatları için desteklenen dosya biçimlerine bakın. | |
Mevcut bir depolama sisteminden verileri içeri aktarmak için bkz. Geçmiş verileri Azure Veri Gezgini alma. | |
Azure Veri Gezgini web kullanıcı arabirimindeyerel bir dosyadan, Amazon S3'ten veya Azure Depolama'dan veri alabilirsiniz. | |
Azure Data Factory ile tümleştirmek için bkz. Azure Data Factory kullanarak azure Veri Gezgini veri kopyalama. | |
Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır. |
Sürekli veri alımı
Sürekli alım, canlı verilerden anında içgörü gerektiren durumlarda üstünlük sağlar. Örneğin, sürekli alma, sistemleri, günlük ve olay verilerini ve gerçek zamanlı analizi izlemek için yararlıdır.
Sürekli veri alımı, akış veya kuyruğa alınmış alım ile bir alım işlem hattı ayarlamayı içerir:
Akış alımı: Bu yöntem, tablo başına küçük veri kümeleri için neredeyse gerçek zamanlı gecikme süresi sağlar. Veriler bir akış kaynağından mikro toplu olarak alınır, başlangıçta satır deposuna yerleştirilir ve sonra sütun deposu uzantılarına aktarılır. Daha fazla bilgi için bkz. Akış alımını yapılandırma.
Kuyruğa alınan alma: Bu yöntem yüksek alım aktarım hızı için iyileştirilmiştir. Veriler, alım özelliklerine göre toplu olarak oluşturulur ve ardından hızlı sorgu sonuçları için küçük toplu işlemler birleştirilir ve iyileştirilir. Varsayılan olarak, kuyruğa alınan maksimum değerler 5 dakika, 1000 öğe veya toplam boyut olarak 1 GB'tır. Kuyruğa alınan alma komutunun veri boyutu sınırı 6 GB'tır. Bu yöntem, geçici hataları azaltmak için yeniden deneme mekanizmalarını kullanır ve işlemde hiçbir iletinin kaybolmamasını sağlamak için 'en az bir kez' mesajlaşma semantiğini izler. Kuyruğa alınan alma hakkında daha fazla bilgi için bkz. Alma toplu işlem ilkesi.
Not
Çoğu senaryoda, daha yüksek performanslı bir seçenek olduğundan kuyruğa alınmış alımı kullanmanızı öneririz.
Sürekli veri alımını yapılandırmanın birden çok yolu vardır. Kullanım örneğiniz için en uygun seçeneği belirlemek için aşağıdaki karar ağacını kullanın:
Daha fazla bilgi için ilgili belgelere bakın:
Çıkma | İlgili belgeler |
---|---|
Bağlayıcıların listesi için bkz. Bağlayıcılara genel bakış. | |
Event Hubs veri bağlantısı oluşturun. Event Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar. | |
Gerçek zamanlı akış verisi işlem hatları oluşturmaya yönelik bir dağıtılmış akış platformu olan Apache Kafka'dan veri alın. | |
IoT Hub veri bağlantısı oluşturun. IoT Hubs ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar. | |
Event Grid veri bağlantısı oluşturun. Event Grid ile tümleştirme azaltma, yeniden denemeler, izleme ve uyarılar gibi hizmetler sağlar. | |
Apache Spark, Apache Kafka, Azure Cosmos DB, Fluent Bit, Logstash, Açık Telemetri, Power Automate, Splunk ve daha fazlası gibi ilgili bağlayıcının yönergelerine bakın. Daha fazla bilgi için bkz . Bağlayıcılara genel bakış. | |
Kusto istemci kitaplıkları C#, Python, Java, JavaScript, TypeScript ve Go için kullanılabilir. Verilerinizi işlemek için kod yazabilir ve ardından Verileri Azure Veri Gezgini tablonuza almak için Kusto Alma kitaplığını kullanabilirsiniz. Veri alımından önce desteklenen biçimlerden birinde olmalıdır. |
Not
Akış alımı tüm alım yöntemleri için desteklenmez. Destek ayrıntıları için belirli alım yönteminin belgelerine bakın.
Yönetim komutları ile doğrudan alma
Azure Veri Gezgini, veri yönetimi hizmetini kullanmak yerine verileri doğrudan kümenize alan aşağıdaki alım yönetimi komutlarını sunar. Bunlar yalnızca keşif ve prototip oluşturma için kullanılmalı, üretim veya yüksek hacimli senaryolarda kullanılmamalıdır.
- Satır içi alma: .ingest satır içi komutu, komut metninin bir parçası olarak alınacak verileri içerir. Bu yöntem, doğaçlama test amaçlarına yöneliktir.
- Sorgudan alma: .set, .append, .set-or-append veya .set-or-replace komutları , sorgunun veya komutun sonuçları olarak alınacak verileri dolaylı olarak belirtir.
- Depolamadan alma: .ingest komutu, Azure Blob Depolama gibi dış depolamadan alınacak verileri alır, kümeniz tarafından erişilebilir ve komutu tarafından işaret edilir.
Alım yöntemlerini karşılaştırma
Aşağıdaki tabloda ana alım yöntemleri karşılaştırır:
Alma adı | Veri türü | En büyük dosya boyutu | Akış, kuyruğa alınmış, doğrudan | En yaygın senaryolar | Dikkat edilmesi gerekenler |
---|---|---|---|---|---|
Apache Spark bağlayıcısı | Spark ortamı tarafından desteklenen her biçim | Sınırsız | Kuyruğa alındı | Mevcut işlem hattı, alımdan önce Spark'ta ön işleme, Spark ortamının desteklediği çeşitli kaynaklardan güvenli (Spark) akış işlem hattı oluşturmanın hızlı yolu. | Spark kümesinin maliyetini göz önünde bulundurun. Toplu yazma için Event Grid için Azure Veri Gezgini veri bağlantısı ile karşılaştırın. Spark akışı için olay hub'ına yönelik veri bağlantısıyla karşılaştırın. |
Azure Data Factory (ADF) | Desteklenen veri biçimleri | Sınırsız. ADF kısıtlamalarını devralır. | Kuyruğa alındı veya ADF tetikleyicisi başına | Excel ve XML gibi desteklenmeyen biçimleri destekler ve 90'dan fazla kaynaktan büyük dosyaları perm üzerinden buluta kopyalayabilir | Bu yöntem, veriler alınana kadar nispeten daha fazla zaman alır. ADF tüm verileri belleğe yükler ve ardından veri alımına başlar. |
Event Grid | Desteklenen veri biçimleri | 1 GB sıkıştırılmamış | Kuyruğa alındı | Azure depolamadan sürekli alma, Azure depolamadaki dış veriler | Alma işlemi blob yeniden adlandırma veya blob oluşturma eylemleriyle tetiklenebilir |
Olay Hub’ı | Desteklenen veri biçimleri | Yok | Kuyruğa alındı, akış | İletiler, olaylar | |
Veri deneyimi alma | *SV, JSON | 1 GB sıkıştırılmamış | Kuyruğa alınmış veya doğrudan alma | Tek seferlik, tablo şeması oluşturma, Event Grid ile sürekli alım tanımı, kapsayıcı ile toplu alım (5.000 bloba kadar; geçmiş alımı kullanırken sınır yok) | |
IoT Hub’ı | Desteklenen veri biçimleri | Yok | Kuyruğa alındı, akış | IoT iletileri, IoT olayları, IoT özellikleri | |
Kafka bağlayıcısı | Avro, ApacheAvro, JSON, CSV, Parquet ve ORC | Sınırsız. Java kısıtlamalarını devralır. | Kuyruğa alındı, akış | Mevcut işlem hattı, kaynaktan yüksek hacimli tüketim. | Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir. |
Kusto istemci kitaplıkları | Desteklenen veri biçimleri | 1 GB sıkıştırılmamış | Kuyruğa alındı, akış, doğrudan | Kurumsal gereksinimlere göre kendi kodunuzu yazma | Programlı alım, alma işlemi sırasında ve sonrasında depolama işlemlerini en aza indirerek alım maliyetlerini (COG) azaltmak için iyileştirilmiştir. |
LightIngest | Desteklenen veri biçimleri | 1 GB sıkıştırılmamış | Kuyruğa alınmış veya doğrudan alma | Veri geçişi, ayarlanmış alım zaman damgaları ile geçmiş verileri, toplu alım | Büyük/küçük harfe duyarlı ve alana duyarlı |
Logic Apps | Desteklenen veri biçimleri | 1 GB sıkıştırılmamış | Kuyruğa alındı | İşlem hatlarını otomatikleştirmek için kullanılır | |
LogStash | JSON | Sınırsız. Java kısıtlamalarını devralır. | Kuyruğa alındı | Mevcut işlem hattı, girişlerden yüksek hacimli tüketim için Logstash'in olgun ve açık kaynak doğasını kullanın. | Tercih, birden çok üreticinin veya tüketici hizmetinin mevcut kullanımına veya istenen hizmet yönetimi düzeyine göre belirlenebilir. |
Power Automate | Desteklenen veri biçimleri | 1 GB sıkıştırılmamış | Kuyruğa alındı | Akışın bir parçası olarak alma komutları. İşlem hatlarını otomatikleştirmek için kullanılır. |
Diğer bağlayıcılar hakkında bilgi için bkz. Bağlayıcılara genel bakış.
İzinler
Aşağıdaki listede çeşitli alım senaryoları için gereken izinler açıklanmaktadır:
- Yeni tablo oluşturmak için en az Veritabanı Kullanıcısı izinleri gerekir.
- Şemayı değiştirmeden mevcut bir tabloya veri almak için en az Veritabanı Alma izni gerekir.
- Varolan bir tablonun şemasını değiştirmek için en az Tablo Yönetici veya Veritabanı Yönetici izinleri gerekir.
Daha fazla bilgi için bkz . Kusto rol tabanlı erişim denetimi.
Alma işlemi
Aşağıdaki adımlarda genel alım işlemi özetlenmiştir:
Toplu işlem ilkesini ayarlama (isteğe bağlı):Veri alımı toplu işleme ilkesine göre toplu olarak oluşturulur. Yönergeler için bkz. aktarım hızı için iyileştirme.
Bekletme ilkesini ayarlama (isteğe bağlı):Veritabanı bekletme ilkesi gereksinimlerinize uygun değilse, bunu tablo düzeyinde geçersiz kılın. Daha fazla bilgi için bkz . Bekletme ilkesi.
Tablo oluşturma: Veri al deneyimini kullanıyorsanız, alım akışının bir parçası olarak bir tablo oluşturabilirsiniz. Aksi takdirde, Azure Veri Gezgini web kullanıcı arabiriminde veya .create table komutuyla veri alımından önce bir tablo oluşturun.
Şema eşlemesi oluşturma: Şema eşlemeleri , kaynak veri alanlarını hedef tablo sütunlarına bağlamaya yardımcı olur. CSV, JSON ve AVRO gibi satır odaklı biçimler ve Parquet gibi sütun odaklı biçimler de dahil olmak üzere farklı eşleme türleri desteklenir. Çoğu yöntemde eşlemeler tabloda da önceden oluşturulabilir.
Güncelleştirme ilkesini ayarlama (isteğe bağlı):Parquet, JSON ve Avro gibi belirli veri biçimleri, basit alma zamanı dönüştürmelerini etkinleştirir. Alma sırasında daha karmaşık işlemler için güncelleştirme ilkesini kullanın. Bu ilke, özgün tablo içindeki alınan veriler üzerinde ayıklamaları ve dönüştürmeleri otomatik olarak yürütür, ardından değiştirilen verileri bir veya daha fazla hedef tabloya alır.
Veri alma: Verileri getirmek için tercih ettiğiniz alım aracını, bağlayıcıyı veya yöntemi kullanın.
İlgili içerik
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin