CSV ayrıştırıcı alımı kavramları

CSV (virgülle ayrılmış değerler) dosyası, verileri tablo yapılandırılmış biçimde kaydetmek için kullanılan virgülle ayrılmış bir metin dosyasıdır.

CSV Ayrıştırıcı DAG,müşterinin OSDU® İyi Bilinen Şema (WKS) ile eşleşmeyen bir şema olan özel şemayı temel alarak Enerji için Microsoft Azure Data Manager örneğine veri yüklemesine olanak tanır. Müşterilerin verileri yüklemeden önce Şema hizmetini kullanarak özel şemayı oluşturması ve kaydetmesi gerekir.

CSV Ayrıştırıcı DAG' sı, veri yükleme işlemine elt (Yükü ayıklama ve dönüştürme) yaklaşımı uygular; yani veriler ilk olarak kaynak sistemden CSV biçiminde ayıklanır ve Enerji için Azure Data Manager örneğine yüklenir. Daha sonra bir eşleme hizmeti kullanılarak OSDU® İyi Bilinen Şemasına dönüştürülebilir.

CSV alımı ne yapar?

CSV Ayrıştırıcı DAG,müşterilerin CSV verilerini Enerji için Microsoft Azure Data Manager örneğine yüklemesine olanak tanır. Csv dosyasının her satırını ayrıştırarak bir depolama meta veri kaydı oluşturur. CSV verilerinin kayıtlı özel şemaya uygun olduğundan emin olmak için gerçekleştirir schema validation . Şema veri türü tanımına göre sütunlar üzerinde otomatik olarak güncelleştirilir type coercion . Kaynak, varlık türü ve verilerdeki doğal anahtarlar unique id birleştirilerek oluşturulan Base64 kodlanmış dizeyi birleştirerek CSV kaydının her satırı için oluşturur. Birim hizmetini kullanarak bildirilen başvuru bilgileri çerçevesini uygun kalıcı başvuruya dönüştürerek gerçekleştirir unit conversion . Şemada CRS conversion bulunan Başvuru Çerçevesi (FoR) bilgilerine göre uzamsal olarak algılayan sütunlar için performans gösterir. Kaynak şemada bildirdiği gibi meta veriler oluşturur relationships . Son olarak, persists Depolama hizmetini kullanan meta veri kaydıdır.

CSV ayrıştırıcı alımı bileşenleri

CSV Ayrıştırıcı DAG iş akışı aşağıdaki hizmetlerden oluşur:

• Dosya hizmeti , Enerji için Azure Data Manager örneğindeki dosyaların yönetimini kolaylaştırır. Kullanıcının veri platformundan dosyaları güvenli bir şekilde karşıya yüklemesine, bulmasına ve indirmesine olanak tanır.
• Şema hizmeti , Enerji için Azure Data Manager örneğinde şemaların yönetimini kolaylaştırır. Kullanıcının veri platformunda şema oluşturmasını, getirmesini ve aramasını sağlar.
• Depolama Hizmeti, veri platformuna alınan etki alanı varlıkları için meta veri bilgilerinin depolanmasını kolaylaştırır. Ayrıca, aşağı akış hizmetlerinin alınan meta veri kayıtlarında işlem gerçekleştirmesine olanak sağlayan depolama kaydı değişiklik olaylarını da tetikler.
• Birim Hizmeti , birimlerin yönetimini ve dönüştürülmesini kolaylaştırır
• İş akışı hizmeti , Enerji için Azure Data Manager örneğinde iş akışlarının yönetimini kolaylaştırır. Airflow düzenleme motorunun üstünde bulunan bir sarmalayıcı hizmetidir.

CSV alma bileşenleri diyagramı

CSV ayrıştırıcı alımı iş akışı

CSV Ayrıştırıcı DAG iş akışını yürütmek için kullanıcının geçerli bir yetkilendirme belirteci ve şu hizmetlere uygun erişimi olmalıdır: Arama, Depolama, Şema, Dosya Hizmeti, Yetkilendirme, Yasal ve İş Akışı.

Aşağıdaki iş akışı diyagramıNDA CSV Ayrıştırıcı DAG iş akışı gösterilmektedir:

CSV Ayrıştırıcı DAG iş akışını yürütmek için, kullanıcının önce iş akışı hizmetini kullanarak şemayı oluşturması ve kaydetmesi gerekir. Şema oluşturulduktan sonra kullanıcı, CSV dosyasını Enerji örnekleri için Microsoft Azure Data Manager'a yüklemek için Dosya hizmetini kullanır ve ayrıca dosya genel türünün depolama kaydını oluşturur. Dosya hizmeti daha sonra kullanıcıya, İş Akışı hizmetini kullanarak CSV Ayrıştırıcı iş akışını tetiklerken kullanılan bir dosya kimliği sağlar. İş Akışı hizmeti, kullanıcının CSV Ayrıştırıcı iş akışı çalıştırmasının durumunu izlemek için kullanabileceği bir çalıştırma kimliği sağlar.

OSDU®, Open Group'un ticari markasıdır.

Sonraki adımlar

CSV ayrıştırıcı öğreticisine ilerleyin ve CSV ayrıştırıcı alımı gerçekleştirmeyi öğrenin

Öğretici: CSV ayrıştırıcı alımı gerçekleştirmeye yönelik örnek adımlar