Yapılandırılmış dosyaları Delta tablolarına dönüştürme

Yapılandırılmış dosyaları sorgulanabilir Delta tablolarına dönüştürmek için kısayol dönüşümlerini kullanın. Kaynak verileriniz zaten CSV, Parquet, JSON veya Excel gibi bir tablo biçimindeyse, dosya dönüşümleri bu verileri otomatik olarak kopyalayıp Delta Lake biçimine dönüştürür; böylece ETL işlem hatları oluşturmadan SQL, Spark veya Power BI kullanarak sorgulayabilirsiniz.

Özetleme, çeviri veya yaklaşım analizi gibi yapay zeka işlemesi gereken yapılandırılmamış metin dosyaları için bkz. Kısayol dönüştürmeleri (yapay zeka destekli).

Kısayol dönüştürmeleri her zaman kaynak verilerle eşitlenmiş durumda kalır. Fabric Spark işlem birimi dönüştürmeyi yürütür ve OneLake kısayolunun başvurduğu verileri yönetilen bir Delta tablosuna kopyalar. Otomatik şema işleme, derin düzleştirme özellikleri ve birden çok sıkıştırma biçimi desteği sayesinde, kısayol dönüştürmeleri ETL işlem hatlarını oluşturma ve sürdürme karmaşıklığını ortadan kaldırır.

Kısayol dönüştürmeleri neden kullanılır?

• Otomatik dönüştürme : Fabric, el ile işlem hattı düzenlemesi olmadan kaynak dosyaları kopyalayıp Delta biçimine dönüştürür.
• Sık eşitleme – Fabric iki dakikada bir kısayolu sorgular ve değişiklikleri senkronize eder.
• Özyinelemeli klasör bulma – Doku, tüm dizin hiyerarşisinde dosyaları algılamak ve dönüştürmek için alt klasörler arasında otomatik olarak geçiş sağlar.
• Delta Lake çıkışı – Sonuçta elde edilen tablo herhangi bir Apache Spark altyapısıyla uyumludur.
• Miras alınmış yönetim – Kısayol, OneLake soyağacını, izinlerini ve Microsoft Purview ilkelerini devralır.

Önkoşullar

Gereksinim	Ayrıntılar
Microsoft Fabric Ürün Birimi	Lakehouse iş yüklerini destekleyen kapasite veya deneme.
Kaynak veriler	Homojen CSV, Parquet, JSON veya Excel dosyaları içeren bir klasör.
Çalışma alanı rolü	Katılımcı veya üzeri.

Desteklenen dosya biçimleri

Kısayol dönüştürmeleri, OneLake kısayolları tarafından desteklenen herhangi bir veri kaynağındaki klasörlerle çalışır.

Kaynak dosya biçimi	Desteklenen uzantılar	Desteklenen sıkıştırma türleri	Desteklenen kısayol türü	Notlar
CSV (UTF-8, UTF-16)	.csv, .txt (sınırlayıcı), .tsv (sekmeyle ayrılmış), .psv (boruyla ayrılmış)	.csv.gz, .csv.bz2	Tablo kısayolu	.csv.zip ve .csv.snappy desteklenmez.
Parquet	.parquet	.parquet.snappy, .parquet.gzip, .parquet.lz4, .parquet.brotli, , .parquet.zstd	Tablo kısayolu	Yok.
JSON	.json, .jsonl, .ndjson	.json.gz, .json.bz2, .jsonl.gz, , .ndjson.gz, .jsonl.bz2, .ndjson.bz2	Tablo kısayolu	.json.zip ve .json.snappy desteklenmez.
Excel	.xlsx, .xls	Uygulanamaz	Tablo kısayolu veya şema kısayolu	Tablo kısayolları sayfaları tek bir Delta tablosunda birleştirir. Şema kısayolları, sayfa başına bir Delta tablosu oluşturur. .xls (eski ikili biçim) en iyi çaba temelinde desteklenir; .xlsx önerilen biçimdir.

Uyarı

Excel dosya dönüştürmeleri şu anda önizleme aşamasındadır. CSV, Parquet ve JSON dönüştürmeleri genel olarak kullanılabilir.

Veri dönüştürme ile tablo kısayolu oluşturma

Tablo kısayolu, bir lakehouse'un Tablolar klasöründe bir Delta tablosu oluşturur. CSV, Parquet, JSON veya Excel dosyalarını dönüştürmek için bunu kullanın.

Birden çok sayfa içeren Excel dosyaları için, tablo kısayolu seçili sayfaları tek bir Delta tablosunda birleştirir. Sayfa başına bir Delta tablosuna ihtiyacınız varsa, bunun yerine bir şema kısayolu oluşturun.

1. Lakehouse'unuzda , Tablolar klasörünün altındaki şemaya sağ tıklayın ve yeni tablo kısayolu'nu seçin. Azure Data Lake, Azure Blob Depolama, Dataverse, Amazon S3, GCP, SharePoint veya OneDrive gibi kısayol kaynağınızı seçin.

   

2. CSV, Parquet veya JSON dosyalarınızın bulunduğu klasörü seçin veya .xlsx dosyalarınızı içeren klasörü seçin.

3. Dönüştür adımında Delta dönüştürme ayarlarını yapılandırın:

   • CSV dosyaları:

     • Sınırlayıcı : Virgül, noktalı virgül, kanal, sekme, ve işareti veya boşluk gibi sütunları ayırmak için kullanılan karakteri seçin.
     • Üst bilgi olarak ilk satır : İlk satırın sütun adları içerip içermediğini gösterir.

   • Excel dosyaları:

     • Üst bilgi olarak ilk satır : İlk satırın sütun adları içerip içermediğini gösterir.
     • Eklenecek sayfalar – Tüm sayfaları veya sayfaların yalnızca bir alt kümesini seçin. Sayfaları ada, dizine göre veya joker karakter desenlerini kullanarak seçebilirsiniz (örneğin, Sales_* gibi joker karakter desenleri, Sales_Q1 ve Sales_2026 gibi sayfa isimlerini eşleştirir). Joker karakter eşleştirmesi büyük/küçük harfe duyarlı olmaz.

4. Kısayol yapılandırmasını gözden geçirin. Önizleme kısayolları adımında, Oluştur'u seçmeden önce bu ayarları da yapılandırabilirsiniz:

   • Kısayol adı – Kısayol adını düzenlemek için kalem simgesini seçin.
   • Alt klasörleri dahil et – İç içe geçmiş alt dizinlerdeki dosyaların özyinelemeli işlenmesini etkinleştirin. Bu seçenek, yeni dönüştürmeler için varsayılan olarak seçilidir. Yalnızca en üst düzey klasörü işlemek istiyorsanız onay kutusunu temizleyin.

5. Yenilemeleri izleyin ve kısayol izleme merkezini yönetme bölümünde günlükleri görüntüleyin.

Fabric Spark hesaplama Delta tablosunu oluşturur ve ilerlemeyi Kısayolu Yönet bölmesinde gösterir.

Excel dosyaları için, elde edilen Delta tablosu her satırı kaynak dosyası ve sayfasına kadar izleyebilmeniz için __filepath__ ve __sheetname__ meta veri sütunlarını içerir.

Veri dönüştürme ile şema kısayolu oluşturma

Şema kısayolu, bir lakehouse'un Tablolar klasöründe yeni bir şema altında görünen birden çok Delta tablosu oluşturur. Excel çalışma kitabında birden çok sayfa olduğunda ve sayfa başına bir Delta tablosu istediğinizde bunu kullanın.

Veri dönüştürmeye sahip şema kısayolları şu anda yalnızca Excel (.xlsx) dosyaları için kullanılabilir. Ayrıca şemaları etkinleştirilmiş bir göl evi gerektirir. Daha fazla bilgi için bkz. Lakehouse şemaları.

1. Göl evinde Tablolar klasörüne sağ tıklayın ve ardından Yeni şema kısayolu'na tıklayın.

   

2. Bu kısayol için veri kaynağını seçin ve dosyalarınızı içeren .xlsx klasöre gidin.

3. Dönüştür adımında Delta dönüştürme ayarlarını yapılandırın:

   • Üst bilgi olarak ilk satır : İlk satırın sütun adları içerip içermediğini gösterir.
   • Eklenecek sayfalar – Tüm sayfaları veya sayfaların yalnızca bir alt kümesini seçin. Sayfaları ada, dizine göre veya joker karakter desenlerini kullanarak seçebilirsiniz.

   

4. Kısayol yapılandırmasını gözden geçirin. Önizleme kısayolları adımında, Oluştur'u seçmeden önce bu ayarları da yapılandırabilirsiniz:

   • Kısayol adı – Kısayol adını düzenlemek için kalem simgesini seçin.
   • Alt klasörleri dahil et – İç içe geçmiş alt dizinlerdeki dosyaların özyinelemeli işlenmesini etkinleştirin. Bu seçenek, yeni dönüştürmeler için varsayılan olarak seçilidir. Yalnızca en üst düzey klasörü işlemek istiyorsanız onay kutusunu temizleyin.

5. Yenilemeleri izleyin ve kısayol izleme merkezini yönetme bölümünde günlükleri görüntüleyin.

Fabric Spark işlem düğümü, seçili sayfalar için ayrı Delta tabloları oluşturur ve bunları kaynak dosyalarla senkronize tutar. Sayfa adları otomatik olarak geçerli tablo adlarına dönüştürülür. Örneğin, Sales Data (Q1) adlı bir sayfa Sales_Data_Q1 olur.

Eşitleme nasıl çalışır?

İlk yüklemeden sonra Fabric Spark hesaplama:

• Kısayol hedefini her iki dakikada bir yoklar.
• Yeni veya değiştirilmiş dosyaları algılar ve satırları buna göre ekler veya üzerine yazar.
• Silinen dosyaları algılar ve karşılık gelen satırları kaldırır.

Alt klasör desteği etkinleştirildiğinde, sistem hedef klasör içindeki iç içe geçmiş tüm alt dizinlerde dosyaları yinelemeli olarak bulur ve işler.

İzleme ve sorun giderme

Kısayol dönüştürmeleri, alma durumunu izlemenize ve sorunları tanılamanıza yardımcı olmak için izleme ve hata işlemeyi içerir.

1. Lakehouse'u açın ve dönüşüm işleminizi destekleyen kısayola sağ tıklayın.

2. Kısayolu yönet'i seçin.

3. Ayrıntılar bölmesinde şunları görüntüleyebilirsiniz:

   • Durum – Son tarama sonucu ve geçerli eşitleme durumu.

   • Yenileme geçmişi – Satır sayıları ve hata ayrıntılarıyla eşitleme işlemlerinin kronolojik listesi.

   • Alt klasörleri dahil et – Alt klasör dönüştürmenin etkinleştirilip etkinleştirilmediğini gösterir (Evet veya Hayır).

     

4. Sorun gidermek için günlüklerde daha fazla ayrıntı görüntüleyin.

   

Sınırlamalar

Şu anda kısayol dönüştürmeleri için aşağıdaki sınırlamalar geçerlidir.

Genel sınırlamalar

• Kaynak biçimi: CSV, JSON, Parquet ve Excel dosyaları desteklenir.
• Dosya şeması tutarlılığı: Dosyaların aynı şemayı paylaşması gerekir.
• Çalışma alanı kullanılabilirliği: Yalnızca Lakehouse öğelerinde kullanılabilir (Veri Ambarları veya KQL veritabanlarında kullanılamaz).
• Yazma işlemleri: Dönüştürmeler okuma için iyileştirilmiştir. Dönüştürme hedef tablosunda doğrudan MERGE INTO veya DELETE deyimleri desteklenmez.
• Şema kısayolu kullanılabilirliği: Dosya dönüştürmeleri için şema kısayolları yalnızca Excel dosyalarını destekler.

CSV sınırlamaları

• Desteklenmeyen veri türleri: Karma veri türü sütunları, Timestamp_Nanos, Karmaşık mantıksal türler - MAP/LIST/STRUCT, Ham ikili.

Parquet sınırlamaları

• Desteklenmeyen veri türleri: Timestamp_nanos, INT32/INT64 ile Ondalık, INT96, Atanmamış tamsayı türleri - UINT_8/UINT_16/UINT_64, Karmaşık mantıksal türler - MAP/LIST/STRUCT.

JSON sınırlamaları

• Desteklenmeyen veri türleri: Bir dizideki karma veri türleri, JSON içindeki Ham ikili bloblar Timestamp_Nanos.
• Dizi veri türünün düzleştirmesi: Dizi veri türü Delta tablosunda tutulur ve Spark SQL ve PySpark ile erişilebilir. Daha fazla dönüşüm için gümüş katman için Fabric Materialized Lake Views'i kullanın.
• Düzleştirme derinliği: İç içe yapılar beş düzeye kadar düzleştirilir. Daha derin iç içe yerleştirme için ön işleme gerekir.

Excel sınırlamaları

• Hücre aralığı: Veriler A1 hücresinden başlayarak her zaman okunur. Verilerin farklı bir hücrede başladığı veya adlandırılmış tablolar veya aralıklar kullandığı çalışma kitapları hedeflenemez.
• Satırları atla: Asıl verilerin üzerindeki veya altındaki başlık başlıkları, meta veri ön yazıları ve alt bilgi özetleri dışlanamaz. Veri satırları olarak alınıyorlar.
• Şema çıkarımı: Excel dosyaları için şema çıkarımı her zaman etkindir. Başta sıfır olan tanımlayıcılar (örneğin 02134 gibi posta kodları veya 001245 gibi çalışan kimlikleri) baştaki sıfırları kaldıran tamsayılara dönüştürülür.
• Gizli sayfalar: Gizli sayfalar ve sistem sayfaları dahil olmak üzere tüm sayfalar, ada veya dizine göre açıkça filtrelenmediği sürece işlenir.
• Para birimi biçimlendirmesi: Para birimiyle biçimlendirilmiş hücreler (örneğin, $1,234.56) düz sayısal değerlere dönüştürülür. Para birimi simgesi kaldırılmış.
• Duyarlılık etiketleri: Microsoft Purview duyarlılık etiketlerine sahip çalışma kitapları işlenemez.
• Bozuk satırlar: Excel okuyucusu bozuk kayıt yalıtımını desteklemez. Sayfa içindeki bozuk veya tür eşleşmeyen satırlar ayrı ayrı yalıtılamaz ve günlüğe kaydedilemez.
• Sayfa sınırı: 25'ten fazla sayfa içeren dosyalar atlanır.
• Eski biçim:.xls (eski ikili biçim) en iyi çaba temelinde desteklenir ve karmaşık biçimlendirme için daha düşük aslına uygunluk düzeyine sahip olabilir. .xlsx önerilen biçimdir.
• Formül değerlendirmesi: Spark, formül hücrelerinin önbelleğe alınmış değerini okur. Çalışma kitabı hesaplanan değerlerle kaydedilmediyse formül hücreleri boş veya eski görünebilir.

Alt klasör sınırlamaları

• Yalnızca yeni dönüşümler için kullanılabilir. Mevcut dönüştürmeler alt klasör desteğini etkinleştiremez.
• Alt klasör desteği etkinleştirildikten sonra devre dışı bırakılamaz.
• Hedef klasörün içinde iç içe yerleştirilmiş kısayollar izlenmez. Yalnızca fiziksel klasörler ve dosyalar işlenir.
• Belirli alt klasörlerin seçmeli dahil veya hariç tutulması desteklenmez.
• İç içe klasörler SharePoint kısayollarıyla çalışmaz.

Yeni özellikler ve sürümler hakkında bilgi edinmek için Doku Yol Haritası ve Doku Güncelleştirmeleri Blogunu kullanın.

Temizleme

Eşitlemeyi durdurmak için Lakehouse Explorer'dan kısayol dönüştürmesini silin.

Dönüşümün silinmesi, temel alınan dosyaları kaldırmaz.