Birimlerdeki dosyalar ve çalışma alanı dosyaları için öneriler

Verileri veya dosyaları Azure Databricks'e yüklediğinizde veya kaydettiğinizde, Unity Kataloğu birimlerini veya çalışma alanı dosyalarını kullanarak bu dosyaları depolamayı seçebilirsiniz. Bu makale, bu konumları kullanmaya yönelik öneriler ve gereksinimler içerir. Birimler ve çalışma alanı dosyaları hakkında daha fazla bilgi için bkz. Unity Kataloğu birimleri nedir? ve Çalışma alanı dosyaları nedir?.

Databricks verileri, kitaplıkları ve yapıtları depolamak için Unity Kataloğu birimlerinin kullanılmasını önerir. Not defterlerini, SQL sorgularını ve kod dosyalarını çalışma alanı dosyaları olarak depolayın. Çalışma alanı dosya dizinlerini git klasörleri olarak yapılandırarak uzak Git depolarıyla eşitleme yapabilirsiniz. Bkz. Azure Databricks Git klasörleri. Test senaryoları için kullanılan küçük veri dosyaları da çalışma alanı dosyaları olarak depolanabilir.

Aşağıdaki tablolar, dosya türünüz veya özellik gereksinimlerinize bağlı olarak dosyalar için belirli öneriler sağlar.

Dosya türleri

Aşağıdaki tabloda dosya türleri için depolama önerileri sağlanmaktadır. Databricks, örnek olarak bu tabloda sağlananların ötesinde birçok dosya biçimi destekler.

Dosya türü	Recommendation
Not defterleri ve sorgular gibi Databricks nesneleri	Çalışma alanı dosyaları olarak depolama
Parquet dosyaları ve ORC dosyaları gibi yapılandırılmış veri dosyaları	Unity Kataloğu birimlerinde depolama
Metin dosyaları (, .csv) ve JSON dosyaları (.txt) gibi yarı yapılandırılmış veri dosyaları.json	Unity Kataloğu birimlerinde depolama
Görüntü dosyaları (, ), ses dosyaları (.png.svg) ve belge dosyaları.mp3 (, .pdf) gibi yapılandırılmamış veri dosyaları.docx	Unity Kataloğu birimlerinde depolama
Geçici veya erken veri keşfi için kullanılan ham veri dosyaları	Unity Kataloğu birimlerinde depolama
Günlük dosyaları gibi işlemsel veriler	Unity Kataloğu birimlerinde depolama
ZIP dosyaları gibi büyük arşiv dosyaları (.zip)	Unity Kataloğu birimlerinde depolama
Python dosyaları (), Java dosyaları (.py) ve Scala dosyaları.java (.scala) gibi kaynak kod dosyaları	Varsa, not defterleri ve sorgular gibi diğer ilgili nesnelerle çalışma alanı dosyaları olarak depolayın. Databricks, bu dosyaların sürüm denetimi ve değişiklik izlemesi için bir Git klasöründe yönetilmesini önerir.
Python tekerlekleri () ve JAR dosyaları.whl (.jar) gibi yapıtlar ve kitaplıklar oluşturma	Unity Kataloğu birimlerinde depolama
Yapılandırma dosyaları	Çalışma alanları arasında gereken yapılandırma dosyalarını Unity Kataloğu birimlerinde depolayın, ancak bir Git klasöründe proje dosyalarıysa çalışma alanı dosyaları olarak depolayın.

Özellik karşılaştırması

Aşağıdaki tabloda çalışma alanı dosyalarının ve Unity Kataloğu birimlerinin özellik teklifleri karşılaştırlanmıştır.

Feature	Çalışma alanı dosyaları	Unity Kataloğu hacimleri
Dosya erişimi	Çalışma alanı dosyalarına yalnızca aynı çalışma alanı içinde erişilebilir.	Dosyalara çalışma alanları arasında genel olarak erişilebilir.
Programlı erişim	Dosyalara aşağıdakiler kullanılarak erişilebilir: Spark API'leri FUSE dbutils REST API Databricks SDK'ları Databricks CLI	Dosyalara aşağıdakiler kullanılarak erişilebilir: Spark API'leri FUSE dbutils REST API Databricks SDK'ları Databricks SQL Bağlayıcıları Databricks CLI Databricks Terraform Sağlayıcısı
Bildirim temelli Otomasyon Paketleri	Varsayılan olarak, kitaplıkları ve not defterleri ve sorgular gibi Databricks nesnelerini içeren bir paketteki tüm dosyalar çalışma alanı dosyaları olarak güvenli bir şekilde dağıtılır. İzinler paket yapılandırmasında tanımlanır.	Paketler, çalışma alanı dosyalarının boyut sınırını aştığında, zaten birimlerde bulunan kitaplıkları içerecek şekilde özelleştirilebilir. Bkz. Bildirim Temelli Otomasyon Paketleri kitaplık bağımlılıkları.
Dosya izin düzeyi	dosya git klasöründeyse, izinler Git klasörü düzeyindedir, aksi takdirde izinler dosya düzeyinde ayarlanır.	İzinler birim düzeyindedir.
İzin yönetimi	İzinler çalışma alanındaki ACL'ler tarafından yönetilir ve bağlı olduğu çalışma alanıyla sınırlıdır.	Meta veriler ve izinler Unity Catalogtarafından yönetiliyor. Bu izinler kataloğa erişimi olan tüm çalışma alanlarında geçerlidir.
Dış depolama birimi monte etme	Harici depolama birimlerinin bağlanmasını desteklemez	Dış birim oluşturarak dış depolamada önceden var olan veri kümelerini işaret etme seçeneği sağlar. Bkz. Unity Kataloğu birimleri nelerdir?.
UDF desteği	Desteklenmiyor	UDF'lerden yazma, Volumes FUSE kullanılarak desteklenir
Dosya boyutu	Not defterleriyle birlikte gereken kaynak kod dosyaları (.py, .md, .yml) gibi 500 MB'tan küçük dosyaları depolayın.	Çok büyük veri dosyalarını bulut hizmeti sağlayıcıları tarafından belirlenen sınırlarda depolayın.
Yükle ve indir	500 MB'a kadar yükleme ve indirme desteği.	5 GB kadar yükleme ve indirme desteği. Yerel dosyaları bir birime yüklemek için bkz. Unity Kataloğu birimlerindeki dosyalarla çalışma. Dosyaları İnternet'ten bir birime indirmek için bkz. İnternet'ten veri indirme.
Tablo oluşturma desteği	Tablolar, konum olarak çalışma alanı dosyalarıyla oluşturulamaz.	COPY INTO bölümünde açıklanan , Otomatik Yükleyici veya diğer seçenekleri çalıştırarak bir birimdeki dosyalardan tablolar oluşturun.
Dizin yapısı ve dosya yolları	Dosyalar, her biri kendi izin modeline sahip iç içe dizinlerde düzenlenir: Çalışma alanında her kullanıcı ve hizmet sorumlusu için birer tane olan kullanıcı giriş dizinleri Git klasörleri Shared	Dosyalar bir birimin içindeki iç içe dizinlerde düzenlenir Bkz. Unity Kataloğu'nda verilere erişme.
Dosya geçmişi	Dosya değişikliklerini izlemek için çalışma alanları içindeki Git klasörünü kullanın.	Denetim günlükleri kullanılabilir.