Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
İşlem hattı güncelleştirmesi çalıştırıldığında, sonuçları kaynak verilerin geçerli durumunu yansıtması için işlem hattında tanımlanan gerçekleştirilmiş görünümleri ve akış tablolarını yeniler. Veri kümesinin nasıl yenilenmesi türüne ve yenileme türüne bağlıdır. Güncelleştirmeleri tetikleme ve yönetme hakkında bilgi için bkz. İşlem hattı güncelleştirmesi çalıştırma.
Yenileme türleri
Varsayılan olarak, bir işlem hattındaki her somutlaştırılmış görünüm ve akış tablosu her güncelleştirmede yenilenir. Aşağıdaki tabloda, her yenileme türünün nasıl davrandığını özetlemektedir:
| Güncelleştirme türü | Gerçekleştirilmiş görünüm | Akış tablosu |
|---|---|---|
| Yenile (varsayılan) | Sonuçları, tanımlama sorgusunun geçerli sonuçlarını yansıtacak şekilde güncelleştirir. Azure Databricks maliyeti inceler ve daha verimli olduğunda artımlı yenileme gerçekleştirir. | Akış tablolarında ve akışlarında tanımlanan mantık aracılığıyla yeni kayıtları işler. |
| Tam yenileme | Sonuçları, tanımlama sorgusunun geçerli sonuçlarını yansıtacak şekilde yeniden derler. | Akış tablolarındaki verileri temizler, akışlardaki denetim noktalarını temizler ve veri kaynağındaki tüm kayıtları yeniden işler. |
| Akış akışı denetim noktalarını sıfırlama | Gerçekleştirilmiş görünümler için geçerli değildir. | Akışlardaki denetim noktalarını temizler, ancak akış tablolarındaki verileri temizlemez, ardından veri kaynağındaki tüm kayıtları yeniden işler. |
Yenile (varsayılan)
Varsayılan yenileme, veri kümesini tanımlama sorgusunun geçerli sonuçlarını yansıtacak şekilde güncelleştirir.
Akış tabloları yapıları gereği artımlıdır. Akış tablosu yenilemesi, tablonun geçerli tanımını kullanarak yalnızca son güncelleştirmeden sonra gelen kayıtları değerlendirir ve ekler. Eski kayıtlar yeniden işlenmez, bu nedenle önceden yazılmış verileri etkileyecek değişiklikler uygulanmaz. Başka bir deyişle, akış tablosunun varsayılan yenilemesi, veri doğruluğunu daha düşük süre ve kaynak maliyetleriyle takas eder. Eski verileri yeniden işlemek için tam yenilemeyi çalıştırın veya akış denetim noktalarını sıfırlayın.
Gerçekleştirilmiş görünümler, artımlı yenileme yapmaya çalışır; ancak tablonun tam doğrulukta kalmasını sağlamak için gerektiğinde tüm kayıtları yeniden işler. Gerçekleştirilmiş görünüm iki yöntemden biri kullanılarak yenilenir:
- Artımlı yenileme , son güncelleştirmeden bu yana yapılan değişiklikleri tanımlar ve yalnızca yeni veya değiştirilmiş verileri birleştirir.
- Tam yenileme tüm sorguyu çalıştırır ve artımlı yenileme mümkün olmadığında veya uygun maliyetli olmadığında mevcut verilerin yerini alır.
varsayılan olarak, Azure Databricks daha uygun maliyetli yöntemi seçmek için bir maliyet modeli kullanır. Yenileme ilkesiyle bu seçimi geçersiz kılabilirsiniz. Artımlı yenileme için semantik, gereksinimler ve desteklenen SQL için bkz. Gerçekleştirilmiş görünümler için artımlı yenileme.
Note
Artan yenileme yalnızca sunucusuz boru hatlarında mümkündür. Klasik hesaplamada, maddeleşmiş bir görünüm her zaman tamamen yeniden hesaplanır. İki hesaplama türünün karşılaştırması için bkz. Pipelines için Sunucusuz vs. klasik hesaplama.
Tam yenileme
Tam yenileme, veri kümesini tanımlayan mantık aracılığıyla kaynak verilerden gelen tüm kayıtları yeniden işler:
- Bir somutlaştırılmış görünüm için tam yenileme, tüm sonucu yeniden hesaplar. Gerçekleştirilmiş görünümler her zaman toplu iş sorgusuyla aynı sonucu döndüreceği için, varsayılan yenileme ve tam yenileme aynı verileri üretir.
- Akış tablosu için, tam yenileme tabloyu kısaltır, akışlarının akış denetim noktalarını temizler ve kaynaktan her kaydı yeniden işler.
Tam yenileme tüm kaynak verileri yeniden işlediğinden, zaman ve maliyet bu verilerin boyutuyla ölçeklendirilir. Databricks, bir tanım veya şema değişikliğinin mevcut verilerle uyumlu olmaması gibi durumlarda yalnızca gerektiğinde tam yenileme çalıştırmanızı önerir. Bir akış tablosunun tam yenilenmesi, kaynak artık orijinal verileri saklamıyorsa (örneğin, saklama süresini aşmış bir Kafka topic’i), kayıtların kaybolmasına neden olabilir.
Akış tablosunun tam yenilemesinin ne zaman ve nasıl çalıştırılması için bkz. Akış tabloları için tam yenileme.
Denetim noktalarını sıfırlama
Denetim noktalarını sıfırlama yalnızca akış tabloları için geçerlidir. Seçili akışlar için akış denetim noktalarını, akış tablosuna önceden yazılmış olan verileri temizlemeden temizler, ardından bu akışlar aracılığıyla kaynaktan tüm kayıtları yeniden işler. Tam yenilemeden farklı olarak, mevcut tablo verileri korunur.
Seçili akışlar için bir akış kaynağını yeniden işlemek istediğinizde ( örneğin, bir akışın mantığını değiştirdikten sonra) tabloyu kesmeden kullanın.
Denetim noktalarını sıfırlamak, Lakeflow işlem hatları REST API'si aracılığıyla tetiklenir. Adımlar için bkz. Seçmeli akış akışlarının denetim noktalarını temizlemek için işlem hattı güncelleştirmesini başlatma.