Azure Data Lake Storage'da Delta tablolarına bağlanma
Delta tablolarındaki verilere bağlanın ve bunları Dynamics 365 Customer Insights - Data'ya getirin.
Delta, Databricks Lakehouse Platformu'nda veri ve tablo depolamanın temeli olan Delta Lake ile ortaya koyulan bir terimdir. Delta Lake, büyük veri iş yüklerine ACID (bölünmezlik, tutarlılık, yalıtım ve dayanıklılık) işlemleri getiren açık kaynak depolama katmanıdır. Daha fazla bilgi için bkz. Delta Lake Belgeleri Sayfası.
Delta biçiminde depolanan verilere bağlanmak için temel nedenler:
- Zamandan ve emekten tasarruf etmek için Delta olarak biçimlendirilmiş verileri doğrudan içeri aktarın.
- Veri gölü verilerinizin kopyasını dönüştürmek ve depolamakla ilişkili işlem ve depolama maliyetlerini ortadan kaldırın.
- Delta sürüm oluşturma ile sağlanan Customer Insights - Data'ya veri alımı işleminin güvenilirliğini otomatik olarak iyileştirin.
Önkoşullar
Azure Data Lake Storage aynı kiracıda ve Customer Insights - Data olarak Azure bölgesinde olmalıdır.
Customer Insights - Data hizmet sorumlusunun, depolama hesabına erişmek için Depolama Blob'u Veri Katılımcısı izinlerine sahip olması gerekir. Daha fazla bilgi için bkz. Hizmet sorumlusuna depolama hesabına erişim izinleri atama.
Veri kaynağını ayarlayan veya güncelleştiren kullanıcının Azure Data Lake Storage hesabında en azından Depolama Blob'u Veri Okuyucu iznine ihtiyacı vardır.
Çevrimiçi hizmetlerde depolanan veriler, verilerin işlendiği veya depolandığı konumdan farklı bir konumda depolanabilir. Çevrimiçi hizmetlerde depolanan verileri içeri aktararak veya verilere bağlanarak, verilerin aktarılabileceğini kabul edersiniz. Microsoft Güven Merkezi'nde daha fazla bilgi edinin.
Delta tablolarının depolama kapsayıcısında bir klasörde olması gerekir ve kapsayıcı kök dizininde bulunamaz. Örneğin:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
- Azure Data Lake Storage'inizdeki veriler Delta tablolarında olmalıdır. Customer Insights - Data, artımlı işleme için en son değişiklikleri tanımlamak üzere tablonun geçmişindeki sürüm özelliğini temel alır.
Azure Data Lake Storage'dan Delta'ya bağlanma
Veri>Veri kaynakları öğesine gidin.
Veri kaynağı ekle'yi seçin.
Azure Data Lake Delta tablolarını seçin.
Veri kaynağı adı ve isteğe bağlı bir Açıklama girin. Ada aşağı akış işlemlerinde başvurulur ve veri kaynağı oluşturulduktan sonra değiştirilemez.
Depolama hesabınızı şunu kullanarak bağlayın: için aşağıdaki seçeneklerden birini belirleyin.
- Azure aboneliği: Abonelik'i ve ardından Kaynak grubu ve Depolama hesabı'nı seçin.
- Azure kaynağı: Kaynak Kimliği'ni girin.
İsteğe bağlı olarak, bir Azure Özel Bağlantı aracılığıyla bir depolama hesabından veri almak istiyorsanız Özel Bağlantıyı Etkinleştir'i seçin. Daha fazla bilgi için bkz. Özel Bağlantılar.
Verilerinizin klasörünü içeren Kapsayıcı'nın adını ve ardından İleri'yi seçin.
Delta tablolarındaki verileri içeren klasöre gidin ve seçin. Ardından İleri'yi seçin. Kullanılabilir tabloların bir listesi görüntülenir.
Dahil edilecek tabloları seçin.
Birincil anahtarın tanımlanmadığı seçili tablolar için Gerekli alanı, Birincil anahtarın altında görüntülenir. Bu tabloların her biri için:
- Gerekli'yi seçin. Tabloyu düzenle paneli görüntülenir.
- Birincil anahtar'ı seçin. Birincil anahtar, tabloya özgü bir özniteliktir. Bir özniteliğin geçerli bir birincil anahtar olması için yinelenen değerler, eksik değerler veya null değerler içermemesi gerekir. Dize, tamsayı ve GUID veri türü öznitelikleri, birincil anahtarlar olarak desteklenmektedir.
- Paneli kaydedip kapatmak için Kapat'ı seçin.
Sütunların herhangi birinde veri profillemeyi etkinleştirmek için tablonun Sütun sayısını seçin. Öznitelikleri yönet sayfası görüntülenir.
- Tüm tablo veya belirli sütunlar için Veri profili oluşturma'yı seçin. Varsayılan olarak, veri profili oluşturmak için tablo etkinleştirilmez.
- Bitti'yi seçin.
Kaydet'i seçin. Yeni veri kaynağını Yenileniyor durumunda gösteren Veri kaynakları sayfası açılır.
Bahşiş
Görevler ve işlemlerin durumları vardır. Çoğu işlem, veri kaynakları ve veri profili yenilemeleri gibi yukarı akış yönündeki işlemlere bağlıdır.
İlerleme ayrıntıları bölmesini açmak ve görevlerin ilerlemesini görüntülemek için durumu seçin. İşi iptal etmek için bölmenin alt kısmında İşi iptal et seçeneğini belirleyin.
Her görevin altında işleme süresi, son işleme tarihi ve görevle veya işlemle ilişkili herhangi bir ilgili hata ve uyarı gibi daha fazla ilerleme durumu bilgisi için Ayrıntıları görüntüle'yi seçebilirsiniz. Sistemdeki diğer işlemleri görmek için panelin alt kısmında Sistem durumunu görüntüle'yi seçin.
Verilerin yüklenmesi zaman alabilir. Başarılı bir yenilemeden sonra alınan veriler, Tablolar sayfasından incelenebilir.
Şema değişikliklerini yönetme
Bir Delta klasörleri veri kaynağı şemasına bir sütun eklendiğinde veya kaldırıldığında, sistem verileri tam olarak yeniler. Tam yenilemede verilerin işlenmesi, artırımlı bir yenilemeden daha uzun sürer.
Sütun ekleme
Veri kaynağına bir sütun eklendiğinde, yenileme gerçekleştiğinde, bilgiler otomatik olarak Customer Insights - Data'da verilere eklenir. Tablo için birleştirmeyi zaten yapılandırdıysanız birleştirme işlemine yeni sütunun eklenmesi gerekir.
Müşteri verileri adımından, Tabloları ve sütunları seç'i ve yeni sütunu seçin.
Birleşik veri görünümü adımında, sütunun müşteri profilinden hariç tutulmadığından emin olun. Hariç Tutulanlar'ı seçin ve sütunu okuyun.
Birleşik profil güncelleştirmelerini çalıştır adımında, Müşteri profillerini ve bağımlılıklarını birleştir seçeneğini belirleyin.
Sütunu değiştirme veya kaldırma
Bir veri kaynağından bir sütun kaldırıldığında, sistem diğer işlemlerdeki bağımlılıkları denetler. Sütunlarda bir bağımlılık varsa sistem, yenilemeyi durdurur ve bağımlılıkların kaldırılması gerektiğini belirten bir hata verir. Bu bağımlılıklar, bunları bulmanıza ve kaldırmanıza yardımcı olacak bir bildirimde görüntülenir.
Şema değişikliğini doğrulama
Veri kaynağı yenilendikten sonra Veri>Tablolar sayfasına gidin. Veri kaynağı için tabloyu seçin ve şemayı doğrulayın.
Delta Lake zaman yolculuğu ve veri yenileme
Delta Lake zaman yolculuğu, zaman damgasına veya sürüm numarasına göre tablo sürümlerinde sorgulama yapma özelliğidir. Delta klasörlerinde yapılan değişiklikler için sürüm oluşturulur. Customer Insights - Data hangi verilerin işleneceğini izlemeye devam etmek için Delta klasörü sürümlerini kullanır. Düzenli bir delta tablosu yenileme işleminde veriler, son yenilemeden itibaren oluşturulan tüm veri tablosu sürümlerinden alınır. Tüm sürümler mevcut olduğu sürece Customer Insights - Data yalnızca değiştirilen öğeleri işleyebilir ve daha hızlı sonuçlar sağlar. Zaman yolculuğu hakkında daha fazla bilgi edinin.
Örneğin, Customer Insights - Data en son Delta klasörü verilerinizin sürüm 23'ü ile eşitlenmişse sürüm 23 ve muhtemelen sonraki sürümlerin mevcut olması beklenir. Beklenen veri sürümleri kullanılamıyorsa veri eşitleme işlemi başarısız olur ve el ile tam veri yenileme yapılması gerekir. Delta klasörü verileriniz silinip yeniden oluşturulduysa veri eşitleme işlemi başarısız olabilir. Customer Insights - Data sürümler ilerlerken Delta klasörlerinize uzun bir süre bağlanamadıysa da bu durum oluşabilir.
Tam veri yenileme gereksinimini ortadan kaldırmak için 15 gün gibi makul bir geçmiş biriktirme listesi tutmanız önerilir.
Delta tablosu klasöründe tam veri yenileme işlemini el ile çalıştırma
Tam yenileme, Delta biçimindeki bir tablodaki tüm verileri alır ve Delta tablosu sürümünden sıfırdan (0) yeniden yükler. Delta klasörü şemasında yapılan değişiklikler, tam yenileme işlemini otomatik olarak tetikler. Tam yenileme işlemini el ile tetiklemek için şu adımları gerçekleştirin.
Veri>Veri kaynakları öğesine gidin.
Azure Data Lake Delta tabloları veri kaynağı seçin.
Yenilemek istediğiniz tabloyu seçin. Tablo düzenle bölmesi görüntülenir.
Bir kerelik tam yenileme çalıştır seçeneğini belirleyin.
Yenilemeyi çalıştırmak için Kaydet’i seçin. Veri kaynakları sayfası açılır ve Yenileme durumundaki veri kaynağı gösterilir, ancak yalnızca seçilen tablo yenilenir.
Mümkünse, diğer tablolar için işlemi yineleyin.
Veri eşitleme hatası
Delta klasörü verileriniz silinip yeniden oluşturulduysa veri eşitleme işlemi başarısız olabilir. Customer Insights - Data sürümler ilerlerken Delta klasörlerinize uzun bir süre bağlanamadıysa da bu durum oluşabilir. Aralıklı bir veri ardışık düzeni hatasının tam yenileme ihtiyacını doğurduğu durumlarda etkiyi en aza indirmek için, 15 gün gibi makul bir geçmiş biriktirme listesi tutmanızı öneririz.