Öğretici: İlk Delta Live Tables işlem hattınızı çalıştırma

Bu öğreticide, Databricks not defterindeki koddan Delta Live Tables veri işlem hattını yapılandırma ve güncelleştirme tetikleme adımları gösterilmektedir. Sağlanan yönergeler, düzgün tanımlanmış Delta Live Tables söz dizimiyle çoğu not defterini kapsayacak kadar geneldir.

Python veya SQL Delta Live Tables öğreticilerini izleyerek oluşturduğunuz not defterlerini zamanlamak veya bu sayfada sağlanan not defterlerindenbirini içeri aktarmak ve kullanmak için bu yönergeleri kullanabilirsiniz.

Azure Databricks çalışma alanı kullanıcı arabirimini veya API ve CLI gibi otomatik araç seçeneklerini kullanarak Delta Live Tables işlem hatlarını yapılandırabilir ve güncelleştirmeleri tetikleyebilirsiniz. Databricks, önce kullanıcı arabirimini tanımanızı önerir. Bu, programlı yürütme için JSON yapılandırma dosyaları oluşturmak için kullanılabilir.

Önemli

  • İşlem hattını başlatmak için, Delta Live Tables kümesini tanımlayan bir küme ilkesine küme oluşturma izniniz veya erişiminiz olmalıdır. Delta Live Tables çalışma zamanı, işlem hattınızı çalıştırmadan önce bir küme oluşturur ve doğru izne sahip değilseniz başarısız olur.
  • Bu örneği çalıştırmak için işlem hattını oluştururken depolama seçeneği olarak seçin Hive metastore . Bu örnek DBFS'den veri okuduğundan, depolama seçeneği olarak Unity Kataloğu'nu kullanacak şekilde yapılandırılmış bir işlem hattıyla bu örneği çalıştıramazsınız.

İşlem hattı oluşturma

Önemli

Sunucusuz DLT işlem hatları Genel Önizleme aşamasındadır. Sunucusuz DLT işlem hatlarını etkinleştirme hakkında bilgi edinmek için Azure Databricks hesap ekibinize başvurun.

Delta Live Tables, Delta Live Tables söz dizimlerini kullanarak not defterlerinde veya dosyalarda tanımlanan bağımlılıkları (kaynak kodu veya kitaplıklar olarak adlandırılır) çözümleyerek işlem hatları oluşturur. Her kaynak kod dosyası yalnızca bir dil içerebilir, ancak işlem hattınızda farklı dillerdeki kitaplıkları karıştırabilirsiniz.

  1. Kenar çubuğunda Delta Live Tables'a ve ardından İşlem Hattı Oluştur'a tıklayın.
  2. İşlem hattına bir ad verin.
  3. (İsteğe bağlı) Bu işlem hattı için tam olarak yönetilen işlem kullanmak için Sunucusuz onay kutusunu seçin. Sunucusuz seçeneğini belirlediğinizde İşlem ayarları kullanıcı arabiriminden kaldırılır.
  4. (İsteğe bağlı) Bir ürün sürümü seçin.
  5. İşlem Hattı Modu için Tetiklenmiş'i seçin.
  6. İşlem hattının kaynak kodunu içeren bir veya daha fazla not defteri yapılandırın. Yollar metin kutusuna not defterinin yolunu girin veya bir not defteri seçmek için tıklayınDosya Seçici Simgesi.
  7. hive meta veri deposu veya Unity Kataloğu olmak üzere işlem hattı tarafından yayımlanan veri kümeleri için bir hedef seçin. Bkz. Veri kümelerini yayımlama.
    • Hive meta veri deposu:
      • (İsteğe bağlı) İşlem hattından çıktı verileri için Depolama bir konum girin. Depolama konumu boş bırakırsanız sistem varsayılan konumu kullanır.
      • (İsteğe bağlı) Hive meta veri deposunda veri kümenizi yayımlamak için bir Hedef şeması belirtin.
    • Unity Kataloğu: Unity Kataloğu'nda veri kümenizi yayımlamak için bir Katalog ve Hedef şeması belirtin.
  8. (İsteğe bağlı) Sunucusuz seçeneğini belirlemediyseniz işlem hattı için işlem ayarlarını yapılandırabilirsiniz. İşlem ayarları seçenekleri hakkında bilgi edinmek için bkz . Delta Live Tables için işlem hattı ayarlarını yapılandırma.
  9. (İsteğe bağlı) İşlem hattı olaylarının bildirimlerini almak üzere bir veya daha fazla e-posta adresi yapılandırmak için Bildirim ekle'ye tıklayın. Bkz. İşlem hattı olayları için e-posta bildirimleri ekleme.
  10. (İsteğe bağlı) İşlem hattı için gelişmiş ayarları yapılandırın. Gelişmiş ayarlarla ilgili seçenekler hakkında bilgi edinmek için bkz . Delta Live Tables için işlem hattı ayarlarını yapılandırma.
  11. Oluştur’a tıklayın.

Oluştur'a tıkladıktan sonra sistem İşlem Hattı Ayrıntıları sayfasını görüntüler. Delta Live Tables sekmesinde işlem hattı adına tıklayarak da işlem hattınıza erişebilirsiniz.

İşlem hattı güncelleştirmesini başlatma

İşlem hattı güncelleştirmesi başlatmak için üst paneldeki düğmeye tıklayın Delta Live Tablolar Başlangıç Simgesi . Sistem, işlem hattınızın başlatıldığını onaylayan bir ileti döndürür.

Güncelleştirmeyi başarıyla başlattıktan sonra Delta Live Tables sistemi:

  1. Delta Live Tables sistemi tarafından oluşturulan bir küme yapılandırmasını kullanarak bir küme başlatır. Özel bir küme yapılandırması da belirtebilirsiniz.
  2. Var olmayan tablolar oluşturur ve şemanın mevcut tablolar için doğru olmasını sağlar.
  3. Kullanılabilir en son verileri içeren tabloları Güncelleştirmeler.
  4. Güncelleştirme tamamlandığında kümeyi kapatır.

Not

Yürütme modu varsayılan olarak Üretim olarak ayarlanır ve bu ayar her güncelleştirme için kısa ömürlü işlem kaynaklarını dağıtır. Geliştirme modunu kullanarak bu davranışı değiştirebilir ve geliştirme ve test sırasında aynı işlem kaynaklarının birden çok işlem hattı güncelleştirmesi için kullanılmasını sağlayabilirsiniz. Bkz . Geliştirme ve üretim modları.

Veri kümelerini yayımlama

Hive meta veri deposunda veya Unity Kataloğu'nda tablo yayımlayarak Delta Live Tables veri kümelerini sorgulama için kullanılabilir hale getirebilirsiniz. Verileri yayımlamak için bir hedef belirtmezseniz, Delta Live Tables işlem hatlarında oluşturulan tablolara yalnızca aynı işlem hattındaki diğer işlemler tarafından erişilebilir. Bkz . Delta Live Tables işlem hatlarından Hive meta veri deposuna veri yayımlama ve Delta Live Tables işlem hatlarınızla Unity Kataloğu'nu kullanma.

Örnek kaynak kodu not defterleri

Bu not defterlerini Azure Databricks çalışma alanına aktarabilir ve Delta Live Tables işlem hattını dağıtmak için kullanabilirsiniz. Bu not defterlerinde kullanılan mantık ve söz dizimi hakkında daha fazla bilgi edinmek için bkz. Öğretici: Delta Live Tablolarında Python ile veri işlem hattı bildirme veya Öğretici: Delta Live Tablolarında SQL ile veri işlem hattı bildirme.

Delta Live Tables Python not defterini kullanmaya başlama

Not defterini alma

Delta Live Tables SQL not defterini kullanmaya başlama

Not defterini alma