Görsel veri hazırlama dosyasını üretim ortamına taşıma

Lakeflow Designer'da oluşturduğunuz her görsel veri hazırlama dosyası üretime hazır kod tarafından desteklenir ve adlı <name>.designer.ipynbbir not defteri olarak depolanır. Diğer Azure Databricks kodu için kullandığınız araçlarla üretime taşıyabilirsiniz: Git'te depolayabilir, iş olarak çalıştırabilir ve Bildirim temelli Otomasyon Paketleri ile dağıtabilirsiniz.

Bu sayfada görsel veri hazırlama dosyasının prototipten üretime nasıl alınacakları açıklanmaktadır.

Git'te depolama ve sürüm

Çalışma alanı görsel veri hazırlama dosyalarını yerel olarak depolar. Görsel veri hazırlama dosyasının sürümünü oluşturmak için, dosyayı git klasörüne yerleştirin ve diğer not defterleri gibi izleyin:

1. Çalışma alanınızda bir Git klasörü oluşturun.
2. Görsel veri hazırlama dosyasını bu Git klasörüne taşıyın.
3. Git'teki diğer not defterleri gibi dosyayı izleyin, işleyin ve sürümleyin. Git'te dosya olarak <file_name>.designer.ipynbgörünür.

Git klasörleri hakkında daha fazla bilgi için bkz. Git klasörleri Azure Databricks. Görsel veri hazırlama dosyasını dışarı veya içeri aktarmak için bkz. Görsel veri hazırlama dosyasını dışarı ve içeri aktarma.

İş olarak zamanlama

Görsel veri hazırlama dosyasını iş olarak zamanlayarak otomatikleştirebilirsiniz.

• Doğrudan zamanlama: Görsel veri hazırlama dosyanız için zamanlanmış bir iş oluşturmak için üstteki menüde Zamanla düğmesine tıklayın.
• İşe ekle: Azure Databricks bir iş oluşturun ve görsel veri hazırlama dosyanızı görev olarak ekleyin. Bu, bu görsel veri hazırlama dosyasını daha büyük bir işlem hattındaki diğer görevlerle birleştirmenizi sağlar. Görev Türü açılır listesinde Görsel veri hazırlığı seçeneğini belirleyin, ardından dosyayı seçin.

Zamanlanan çalıştırmalar, her işleci İşler görev grafiğinde tek bir düğüm olarak görüntüler; böylece, bir çalıştırmanın işleç başına sonuçlarını tuvalde yaptığınız gibi inceleyebilirsiniz.

Mevcut zamanlamaları görüntülemek ve yönetmek için yeniden Zamanla'ya tıklayarak listeyi açın. Başka bir zamanlama oluşturmak için Zamanlama ekle'ye tıklayın veya bir zamanlamayı Kebab menu icon.Düzenlemek, Şimdi çalıştırmak, Duraklatmak, Kopyalamak, İşlerde görüntülemek ya da Silmek için zamanlamanın açın.

Çalıştırmada işleç çıkışını görüntüleme

Varsayılan olarak, zamanlanmış çalıştırma yalnızca Çıkış işleci gibi terminal işleçleri (aşağı akış bağlantısı olmayan işleçler) için çıkış oluşturur. Çalıştırmadaki her işlecin sonuçlarını görmek için zamanlama iletişim kutusunda Gelişmiş ayarlar'ı genişletin ve İşleç çıkışını görüntüle'yi seçin.

Çalıştırma çıktısı boyutu sınırını aşmamak için büyük tuvaller için bu seçeneği kapatın.

Sunucusuz ortamı seçin

Görsel veri hazırlama dosyasıyla çalışırken, hem etkileşimli çalıştırmalar hem de zamanlanmış işler için kullanılan sunucusuz ortamı seçebilirsiniz. Bunu, not defteri için yaptığınız gibi, sağ kenar çubuğundaki Ortam yan panelinden yapılandırın. Temel ortam'ın altında bir ortam sürümü seçin. bkz. Sunucusuz ortamı yapılandırma.

Ortamlar arasında parametreleme

Parametreler, sql ve Python işleçlerinden başvurabileceğiniz bir bütün olarak görsel veri hazırlama dosyası için tanımlanan adlandırılmış değerlerdir. Parametreleri tanımlama ve parametreye başvurma hakkında ayrıntılı bilgi için bkz. Parametreler.

Parametreler, geliştirme sırasında bir test kataloğu ve üretimde üretim kataloğu gibi farklı ortamlarda aynı görsel veri hazırlama dosyasını çalıştırmanıza olanak tanır.

• Kullanıcı arabiriminde bir iş zamanladığınızda: Her zamanlama için parametre değerlerini geçersiz kılın. Örneğin, environment parametresi test olarak ayarlanmış bir zamanlama ve environment parametresi production olarak ayarlanmış başka bir zamanlama oluşturun.
• Bir paketle dağıtım yaptığınızda: parametre değerlerini işin parametersaracılığıyla ayarlayın ve ortam başına farklı değerler sağlamak için paket hedeflerini kullanın. Paket geliştirme ve üretim hedefleri, aynı işi ortama özgü ayarlarla ayrı ortamlara dağıtmanıza olanak tanır. Bkz . Bildirim temelli Otomasyon Paketleri dağıtım modları ve Bildirim temelli Otomasyon Paketleri yapılandırması.

Çalışma zamanında, görsel veri hazırlama dosyası parametrelerini etkileşimli olarak veya bir iş olarak aynı şekilde okur, bu nedenle aynı dosya tüm ortamlarınızda değişiklik yapmadan çalışır.

Ortam başına farklı tablolardan okuma

Her ortamdaki farklı bir kaynak tablodan okumak için sabit Bir Kaynak işleci yerine parametreleri olan bir SQL işleci kullanın. catalog, schema ve table parametrelerini tanımlayın, ardından tablo adını dinamik olarak oluşturmak için IDENTIFIER() ifadesiyle bunlara başvurun:

SELECT * FROM IDENTIFIER(:catalog || '.' || :schema || '.' || :table)

Aynı görsel veri hazırlama dosyasını geliştirme sırasında test verilerine, üretimde ise üretim verilerine yönlendirmek için her zamanlama veya paket hedefi için catalog, schema ya da table parametrelerini geçersiz kılın. IDENTIFIER() yan tümcesi hakkında daha fazla bilgi için bkz. IDENTIFIER yan tümcesi.

Bildirim temelli Otomasyon Paketleri ile dağıtma

Bildirim temelli Otomasyon Paketleri, iş gibi Azure Databricks kaynakları kaynak dosyaları olarak tanımlamanıza ve dağıtmanıza olanak tanır; böylece görsel veri hazırlama dosyalarınıza kaynak denetimi, kod gözden geçirme, test ve CI/CD gibi yazılım mühendisliği en iyi uygulamalarını uygulayabilirsiniz. Bkz. Bildirim temelli Otomasyon Paketleri nelerdir?.

Bir paketle görsel veri hazırlama dosyası dağıtmak için bir not defteri görevi tanımlayın ve içindeki .designer.ipynbdosya yoluna başvurunnotebook_task.notebook_path. Bir pakette, görsel veri hazırlama dosyası, Jobs kullanıcı arayüzünde bunun Görsel veri hazırlama görev türü olarak gösterilmesine rağmen notebook_task anahtarını kullanır.

Aşağıdaki örnek, paket yapılandırma dosyasının yanında bulunan bir görsel veri hazırlama dosyası çalıştıran bir işi tanımlar:

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

paketi Azure Databricks CLI ile dağıtın ve çalıştırın:

databricks bundle deploy
databricks bundle run daily_prep_job

Not defteri görev anahtarlarının tamamı için bkz. Not defteri görevi. Bir pakette iş tanımlamaya yönelik eksiksiz bir kılavuz için bkz. Bildirim temelli Otomasyon Paketleri ile iş geliştirme.

CI/CD ile otomatikleştirme

Görsel veri hazırlama paketlerini otomatik olarak doğrulamak ve dağıtmak için bunları bir CI/CD işlem hattıyla tümleştirin. GitHub Actions kullanan bir örnek için bkz. GitHub Actions.

Ek kaynaklar

• Lakeflow Designer'da görsel veri hazırlığı oluşturma
• Bildirim temelli Otomasyon Paketleri nedir?
• İşler için not defteri görevi