VS Code'da Spark iş tanımı deneyimi

Synapse için Visual Studio Code uzantısı, Doku'da CURD (oluşturma, güncelleştirme, okuma ve silme) Spark iş tanımı deneyimini tam olarak destekler. Bir Spark iş tanımı oluşturduktan sonra daha fazla başvuruda bulunılan kitaplık yükleyebilir, Spark iş tanımını çalıştırmak için bir istek gönderebilir ve çalıştırma geçmişini de kontrol edebilirsiniz.

Önemli

Microsoft Fabric şu anda ÖNİzLEME aşamasındadır. Bu bilgiler, yayımlanmadan önce önemli ölçüde değiştirilebilen bir yayın öncesi ürünle ilgilidir. Microsoft, burada sağlanan bilgilerle ilgili olarak açık veya zımni hiçbir garanti vermez.

Spark iş tanımı oluşturma

Yeni bir Spark iş tanımı oluşturmak için:

1. VS Code Gezgini'nde Spark İş Tanımı Oluştur seçeneğini belirleyin.

   

2. İlk gerekli alanları girin: ad, başvurulan lakehouse ve varsayılan lakehouse.

3. İstek işlendikten sonra, yeni oluşturduğunuz SJD'nin adı VS Code Explorer'daki Spark İş Tanımı kök düğümü altında görünür. Spark iş tanımı adı düğümü altında üç alt düğüm listelenir:

   • Dosyalar: Ana tanım dosyasının ve başvuruda bulunılan diğer kitaplıkların listesi. Bu listeden yeni dosyaları karşıya yükleyebilirsiniz.
   • Lakehouse: Bu Spark iş tanımı tarafından başvurulmuş tüm lakehouse'ların listesi. Varsayılan lakehouse listede işaretlenmiştir ve buna göreli yolu Files/…, Tables/…üzerinden erişebilirsiniz.
   • Çalıştır: Bu Spark iş tanımının çalıştırma geçmişinin ve her çalıştırmanın iş durumunun listesi.

Başvuruda bulunılan kitaplığa bir ana tanım dosyası yükleme

Ana tanım dosyasını karşıya yüklemek veya üzerine yazmak için Ana Dosya Ekle seçeneğini belirleyin.

Ana tanım dosyasında başvuruda bulunılan kitaplık dosyasını karşıya yüklemek için Lib Dosyası Ekle seçeneğini belirleyin.

Bir dosya karşıya yüklendikten sonra, Dosyayı Güncelleştir seçeneğine tıklayıp yeni bir dosya yükleyerek dosyayı geçersiz kılabilir veya sil seçeneğiyle dosyayı silebilirsiniz.

Çalıştırma isteği gönderme

VS Code'dan Spark iş tanımını çalıştırma isteği göndermek için:

1. Çalıştırmak istediğiniz Spark iş tanımının adının sağındaki seçeneklerden Spark İşini Çalıştır seçeneğini belirleyin.

   

2. İsteği gönderdikten sonra, Gezgin listesindeki Çalıştırmalar düğümünde yeni bir Spark Uygulaması görüntülenir. Spark İşini İptal Et seçeneğini belirleyerek çalışan işi iptal edebilirsiniz.

   

Doku portalında Spark iş tanımı açma

Tarayıcıda Aç seçeneğini belirleyerek Doku portalında Spark iş tanımı yazma sayfasını açabilirsiniz.

Tamamlanan çalıştırmanın yanındaki Tarayıcıda Aç'ı seçerek bu çalıştırmanın ayrıntılı izleme sayfasını da görebilirsiniz.

Spark iş tanımı kaynak kodunda hata ayıklama (Python)

Spark iş tanımı PySpark (Python) ile oluşturulduysa, ana tanım dosyasının .py betiğini ve başvuruda bulunılan dosyayı indirebilir ve VS Code'da kaynak betiğin hatalarını ayıklayabilirsiniz.

1. Kaynak kodu indirmek için Spark iş tanımının sağındaki Spark İş Tanımında Hata Ayıkla seçeneğini belirleyin.

   

2. İndirme işlemi tamamlandıktan sonra kaynak kodun klasörü otomatik olarak açılır.

3. İstendiğinde Yazarlara güven seçeneğini belirleyin. (Bu seçenek yalnızca klasörü ilk kez açtığınızda görünür. Bu seçeneği belirlemezseniz kaynak betiğin hatalarını ayıklayamaz veya çalıştıramazsınız. Daha fazla bilgi için bkz. Visual Studio Code Çalışma Alanı Güveni güvenliği.)

4. Kaynak kodu daha önce indirdiyseniz, yeni indirmeyle yerel sürümün üzerine yazılması gerektiğini onaylamanız istenir.

   Not

   Kaynak betiğin kök klasöründe sistem conf adlı bir alt klasör oluşturur. Bu klasörün içinde , lighter-config.json adlı bir dosya, uzaktan çalıştırma için gereken bazı sistem meta verilerini içerir. Değişiklik yapma.

5. sparkconf.py adlı dosya, SparkConf nesnesini ayarlamak için eklemeniz gereken bir kod parçacığı içerir. Uzaktan hata ayıklamayı etkinleştirmek için SparkConf nesnesinin düzgün ayarlandığından emin olun. Aşağıdaki görüntüde kaynak kodun özgün sürümü gösterilmektedir.

   

   Sonraki görüntü, kod parçacığını kopyalayıp yapıştırdıktan sonra güncelleştirilmiş kaynak kodudur.

   

6. Kaynak kodu gerekli konfederasyonla güncelleştirdikten sonra doğru Python Yorumlayıcısı'nı seçmeniz gerekir. Synapse-spark-kernel conda ortamından yükleneni seçtiğinizden emin olun.

Spark İş Tanımı özelliklerini düzenleme

Komut satırı bağımsız değişkenleri gibi Spark iş tanımlarının ayrıntı özelliklerini düzenleyebilirsiniz.

1. Settings.yml dosyasını açmak için SJD Yapılandırmasını Güncelleştir seçeneğini belirleyin. Mevcut özellikler bu dosyanın içeriğini doldurur.

   

2. .yml dosyasını güncelleştirin ve kaydedin.

3. Değişikliği uzak çalışma alanına geri eşitlemek için sağ üst köşedeki SJD Özelliğini Yayımla seçeneğini belirleyin.

   

Sonraki adımlar

• VS Code'da lakehouse'u keşfedin
• VS Code'da not defteri deneyimi