Spark kitaplıklarını Azure Synapse'ten Doku'ya geçirme

Azure Synapse Spark havuzu farklı akış ve özel kitaplık seçenekleri sunar. Doku'da her çalışma zamanı önceden yüklenmiş bir kitaplık kümesi (yerleşik kitaplıklar) ile birlikte gelir. Ancak, senaryolarınıza ve belirli gereksinimlerinize bağlı olarak, ortam kitaplıklarını ve satır içi kitaplıkları kullanarak diğer kitaplıkları da ekleyebilirsiniz. Azure Synapse Spark havuz kitaplıklarını Doku'ya taşımak için ortam kitaplıklarını kullanın.

Spark kitaplığıyla ilgili dikkat edilmesi gerekenler için Bkz. Azure Synapse Spark ile Doku arasındaki farklar.

Önkoşullar

• Henüz bir yapınız yoksa, kiracınızda bir Doku çalışma alanı oluşturun.
• Henüz bir ortamınız yoksa çalışma alanınızda bir Ortam oluşturun.

1. Seçenek: Özel ortama Spark kitaplıkları ekleme

Spark havuzu kitaplıklarını aşağıdaki gibi bir ortama taşıyabilirsiniz:

1. Synapse Studio'yu açın: Azure'da oturum açın. Azure Synapse çalışma alanınıza gidin ve Synapse Studio'yu açın.
2. Spark kitaplıklarını bulun:
   • Yönet alanına gidin ve Apache Spark havuzlarını seçin.
   • Apache Spark havuzunu bulun, Paketler'i seçin ve havuzun Spark kitaplıklarını bulun.
3. Spark kitaplıklarını alma: Havuza yüklenen requirements.txt, environment.yml veya çalışma alanı paketlerini bulun. Havuzdaki yüklü kitaplıkların listesini alın.
4. Spark kitaplıklarınız olduktan sonra, Doku'daki bir ortama özel Spark kitaplıkları ekleyin. Ortamınızda Kitaplıklar'a gidin ve kitaplıklar ekleyin:
   • Ortak Kitaplıklar'dan bir .yml dosyasını karşıya yükleyebilirsiniz. Kitaplıkları PyPI ve Conda kullanarak da yükleyebilirsiniz.
   • Özel Kitaplıklar'dan , .jar/.whl/.tar.gz dosyalarını kullanarak kitaplıkları yükleyebilirsiniz.
5. Değişiklikleri Kaydet ve Yayımla'ya tıklayın.

Ortama Spark kitaplıkları ekleme hakkında daha fazla bilgi edinin.

Not

Kitaplık yükleme işleminin biraz zaman alabileceğini unutmayın.

İlgili içerik

• Spark yapılandırmalarını geçirme
• Spark not defterlerini geçirme
• Spark iş tanımını geçirme