Fabric ortamlarındaki kitaplıkları yönetme

Microsoft Fabric ortamları Spark işlerini çalıştırmak için esnek yapılandırma sağlar. Kitaplıklar, not defterleri ve Spark iş tanımları için yeniden kullanılabilir kod sağlar. Her Spark çalışma zamanıyla birlikte gelen yerleşik kitaplıklara ek olarak, genel ve özel kitaplıkları Fabric ortamlarına yükleyebilirsiniz.

Not

Ortamınızın bulunduğu çalışma alanına gidin, ortamınızı seçin ve kitaplık yönetimi seçenekleri sol gezinti bölmesinde bulunur. Oluşturulmuş bir ortamınız yoksa bkz. Fabric'da ortam oluşturma, yapılandırma ve kullanma.

Yerleşik kitaplıklar

Fabric'da her çalışma zamanı sürümü, Python, R, Java ve Scala genelinde performans, uyumluluk ve güvenlik için iyileştirilmiş bir dizi yerleşik kitaplıkla önceden yüklenmiş olarak gelir. Ortamdaki Yerleşik kitaplıklar sayfası, seçili çalışma zamanına göre bu önceden yüklenmiş kitaplıklara göz atmanızı ve aramanızı sağlar.

Bu kitaplıklar her ortama varsayılan olarak yüklenir ve değiştirilemez. Not defterinizi veya Spark iş tanımınızı bu ortamda çalıştırdığınızda kullanılabilirler.

Her çalışma zamanı için önceden yüklenmiş paketlerin ve sürümlerinin listesini görüntülemek için bkz. Fabric'da Apache Spark çalışma zamanları.

Not

Per-notebook yaklaşımlar, örneğin not defteri Kaynaklar klasörü ve satır içi yükleme komutları (%pip install veya %conda install kod hücresinde), elle yapılır, oturum kapsamlıdır veya not defteri kapsamlıdır ve ortam yayını süreçlerinden etkilenmez. Etkileşimli geliştirme sırasında hızlı, tek seferlik kitaplık eklemeleri için bunları kullanın.

Önemli

Fabric paketleri yönetmek için farklı yolları destekler. Daha fazla seçenek ve best uygulamaları için bkz. Fabric'de Apache Spark kitaplıklarını yönetme. Çalışma alanınız Çalışma alanı giden erişim koruması veya Yönetilen sanal ağlar gibi ağ özellikleri kullanıyorsa PyPI gibi genel depolara erişim engellenir. Yönergeler için bkz. Fabric'da sınırlı ağ erişimine sahip kitaplıkları yönetme. Yerleşik kitaplık sürümleri gereksinimlerinizi karşılamıyorsa, dış depo bölümünde istenen sürümü belirterek veya kendi özel paketlerinizi karşıya yükleyerek bunları geçersiz kılabilirsiniz.

Dış depolar

PyPI, Conda ve Maven gibi genel depolardan veya özel depolardan kitaplıklar ekleyebilirsiniz. Kaynak ve yayımlama modu seçenekleri, depo türüne bağlı olarak farklılık gösterir. Kitaplık eklediğinizde yayımlama modunu (Tam veya Hızlı) seçersiniz. Her modun nasıl çalıştığı hakkında ayrıntılı bilgi için bkz. Kitaplıklar için yayımlama modunu seçme.

Ortak Python deposundan kitaplık ekleme

Genel depolar, PyPI veya Conda'dan paketleri yüklemenize olanak sağlar.

1. Dış depolar sekmesinde Kitaplık ekle'yi seçin.

2. Ortak depodan kitaplık ekle'yi seçin.

3. Kaynağı (PyPI veya Conda) seçin.

4. Arama kutusuna kitaplık adını girin. Siz yazarken, arama kutusu popüler kitaplıkları önerir, ancak liste sınırlıdır. Kitaplığınızı görmüyorsanız, tam adını girin.

   

   Kitaplık adı bulunursa, kullanılabilir sürümleri görürsünüz.

5. Sürümü seçin ve ardından ortamınızı kaydedip yayımlayın.

Maven'dan kitaplık ekleme

Fabric, kitaplıkları doğrudan Maven depolarından yüklemeyi destekler. Bunu yapmak için, yüklemek istediğiniz Maven bağımlılıklarını listeleyen bir POM dosyası oluşturun ve bunu Ortama yükleyin.

1. Dış depolar sekmesinde pom.xmliçeri aktar'ı seçin.

2. Yerel dizininizden pom.xml dosyasını seçin.

Not

• pom.xml içeri aktarılması yalnızca Spark 4.0 ve sonraki sürümlerde desteklenir.
• pom.xml içeri aktarılması yalnızca Tam modda desteklenir. Bu modda, Fabric Maven paketleri için bağımlılık çözümleme ve çakışma algılama gerçekleştirir. Herhangi bir kitaplık çalışma zamanıyla uyumsuzsa, yayımladıktan sonra bir hata görürsünüz.
• pom.xml içeri aktarılması, Giden Erişim Koruması'nın etkinleştirildiği çalışma alanlarında desteklenmez. Bu çalışma alanlarında gerekli kitaplıkları Maven'dan indirip daha sonra özel kitaplıklar olarak karşıya yükleyin.

Özel depodan kitaplık ekleme

Özel depolar pip veya conda kullanarak paketleri yüklemenize olanak sağlar.

1. Dış depolar sekmesinde Kitaplık ekle'yi seçin.

2. Özel depodan kitaplık ekle'yi seçin.

3. Kaynağı (pip veya conda) seçin.

4. Kitaplık adını ve sürümünü girin. Kitaplık adını ve sürümünü doğru girdiğinizden emin olun, çünkü özel depolardaki kitaplıkları yazarken aramak desteklenmemektedir. Yanlış paket bilgileri yayımlamanın başarısız olmasına neden oluyor.

Azure Artifakt Akışından kitaplık ekleme

Azure Yapıt Beslemeleri'nin kapsamı bir proje (özel) veya bir organizasyon (genel) olarak ayarlanabilir. Her iki kapsamı da Fabric destekler. Akışın Azure DevOps görünürlüğünden bağımsız olarak, Fabric her zaman kimliği doğrulanmış bir Data Factory bağlantısı üzerinden bağlanır, bu nedenle genel akışlar için bile bir bağlantı ayarlamanız gerekir.

Not

Azure Artifact Feed'den kütüphanelerin yüklenmesi, Spark 3.5'te desteklenmektedir. Özel Bağlantı veya giden erişim koruması etkin olan çalışma alanlarında desteklenmez.

Azure Eser Akışınız için bağlantı kurma

Ortam kimlik bilgilerini doğrudan depolamaz. Bunun yerine, Data Factory Bağlayıcısı aracılığıyla bir bağlantı oluşturur ve bir YML dosyasında bağlantı kimliğini referans alırsınız. Azure Yapıt Akışı hakkında daha fazla bilgi edinin.

1. Fabric portalının sağ üst köşesindeki Settings dişli simgesini seçin ve ardından Bağlantıları ve ağ geçitlerini yönet öğesini seçin.

   

2. Yeni bir bağlantı oluşturun. + Yeni'ı seçin ve ardından tür olarak Cloud seçin ve bağlantı türü olarak Azure Yapıt Akışı (Önizleme) seçin.

   

3. Akış URL'sini ve Paketleme > Okuma kapsamına sahip bir kişisel erişim belirteci (PAT) girin.

4. Not Defterleri gibi Code-First Yapıtlarının bu bağlantıya erişmesine izin ver (Önizleme)'yi seçin.

   

5. Bağlantıyı kaydetmek için Oluştur'u seçin. Bağlantı listesinde görmelisiniz.

6. Oluşturma işleminden sonra bağlantı kimliğini kaydedin. Sonraki adımda ihtiyacınız olacak.

YML dosyasını hazırla ve yükle

Yüklemek istediğiniz paketleri listeleyen ve akış URL'si ve kimlik bilgileri yerine bağlantı kimliğine başvuran bir YML dosyası oluşturun. Fabric, yayın sırasında akışınızdan paketleri doğrulamak ve çekmek için bağlantı kimliğini kullanır.

Standart pip yapılandırması akış URL'sine ve kimlik bilgilerine doğrudan başvurur:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

Fabric için URL'yi daha önce kaydettiğiniz bağlantı kimliğiyle değiştirin:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

YML dosyasını doğrudan ortama yükleyin veya YML düzenleyici görünümüne geçip içeriği yapıştırın. Ortamı yayımladığınızda, Fabric akıştan paketleri okur ve bunları kalıcı hale getirir. Azure Yapıt Akışınızdaki paketleri güncelleştirirseniz, en son sürümleri almak için ortamını yeniden yayımlayın.

Not

• Liste görünümünde, var olan akış bağlantılarından kitaplık ekleyebilir, kaldırabilir veya düzenleyebilirsiniz. Akış bağlantısının kendisini eklemek, kaldırmak veya düzenlemek için YML düzenleyici görünümüne geçin ve YML dosyasını doğrudan güncelleştirin.
• YML dosyasında birden çok akış belirtebilirsiniz. Fabric, paket bulunana kadar bunları listelenen sırayla arar. PyPI ve Conda gibi genel depolar, YML dosyasına dahil olmasalar bile en son otomatik olarak aranırlar.
• YML dosyasındaki bir paket listelenen akışlardan hiçbirinde bulunamazsa yayımlama başarısız olur. Yayımlamadan önce paket adını ve sürümünü iki kez denetleyin.

Dış kitaplıkları yönetme

Dış kitaplıkları ekledikten sonra, bunları Dış depolar bölümünden yönetebilirsiniz.

• Filter : Dış kitaplıklar listesini filtrelemek için anahtar sözcük olarak bir paket adı kullanın.
• Update : Liste görünümünde adını, sürümünü veya kaynak türünü güncelleştirmek için bir kitaplık seçin. YML düzenleyici görünümünde, Azure Yapıt Akışı bağlantı kimliğini da güncelleştirebilirsiniz.
• Sil – Sil seçeneğini görmek için bir kitaplık satırının üzerine gelin veya birden çok kitaplık seçip Sil'i seçin. Ayrıca YML düzenleyici görünümünü kullanarak kitaplıkları kaldırabilirsiniz.
• Bağımlılıkları görüntüleme – Genel bir depo kütüphanesinin üzerine gelin ve bağımlılık ağacını getirmek için Bağımlılıkları Görüntüle seçeneğini seçin. Azure Yapıt Akışı'ndan gelen kitaplıklar veya özel kitaplıklar için bağımlılık bilgileri mevcut değildir.
• YML'ye Dışa Aktar – Tam harici kütüphane listesini bir .yml dosyasına aktarın ve yerel dizininize indirin.

Özel kitaplıklar

Özel kitaplıklar, sizin veya kuruluşunuz tarafından oluşturulan kodu tanımlar. Fabric .whl, .py, .jar ve .tar.gz biçimlerinde özel kitaplık dosyalarını destekler. Dış kitaplıklarda olduğu gibi, özel paketleri karşıya yüklerken bir yayımlama modu (Tam veya Hızlı) seçersiniz. Ayrıntılar için bkz. Kitaplıklar için yayımlama modunu seçme.

Not

Fabric, R dili için yalnızca .tar.gz dosyalarını destekler. Python dil için .whl ve .py dosya biçimini kullanın.

Yerel dizininizden kitaplık eklemek veya yerel olarak indirmek için Özel kitaplıklar sayfasındaki Karşıya Yükle ve İndir düğmelerini kullanın.

Kitaplığı silmek için, satırın üzerine gelin ve çöp kutusu simgesini seçin veya birden çok kitaplık seçip Sil'i seçin.

Kitaplıklar için yayımlama modunu seçin

Dış veya özel kitaplıklar eklediğinizde bir yayımlama modu seçersiniz. Tüm kitaplık kaynakları ve iş yükü türleri için tam mod kullanılabilir. Hızlı mod , yalnızca not defterlerini çalıştırırken genel depolar ve çoğu özel kitaplık biçimi için kullanılabilir.

Aşağıdaki tabloda, her kitaplık kaynağının hangi yayımlama modunu desteklediği gösterilmektedir.

Kitaplık kaynağı	Tam mod	Hızlı mod
Genel depo (PyPI/Conda)	Evet	Evet
Özel depo (pip/conda)	Evet	Hayır
Azure Yapıt Beslemesi	Evet	Hayır
Özel .whl, .py, .tar.gz	Evet	Evet
** Özel .jar	Evet	Hayır

gereksinimleriniz için doğru modu seçin

Hangi modun uygun olduğunu belirlemek için bağımlılık karmaşıklığını ve iş yükü türünü kullanın.

• Tam mod bağımlılıkları çözer, uyumluluğu doğrular ve yayımlama sırasında kararlı bir kitaplık anlık görüntüsü oluşturur. Bu anlık görüntü yeni bir oturum başlatıldığında dağıtılır. Daha büyük bağımlılık kümeleri (örneğin, 10'dan fazla paket), üretim iş yükleri ve işlem hatları için en iyi seçenektir. Yayımlama genellikle 3 ila 6 dakika sürer; bağımlılıkların boyutuna bağlı olarak bağımlılıkların dağıtımı için oturum başlatma 1 ila 3 dakika ekler. Yaklaşık 5 saniyelik oturum başlatmaları sırasında kararlı bir anlık görüntü korumak için , özel bir canlı havuzla birlikte Tam modu kullanın.
• Hızlı mod , yayımlama sırasında bağımlılık işlemeyi atlar ve bunun yerine not defteri oturumu başlangıcında paketleri yükler. Daha hafif bağımlılık kümeleri, hızlı yineleme ve erken aşama denemeleri için en iyi yöntemdir. Yayımlama işlemi yaklaşık 5 saniye içinde tamamlar; kitaplık yüklemesi oturum başlangıcında gerçekleşir.

Geliştirme sırasında modları karıştırabilirsiniz. Genel bir model, hızlı modda tekrarlama yapmak ardından doğrulanmış bağımlılıkları kararlı bir üretim anlık görüntüsü elde etmek için tam moda taşımaktır. Ayrıca mevcut tam mod anlık görüntüsünü değiştirmeden tutabilir ve yeni test paketlerini hızlı modda katmanlayabilirsiniz. Tam mod anlık görüntüsü önce dağıtılır, ardından hızlı mod paketleri en üste yüklenir.

Mod sınırlamaları ve davranışı

Yayımlama modlarıyla çalışırken bu kısıtlamaları göz önünde bulundurun.

• Hızlı mod yalnızca not defterleriyle çalışır, Spark iş tanımlarıyla çalışmaz.
• Özel kitaplığı modlar arasında taşımak için dosyayı indirin, geçerli moddan kaldırın ve ardından hedef moda yükleyin. Modlar arasında doğrudan aktarımlar desteklenmez.
• Yükleme günlükleri not defterinde görünmez. İlerleme durumunu izlemek ve sorun gidermek için İzleme 'yi (Düzey 2) kullanın.
• İki mod da paket içerdiğinde, öncelikle tam modun anlık görüntüsü uygulanır. Hızlı mod paketleri üste yüklenir ve aynı ada sahip tüm tam mod paketlerini geçersiz kılar.
• Modlar arasında yinelenen paketler olduğunda, Hızlı mod sürümleri yalnızca geçerli not defteri oturumu için Tam mod sürümlerini geçersiz kılar. Yeni bir oturum başlatmak önce Tam mod anlık görüntüsünü yeniden uygular, ardından Hızlı mod paketleri en üste yüklenir.
• Hızlı mod paketleri, bu dilin ilk kod hücresi çalıştığında yüklenir. Örneğin, ilk Python hücre çalıştığında Python paketleri yüklenir ve ilk R hücresi çalıştırıldığında R paketleri yüklenir.

İlgili içerik

• Fabric'de bir ortam oluşturma, yapılandırma ve kullanma
• Fabric