Veri Madenciliği için Livy API nedir?

Şunlar için geçerlidir:✅ Fabric Veri Mühendisliği ve Veri Bilimi

Microsoft Fabric Livy API, kullanıcıların Fabric'teki bir göl eviyle ilişkili Spark hesaplama içinde Spark kodunu gönderip çalıştırmasına olanak tanır; böylece herhangi bir notebook veya Spark iş tanımı öğesi oluşturma ihtiyacını ortadan kaldırır. Göl eviyle bu entegrasyon, OneLake'te depolanan verilere doğrudan erişim sağlar.

Özellikler

Fabric Livy API'si aşağıdaki iş türlerini destekler:

  • Oturum işleri — Livy oturum işi, Livy API'siyle etkileşim boyunca etkin kalan bir Spark oturumu oluşturur. Oturumlar etkileşimli iş yükleri için kullanışlıdır. Oturum, bir iş gönderildiğinde başlar ve kullanıcı işi sonlandırana veya sistem 20 dakika etkinlik dışı kaldıktan sonra sonlandırana kadar sürer. Bir oturumda birden çok iş çalıştırılabilir, çalıştırmalar arasında durum ve önbelleğe alınmış veriler paylaşılabilir.
  • Toplu işler — Livy toplu işi, tek bir iş yürütmesi için bir Spark uygulaması gönderir. Oturum işinden farklı olarak, toplu iş mevcut bir Spark oturumunu devam ettirmez. Her iş, iş tamamlandığında sona erecek yeni bir Spark oturumu başlatır. Bu oturum, önceki hesaplamalara bağlı olmayan veya durumu korumayı gerektirmeyen görevler için iyi çalışır.
  • Yüksek eşzamanlılık oturumları — Yüksek eşzamanlılık (HC) oturumu, istemcilerin birden çok bağımsız yürütme bağlamı almasına olanak tanıyarak eşzamanlı Spark yürütmesine olanak tanır. Her HC oturumu, paylaşılan bir temel Livy oturumundaki Spark REPL (Okuma-Değerlendir-Yazdır Döngüsü) ile ilişkilendirilir ve paralel yürütmeyi, öngörülebilir kaynak kullanımını ve eşzamanlı istekler arasında yalıtımı destekler. Daha fazla bilgi için Fabric Livy API Hızlı eşzamanlılık desteği bölümüne bakın.

Uyarı

Yüksek eşzamanlılık desteği ek bir destektir ve mevcut Livy API sözleşmelerini değiştirmez. Mevcut Livy oturumu ve toplu iş yükleri değiştirilmeden çalışmaya devam eder.

Livy API'sini kullanmaya başlama

İlgili içerik

  • Last updated on