Veri Madenciliği için Livy API nedir?

Şunlar için geçerlidir:✅ Fabric Veri Mühendisliği ve Veri Bilimi

Microsoft Fabric Livy API, kullanıcıların bir Fabric Lakehouse ile ilişkili Spark hesaplama içinde Spark kodu gönderip yürütmesine olanak sağlayarak herhangi bir Notebook veya Spark İş Tanımı öğesi oluşturma gereksinimini ortadan kaldırır. Lakehouse ile bu tümleştirme, OneLake'te depolanan verilere kolay erişim sağlar.

Özellikler

Fabric Livy API'si aşağıdaki iş türlerini destekler:

  • Oturum işleri — Livy oturum işi, Livy API'siyle etkileşim boyunca etkin kalan bir Spark oturumu oluşturur. Oturumlar etkileşimli iş yükleri için kullanışlıdır. Oturum, bir iş gönderildiğinde başlar ve kullanıcı işi sonlandırana veya sistem 20 dakika etkinlik dışı kaldıktan sonra sonlandırana kadar sürer. Bir oturumda birden çok iş çalıştırılabilir, çalıştırmalar arasında durum ve önbelleğe alınmış veriler paylaşılabilir.
  • Toplu işler — Livy toplu işi, tek bir iş yürütmesi için bir Spark uygulaması gönderir. Oturum işinden farklı olarak, toplu iş mevcut bir Spark oturumunu devam ettirmez. Her iş, iş tamamlandığında sona erecek yeni bir Spark oturumu başlatır. Bu oturum, önceki hesaplamalara bağlı olmayan veya durumu korumayı gerektirmeyen görevler için iyi çalışır.
  • Yüksek eşzamanlılık oturumları — Yüksek eşzamanlılık (HC) oturumu, istemcilerin birden çok bağımsız yürütme bağlamı almasına olanak tanıyarak eşzamanlı Spark yürütmesine olanak tanır. Her HC oturumu, paylaşılan bir temel Livy oturumundaki Spark REPL (Okuma-Değerlendir-Yazdır Döngüsü) ile ilişkilendirilir ve paralel yürütmeyi, öngörülebilir kaynak kullanımını ve eşzamanlı istekler arasında yalıtımı destekler. Daha fazla bilgi için Fabric Livy API Hızlı eşzamanlılık desteği bölümüne bakın.

Uyarı

Yüksek eşzamanlılık desteği ek bir destektir ve mevcut Livy API sözleşmelerini değiştirmez. Mevcut Livy oturumu ve toplu iş yükleri değiştirilmeden çalışmaya devam eder.

Livy API'sini kullanmaya başlama

İlgili içerik

  • Last updated on