Apache Spark iş tanımı nedir?

Apache Spark iş tanımı, Spark kümelerine toplu/akış işleri göndermenizi sağlayan bir Microsoft Fabric kod öğesidir. Binary dosyaları farklı dillerin derleme çıktısından (örneğin, Java'dan .jar) yükleyerek, lakehouse'ta barındırılan verilere farklı dönüştürme mantığı uygulayabilirsiniz. İkili dosyanın yanı sıra, daha fazla kitaplık ve komut satırı bağımsız değişkeni yükleyerek görevin davranışını daha da özelleştirebilirsiniz.

Spark iş tanımını çalıştırmak için onunla ilişkilendirilmiş en az bir lakehouse'nuz olmalıdır. Bu varsayılan lakehouse bağlamı, Spark çalışma zamanı için varsayılan dosya sistemi görevi görür. Verileri okumak/yazmak için göreli yol kullanan tüm Spark kodları için veriler varsayılan lakehouse'dan sunulur.

Önemli

Spark iş tanımı öğesini çalıştırmak için bir ana tanım dosyanız ve varsayılan lakehouse bağlamı olmalıdır. Göl evi yoksa, Göl evi oluşturma bölümünde yer alan adımları izleyerek bir tane oluşturun.

Sonraki Adımlar

Microsoft Fabric'te bir Apache Spark iş tanımı oluşturun.