Apache Spark iş tanımı nedir?

  • Makale

Apache Spark iş tanımı, Spark kümelerine toplu/akış işleri göndermenizi sağlayan bir Microsoft Fabric kod öğesidir. İkili dosyaları farklı dillerin derleme çıkışından (örneğin, Java'dan .jar) karşıya yükleyerek, bir göl evinde barındırılan verilere farklı dönüştürme mantığı uygulayabilirsiniz. İkili dosyanın yanı sıra, daha fazla kitaplık ve komut satırı bağımsız değişkeni yükleyerek işin davranışını daha da özelleştirebilirsiniz.

Spark iş tanımını çalıştırmak için onunla ilişkilendirilmiş en az bir lakehouse'nuz olmalıdır. Bu varsayılan lakehouse bağlamı, Spark çalışma zamanı için varsayılan dosya sistemi görevi görür. Verileri okumak/yazmak için göreli yol kullanan tüm Spark kodları için veriler varsayılan lakehouse'dan sunulur.

Bahşiş

Spark iş tanımı öğesini çalıştırmak için bir ana tanım dosyanız ve varsayılan lakehouse bağlamı olmalıdır. Göl evi yoksa, Göl evi oluşturma bölümünde yer alan adımları izleyerek bir tane oluşturun.

İlgili içerik