許多小型Spark作業

如果您看到許多小型作業，您可能會對相對較小的數據執行許多作業（<10GB）。 小型作業只需要幾秒鐘的時間，但是它們加起來，而每個作業所花費的額外負荷時間也會加起來。

加速小型作業的最佳方法是平行執行多個作業。 Delta 即時數據表 會自動為您執行此動作。

其他選項包括：

• 將您的作業分成多個筆記本，並使用 多重工作作業在相同的叢集上平行執行。
• 如果您的所有查詢都是以 SQL 撰寫，請使用 SQL 倉儲 。 SQL 倉儲會針對許多查詢平行執行而調整，因為它們是針對這種類型的工作負載所設計。
• 將筆記本參數化，並針對每個工作使用 ，以平行方式執行筆記本多次。 使用 並行 設定平行處理層級。 這適用於 無伺服器計算。