Megosztás a következőn keresztül:

Sok kis Spark-feladat

  • Cikk

Ha sok kis feladatot lát, valószínűleg sok műveletet végez viszonylag kis adatokon (<10 GB). A kis műveletek csak néhány másodpercet vesznek igénybe, de összeadnak, és a műveletenkénti többletterheléssel töltött idő is összead.

A kis feladatok felgyorsításának legjobb módszere több művelet párhuzamos futtatása. A Delta Live Tables ezt automatikusan elvégzi Önért.

Egyéb lehetőségek:

  • Különítse el a műveleteket több jegyzetfüzetre, és futtassa őket párhuzamosan ugyanazon a fürtön többfeladatos feladatok használatával.
  • A Lekérdezések párhuzamos futtatásához használja a Python ThreadPoolExecutor vagy más többszálas megközelítését.
  • Sql Warehouse-t használjon, ha az összes lekérdezés sql-ben van megírva. Az SQL-raktárak nagyon jól méretezhetőek, mivel számos lekérdezés párhuzamosan fut, mivel az ilyen típusú számítási feladatokhoz lettek tervezve.