класс ошибок UNSUPPORTED_ADD_FILE
Не поддерживайте добавление файла.
КАТАЛОГ
Файл <path> — это каталог, который рекомендуется задать для параметра spark.sql.legacy.addSingleFileInAddFile значение false.
LOCAL_DIRECTORY
Локальный каталог <path> не поддерживается в не локальном главном режиме.