データの分析、グラフ作成、および通信のためのツールを備えた Microsoft 表計算ソフトウェアのファミリ。
一括してというのは、どこかに条件付き書式を設定して、そのセルの書式をコピーして書式の貼り付けをすればどこにでも設定できますから問題ないと思いますので、質問の趣旨は表示形式でエラーを_等に変えられるかと言うことだと思います。
もちろん条件付き書式で、条件式に=ISNA(A1)を設定しておけば、NAの時塗りつぶし等で色づけすることは簡単ですが、表示形式の場合、あくまでもそのセルの内容によって表示が変わるだけですから、NA等エラーの場合_にすることはできないでしょう。
それができるなら、初めから条件付き書式ではなく、表示形式で話は終わってしまいます。
残念ながら、各セルに=IFERROR(<式>,"_")等の対応をせざるを得ないのではないかと思います。