データの分析、グラフ作成、および通信のためのツールを備えた Microsoft 表計算ソフトウェアのファミリ。
平均値はAVERAGE関数で計算するのが基本でかつ文字列が混入しても数字だけ計算対象となるので間違いがありません。
=AVERAGE(A1:A23)
SUM関数のデータを利用するなら、以下のように合計値をCOUNTAではなくCOUNT関数を使って「数字」の数で割る数式にしないと、ご質問のように空白表示などの文字列もカウント対象になります。
=SUM(A1:A23)/COUNT(A1:A23)