ご返信ありがとうございます。まとめて返信させていただきます。
日本語キーボードにはIMEしか追加できません(他の言語のキーボードは追加できません)。質問に記載したとおり、タスクバー以外にはアイスランド語が一切見当たりません。一時的にはアイスランド語キーボードの追加・削除で対応が可能です。しかし、ある程度時間が経つと原因はわかりませんが再び勝手にダウンロードされています。
ローカルユーザーアカウントの新規作成も試そうと思いますが、なぜ発生するのかもわからないのが現状なので即座に解決したと判断できないのが現状です。