使うアプリとか何を保存するかによっても変わってしまうと思いますので、全てのアプリで何を保存しても日本語にするということはできませんが、アプリによっては工夫すれば日本語で起動している状態にできるものもあります。
例えばWordであればもともと日本語起動しますので保存時の名前も日本語になると思います。
Excelは半角英数で起動しますが、下のサイトにある入力規則を使ってシート全体を日本語に設定して、それを標準の書式として保存しておけば日本語起動と同じになります。
Internet Explorer 11であれば下のサイトの方法で日本語入力の状態で起動できるようになります。
Microsoft Edgeについてはこのような方法がありません。
それ以外ではアプリを使って設定するという方法もあります。
目的に適うかものかどうかは分かりませんが、多くのアプリに共通して使えるものとして、私は下のアプリを使っています。
これは入力時にキーを少し長押しすれば、日本語入力と英数入力が簡単に切り替わるというものです。
動作OS:Windows XP/2000 となっていますが、Windows 10 でも問題なく動作しています。
Microsoft Edgeでも機能していますし、IE11・Word・Excel・メモ帳でも機能します。
ダウンロードして解凍するだけでインストールする必要はありません。
また使っていないので詳細は分かりませんが、下のようなアプリもあります。