USB外付けHDDへのバックアップが容量表示異常で途中停止するのはWindowsのバグ？

Question

Windows10使用中、3テラの高容量のLAN HDDでほぼ満杯になったデータをバックアップするのに、3テラ外付けUSB HDDへエクスプローラーのファイルコピー、またはrobocopyを使用、どちらも2Tぐらいまですすむが、残存1Tぐらいの空き容量があるにも関わらず、数メガの残量の誤認識が起こり、途中でバックアップ作業が停止する。一旦USB HDDを抜いて、再挿入すると残量が戻って、バックアップが再開出来た。

他の1テラ外付けUSB HDDへ800メガぐらいのファイルバックアップ使用とすると、500メガぐらいで同じように空き容量減少の誤認識が起こりバックアップ作業が停止するが、一旦USB HDDを抜いて再挿入すると誤認識が改善したので、HDDのハードな問題というより、Windows自体のバグだと考えるが、この様な現象は他でも報告されているのか？

Answer 1

すでに解決済みだし、直接の原因・解決策とは無関係なんだけど・・・^^; 。

なおUSB接続は遅いので、テラバイト以上の転送で使った事がありません。

　頻繁にテラバイト以上の転送を行うなら、そうかもだけど、たまにしか行わない人にとっては、１～２割の速度の低下より、USB の利便性の方が上回るかも。

　理論値では、SATA（Revision 3.0）の 6Gbps に対して、USB 3.0 の 5 Gbps は遅い。でも、HDD の転送速度は、例えば、WD Black 10TB でも up to 263MBps（約 2.1 Gbps）。SSD のように SATA の 6Gbps がネックになるような 500MBps オーバーな場合を除き、それ程大きな差にはならないのでは？　USB → SATA の変換のオーバーヘッドもあるので、この理論値通りではないはずだけど。

Answer 2

HDDのハードな問題というより、Windows自体のバグだと考えるが、この様な現象は他でも報告されているのか？

そんな話は聞いた事がありません。

デスクトップのWindowsでは、数テラバイトのデータを何十回以上も読み書きしていますし、サーバーマシンでは数十テラバイトのデータを何十回以上も読み書きしていますが、（2回程度の？）本当のディスクの問題以外では停止した事はありません。ただし全てSATAケーブルを使っています。もしそんなバグがあれば、世界中で誰もWindowsを使わないでしょう。

なおUSB接続は遅いので、テラバイト以上の転送で使った事がありません。この問題はWindowsのバグでも、HDDハードの問題でも無く、使われているUSB転送装置や転送方式の物理的な制約か、または問題の可能性があります。

Answer 3

まず、「システムの詳細設定」にある「プロセッサのスケジュール」を「プログラム」優先ではなく、「バックグラウンドサービス」優先に設定していますか？　「プログラム」優先の場合、遅いストレージに大量の書き込みを実行すると、I/Oキューが飽和してしまい、問題が起きることがあります。

HDDが正常に動作するものかどうか確認してください。バッドセクタなどにより特定の領域に書き込もうとすると問題が起きる場合があります。書き込みテストでバッドセクタの代替処理をさせるか、問題が大きい場合にはHDDの買い替えになります。

メインメモリには、どのぐらい余裕がありますか？　メインメモリの空きが少ない場合、書き込みキャッシュを十分に確保できないために、問題が起きることがあります。可能であれば、不要なプログラムが起動していない状態で実行したり、メモリの増設をしたりすることを考えましょう。常にコミット済みメモリが物理メモリの大きさより2GBほど小さい状況であれば、問題が起きにくいはずです。コミット済みメモリが物理メモリの大きさより大きい場合、I/Oの飽和で問題が起きることがあります。

ファイルシステム関係でいうと、ドライブの容量の50％を超える大きさの容量を一気に連続して書こうとすると、メディアの空き場所検索で問題が起きることがあります。これはキャッシュに使えるメモリに余裕があれば多少は緩和できるのですが、応答時間が長くなって、I/Oキューが飽和してしまう原因になります。

それ以外では、セキュリティソフトウェアからの干渉で、ファイルの書き込みに失敗することがあります。

最後に、hddの場合、大量に連続でI/Oを発生させると消費電力が増えます。電源からの供給が間に合わない状況になると、I/Oエラーが発生する原因になります。また、冷却不足になってI/Oエラーが発生することもあります。

対策としては、I/Oの飽和が問題なので、根本的には一度に行う入出力の量を減らすか、ストレージを高速なものに変えるかになります。USB接続のストレージでも、一部のメーカーが出している高速なSSDタイプを使えば、問題が起きにくいです。「プロセッサのスケジュール」を「バックグラウンドサービス」優先に設定するのも、I/O処理を優先的に処理させるためである。

Answer 4

わざわざ御返事ありがとうございました。

また今回のいきさつを書かさせて頂きましたので、宜しくお願い申し上げます。

Answer 5

わざわざ御返事ありがとうございました。

御教授頂きました様に、「バックグラウンドサービス」優先に設定したのですが、経過中に空き容量あるのに、無いとか勝手に判断されてコピーがストップする現象は改善しませんでしたが、優先設定の変更前は一度USB HDDを外さないと元に戻らなかったのが、今度は抜かなくとも、エクスプローラーを止めたら自然回復していました。仰る様にI/O飽和の可能性が高いと思い、フリーソフトで調べたところ、FastCopyというI/Oを経由しないバックアップソフトあり、それを使うと空き容量誤認識も無くなり、Microsoftのプログロムでは転送速度が10～20MB/sとかなり不安定だったのが、40強MB/sと一定で早くなり安定する様になりました。バックアップにはMicrosoftのエクスプローラーどころか、転送速度がさらに遅い容量エラーも出るrobocopyも役立たずと思われました。今回のエラーを送付します。実際は700Gの空きがあるのに、1Gに誤認識する状態でした。