以下のページのExcel2013の仕様と制限で、開くことのできるブック数は「使用可能メモリとシステム リソースに依存」となっています。
http://office.microsoft.com/ja-jp/excel-help/HA103980614.aspx
また、2003で作成したファイルをそのまま開くと互換モードとなり、ファイルに2つのバージョン情報を含むため、ファイルサイズが大きくなりメモリーなども多く使用すると考えられます。
もし互換モードで作業しているなら、2013の形式(xlsx)で保存して開けば,開くことのできるファイル数が多くなると思います。
マックちゃん、アドバイスありがとうございました。早速ご紹介いただいたページにアクセスしましたが、やや専門的な内容でもありますが、2003で出来ることが、より進歩した(と思える)2013で出来ない理由は見つかりませんでした。使っていますブックは全てxlsxに変換しています。2003を使っていた環境はWindows7+SP1、CPU Core2Duo2.53GHz, RAM4GB, 32bit operating systemでした。今回2013の使用環境はWindows8.1, CPU Core i3-3120,
RAM8GB, 64bit operating system ではるかに上位の環境です。
実態はよく判りませんが、2003では一つのエクセルですべてのブックをハンドルしているように見えますが、2013ではブックごとに新しくエクセルが起動しているように見えます。大きな容量のソフトがいくつも起動すれば当然使えるリソースに限界が訪れますが、これが原因なのでしょうか。解決策をご教示お願いいたします。