ragiさんおはです。
原因を探りたいので・・・

まず、サーバーにある必要とするエクセルファイルを
自分のパソコンのハードディスクのどこかに
コピーして見て下さい。
そのコピーが遅いかどうか確認して下さい。
何秒かかるか?
それと、そのファイルの大きさも教えて下さい。
それによって方法が変わってきますので・・・