法定外休日（貴社だと、土曜や祝日ということに
なりましょうか）に関しては法令にほとんど
足がかりがなくて、扱いが難しいですよね。

やっぱり条文上労働者の決定にゆだねられているのは
始業終業の時刻のみなので、法定外休日といえども
勝手に労働日にして良い訳ではないと思うし
法定外休日にあたる日については
命令がないと就労できないことにしても
制度の趣旨に著しくもとりはしないと思う
（また、法定外休日には可能な限り
オフィス等を閉めたい、というような
使用者の都合も考慮されていいはず）ので、
制度設計として許容される範囲ではないかと
私は考えます。
が、裏付けは取れておりません・・・