税務署に確認してみたところ、

あくまでも課税仕入扱いな上でインボイス対象外だから計算上外れるということらしいです。

課税か非課税か不課税かと言われたら課税仕入扱いになってしまうみたいですね。