>「非課税」という言葉からは、なんとなく「税金が課されない、ということだからお得」

消費税を納める（又は負担する）かどうかという観点で言えば、お得（ちょっと語弊はありますが）という考えで間違ってはいないと思います。

但し、消費税は、売上と共に預った消費税から、仕入等に含まれる負担した消費税を引いて納税額が決まりますので、売上について非課税のものがあれば、その分は消費税は当然かかってきませんが、逆に、そこからマイナスする方の仕入等に係る分は、非課税の分は当然消費税は負担していませんので、売上に係る消費税から引く事はできない事となります。

ですから、仕入等に係る消費税は、消費税の計算上はマイナス項目、その中で非課税のものがあれば、ちょっとおかしいですけどいわゆるマイナス、要はマイナスのマイナスはプラスの訳ですから、仕入等の中に非課税項目が出てくれば、結果的に、その分だけ当初の計算に比べて、納付すべき消費税の額は増える事となります。

説明下手ですが、分かりにくければ、さらに補足させて頂きたいとは思います。