kamehen さん、フォローありがとうございます。確かにおっしゃるとおりです。
市町村により税額通知書の書式は異なるでしょうが、給与所得以外の所得金額も記載されるものと思います。
いずれにしても勤務先には発覚しますので、そのおつもりで対応なさることをお勧めします。
http://www.city.kobe.jp/cityoffice/09/081/kobecityzei/shizei/kojin/zeigakutuuti.pdf