一般的な納税手続きは納付書を指定の金融機関の窓口に提出して納付するのが普通です。たとえ現金であっても税務署が直接受け取ってくれるのかどうか、当方はその経験がありません。

税務署に訊けば一発で解決する問題だと思うのですが・・・
回答になっていなくて申し訳ありません。