行政部门下达《限期拆除决定书》或《行政处罚决定书》被视为未经允许建筑后，行政部门会下限期拆除决定书或行政处罚决定书，并告知自行拆除的期限，不自行拆除的后果，适用的我国规章制度依据，相对人的保护自身的权利方法等，所以应该在这段时间内拆除。行政部门应下达《催告通知书》快到拆除日期时，若你的房屋还未拆除，行政部门就会发送《催告通知书》给你，告诉你履行的期限、方式，并依照我国规章制度规定，有权陈述和申辩。后面经催告后，你还是未拆除且无正当理由，行政部门将作出强制执行决定。总的来说，建房时若改变用途或者未申请或者在审批时未通过而私自建设的那就是未经允许建筑，被发现后是要拆除的。但如果你不拆除，行政部门就会按照相应的拆除程序来拆除你的房子，所以建房时一定要遵循我国规章制度规定，以免给自己带来不必要的麻烦，之后还财房两空。