拆除违章建筑一般由 县级以上地方人民政府负责。具体负责部门包括：
城乡规划主管部门：
依据《中华人民共和国城乡规划法》第六十四条和第六十八条，城乡规划主管部门负责责令停止建设、限期改正、罚款、限期拆除及没收实物或者违法收入等行政处罚。若当事人逾期不拆除，城乡规划主管部门可以申请人民法院强制执行。
国土资源部门：
负责查处违法占地建设行为，对非法占用的土地上新建的建筑物和其他设施有权作出处罚决定，包括责令限期改正、治理、停止施工或责令限期拆除，但没有强拆权，需要申请人民法院强制执行。
住房和城乡建设部门：
在城市规划区内，对未取得建设工程规划许可证或者违反建设工程规划许可证的规定进行建设的行为进行查处。
乡镇人民政府：
负责查处乡、村庄规划区内违反规划建设的行为。
城市管理部门：
对违章建筑进行日常巡查和执法，对发现的违章建筑可以采取查封施工现场、强制拆除等措施。
公安部门：
在拆除违章建筑过程中，若当事人拒不配合，公安部门可以协助执行强制措施。
综上所述，拆除违章建筑涉及多个部门，具体执行部门会根据违章建筑的具体情况、所在区域和规划要求等因素进行确定。一般情况下，城乡规划主管部门是主要的责任部门，但在实际操作中，可能会涉及多个部门的协同工作。
