违章建筑的认定通常由 县级以上地方人民政府城乡规划主管部门或土地行政主管部门进行。具体认定部门如下：
负责对违法建筑形成的时间、原因和用途进行调查，并测量违法建筑的结构和面积。
对于取得规划许可但未按照规划要求建设的建筑，由规划部门进行认定；对于未取得规划擅自建设的建筑，由城管部门进行认定。
在一些情况下，规划部门在城管部门提出协助或有文件明确规定时，才负责出具认定意见。
负责对用地违法的情况进行认定。
根据《中华人民共和国土地管理法》，土地行政主管部门有权没收违法所得，并对非法占用土地建住宅的行为进行处罚。
在一些城市，城管部门得到省级政府授权后，有权查处违章建筑。
其执法范围包括乡、村庄规划区范围内，可以查处该区域内的违章建筑。
在某些情况下，街道办也可能有权查处违章建筑，这通常取决于省级政府或市级政府的授权。
综上所述，违章建筑的认定主体可能是城乡规划主管部门、土地行政主管部门、城管部门、乡（镇）人民政府或街道办，具体由哪个部门负责，需要根据当地的具体行政架构和法律规定来确定。建议您在具体操作中咨询当地的相关部门，以获得准确的信息和指导。