根據(jù)中國(guó)的法律法規(guī)，磚廠需要遵守相關(guān)的環(huán)保和建設(shè)規(guī)定。如果磚廠在建設(shè)過(guò)程中違反了政府的規(guī)定，政府有權(quán)采取行政手段對(duì)其進(jìn)行拆除或處罰。政府可以按照《建筑法》、《城市規(guī)劃法》等法律法規(guī)來(lái)處理違法建設(shè)行為。

政府拆遷的原因通常是出于城市規(guī)劃需要、環(huán)境保護(hù)、安全隱患等因素考慮。如果磚廠違法建設(shè)給周邊居民帶來(lái)了環(huán)境污染、噪音擾民等問(wèn)題，政府可以視情況采取拆除措施，以保障居民的生活環(huán)境和權(quán)益。

然而，政府在拆遷時(shí)必須依法行政，即依法進(jìn)行程序合法、公正公平的拆遷，并要給予相應(yīng)的補(bǔ)償。在執(zhí)行拆遷時(shí)，政府需要組織專業(yè)人員進(jìn)行評(píng)估，并與磚廠進(jìn)行協(xié)商，給予合理的補(bǔ)償費(fèi)用和拆遷安置安排。

總之，政府可以按照法律法規(guī)對(duì)違法建設(shè)進(jìn)行拆除，但同時(shí)需要依法行政，保障相關(guān)利益相關(guān)方的合法權(quán)益。