根據(jù)我所了解的情況，法院在被告起訴違建行為的案件中，可以認定建筑是否屬于違建。法院會根據(jù)相關法律法規(guī)和證據(jù)，如建筑用地規(guī)劃、建筑許可證等對建筑進行評估，判斷其是否符合規(guī)定，從而確定是否構成違建。如果法院認定建筑屬于違建，可能會做出相應的判決和處罰，并要求被告進行拆除或整改。法院認定建筑違建的這一決定具有法律效力，需要當事人進行執(zhí)行。綜上所述，法院是有權認定建筑是否違建的。