Omkring 1239 blev et gråbrødrekloster oprettet på stedet, og ruiner heraf er bevaret under den nuværende bygning.
Efter nedrivningen af de sidste rester af det tidligere gråbrødreklosters bygninger lod general Christian Lerche i 1751-52 den nuværende meget langstrakte enlængede hovedbygning opføre sammen med et anseligt trefløjet ladegårdsanlæg. Arkitekten var formentlig J.C. Conradi, der var stærkt påvirket af Eigtveds lisénarkitektur (se også Kgl. Grønlandske Handels pakhus i København). Da gården ved opførelsen var avlsgård under Lerchenborg gods, har hovedbygningen aldrig været tænkt som herskabsresidens. Den sydlige del var oprindelig indrettet til beboelse, mens den nordre indeholdt mejeri og andre funktioner i forbindelse med landbrugsdriften.
Omkring 1945 anvendes bygningen til kostskolehjem og senere til trikotagefabrik.
I 1969 overtages bygningen af kommunen.
I 1975 er en omfattende brand, der raserer en betydelig del af bygningens nordende, men den er genopbygget.