Skolebygningen blev opført i 1719, og er en af Danmarks ældste bevarede landsbyskoler. Skolen skulle rumme 70 fattige børn fra Store Torøje. Prins Carl og prinsesse Sophie Hedevig var Frederik den Fjerdes søskende. I begyndelsen af 1700-tallet oprettede prins Carl og prinsesse Sophie Hedevig en række skoler på deres godser Vemmetofte, Højstrup og Jægerspris. Af disse skoler er i dag kun Prins Carls Skole i Store Torøje ved Vemmetofte bevaret. Bygningen rummede både skolestue og bolig for læreren og hans familie.
Prins Carls Skole fungerede som skole i ca. 100 år. Omkring 1820 blev den afløst af en ny skole, der lå på grunden ved siden af. Denne skole blev revet ned i 1919, idet en nyopført skole blev taget i brug. Denne fungerede indtil 1939, hvor den nuværende centralskole for området, Spjellerup-Smerup Skole, blev opført. Prins Carls Skole blev efter 1820-erne anvendt til privat beboelse.
I 1916 bekostede Vemmetofte Kloster en istandsættelse af bygningen, som samme år blev overtaget af Nationalmuseet og indrettet til skolemuseum.
Skov- og Naturstyrelsen overtog bygningen fra Nationalmuseet i 1989. I dag driver og vedligeholder en gruppe af frivillige bygningen, der rummer et skolemuseum.