Stiftskontoret, Den gamle Kantorbolig, ligger på den østre side af Slotsgade, syd for Vallø Slot.
Bygningen, der i den sydlige del rummer en bolig, i den midterste og nordlige del Stiftskontoret, er et grundmuret og gulkalket forhus i én etage med teglhængt heltag og centralt placerede gavlkviste mod gade og have. Til havesiden er sidepartierne trukket frem som risalitter med selvstændige, helvalmede tage. Bygningen har sort sokkel, korspostformede og småsprossede, mørkegrønne vinduer samt hvid hovedgesims. I tagfladerne sidder flere mindre kviste samt ældre og nyere ovenlys. Gadesiden har tre indgangsdøre med overvinduer. Den midterste del af bygningen har kælder. På gadesiden længst mod nord sidder en ældre gadelampe.
I det indre er beboelsen i den sydlige ende kendetegnet ved en ældre planløsning med køkken og spisekammer mod gården samt stuer mod gaden. Overfladerne er ældre og traditionelle, med bræddegulve, brystningspaneler, fyldingsdøre, ældre gerichter, lysningsskodder og pudsede lofter med stukkatur i enkelte rum. Hoveddør og havedør er ældre. Loftsetagen er udnyttet og kendetegnet ved flere ældre døre og gerichter samt vinduesposter. Stiftskontoret i den midterste og nordligste del af bygningen er præget af en nyere planløsning med skillevægge, gang mod gaden, spindeltrappe i jern og enkelte støbte lofter. Flere steder er bevaret ældre døre og gerichter, paneleringer omkring vinduerne samt pudsede lofter med stukkatur. Den udnyttede overetage er domineret af nyere overflader.
Muren løber syd for bygningen og er gulkalket med sort sokkel og afslutning af to rækker vingetegl.
Vaskehuset ligger bag Stiftskontoret og er en mindre, grundmuret bygning med teglhængt heltag. Vaskehuset har sort sokkel, gulkalkede mursider, hvid gesims og en muret skorsten med sokkel og krave i rygningen. Bygningen har flere revledøre med ovenlys, mindre vinduer samt mod øst enkelte dekorative udluftninger. I tagfladen mod øst sidder et ældre ovenlys.