Bygningen ligger centralt i Faaborg vest for Torvet og for enden af Mellemgaden ud til den brolagte Holkegade. Holkegade 3 ligger om et hjørne mod vest og har pigstensbelægning omkring bygningen. Mod øst er bygningen sammenbygget med Holkegade 1, der ligeledes er fredet og sammen danner de rammerne om Øhavsmuseet. Bygningen er sammenbygget med en sidebygning, der også er omfattet af fredningen. Gårdrummet er brolagt med adgang til Holkegade 1s brolagte gårdrum.
Holkegade 3 er et karnaphus i to etager opført i bindingsværk. Karnapen er i tre etager. Bygningen hviler på en sokkel, der er gråmalet mod gaden og sorttjæret mod gårdsiden. Bygningen afsluttes af et rødt, teglhængt, helvalmet tag. Taget har let udhæng med sugfjæl og profilerede skalke. I rygningen sidder to murede skorstenspiber med sokkel og krave. I den sydlige tagflade ses tre pultkviste samt en hejsekvist. Andet stokværk af let udkraget. Facaden mod gaden og i smigfaget er overpudset i en lys grå nuance. Første stokvæk er kvaderpudset og afsluttes af en profileret kordongesims, der gentages mellem andet og tredje stokværk på karnappen. Karnappens facade afsluttes af en profileret hovedgesims. Vestgavlen står i rigt bindingsværk, der er hvidkalket over stok og sten. På gårdsiden står bindingsværket sort opstolpet og med hvidkalkede tavl. Øst for karnappen sidder en ældre, tofløjet beklædt dør med rokokofyldinger og greb samt ældre indfatninger og overvindue med kroneglas. Vest for karnappen sidder en ældre, tofløjet fyldingsdør med klassicistiske træk i form af to slaglister og fem fyldinger med en udskåret medaljon i fyldingsspejlet. I den øverste fylding er en nyere rude. På gårdsiden ses to flammerede rammedøre, hvoraf den østre har et ældre, tredelt overvindue. Vinduerne er i stueetagen både ældre og traditionelt udførte korspostpostvinduer. På førstesalen samt i pultkvistene er vinduerne ældre, torammede vinduer. På gårdsiden ses desuden en-rammede vinduer og to ældre, overfalsede, torammede vinduer. Vinduer og døre mod gaden er malet i en mørk næsten sort farve. Mod gårdsiden er vinduer og døre hvidmalede. I hejsekvisten sidder en ældre sortmalet luge.
Sidehuset står med sort opstolpet bindingsværk med hvidkalkede tavl. Bygningen er sammenbygget med et sidehus på nabogrunden, således er den østlige ydermur muret op til tagryggen og afsluttes af et ældre, rødt, teglhængt tag med ensidig taghældning mod vest. Taget er let udhængt med nyere uprofilerede skalke og sortmalede vindskeder på gavlen. Sidehuset hviler på en sorttjæret kampestenssokkel, der følger terrænet. I bygningens tredje fag sidder en nyere havedør. Vinduerne er ældre og torammede. I sidebygningens gavl er en ældre sortmalet luge.
Holkegade 3 huser det lokalhistoriske museum, hvorfor en traditionel planløsning er svær aflæselig. Dog er der to forstuer, hvoraf den vestre er gennemgående fra gade til gård. Forstuerne er flankeret af stuer, hvor der ses brystningspaneler. I forstuen er en ældre ådret fyldingsdør samt ådrede paneler. I smigfagsstuen ses ældre stolper samt feltinddelt pladeloft imellem synlige loftsbjælker. Mod skorstenen er et stenlagt gulv, der markerer ildstedets placering. Gennemgående er der bevaret flere ældre bygningsdele og -detaljer, herunder fyldingsdøre med ældre gangtøj, herunder indstukne hængsler, greb og gerichter, samt en ældre rammedør med ældre beslag og låsetøj. Desuden vinduer med ældre anverfere og stormkroge. I stuerne i den østlige ende af bygningen ses bemalede vægge, der afsluttes af en frise mod loftet og en marmorering enten mod fodpanelet eller i brystningspanelets spejl. I den sydvendte stue står en ældre etageovn. Fra stuen er der adgang til sidehuset, der er et stort rum, indrettet til museumsbutik med synlige ældre loftsbjælker, kalket bindingsværk samt ældre vinduer med anverfere og stormkroge. Tilbage i forhuset fører en nyere kvartsvingstrappe op til en ældre ådret fyldingsdør, der giver adgang til bygningens førstesal, hvor der er kontorer samt et personalekøkken mod gården. Overfladerne er nyere, men traditionelt udførte og ældre, herunder bræddegulve, pudsede lofter og flere ældre fyldingsdøre med ældre gangtøj, herunder indstukne hængsler samt bukkehornsbeslag, låsetøj, greb og gerichter. Loftsetagen fremstår uudnyttet på nær karnapstuen, der ligeledes har bevaret de ældre vinduer med anverfere og stormkroge samt en fyldingsdør, men ellers er overfladerne nyere. Loftsetagen er inddelt i mindre rum og har ældre bræddegulv, synlige skorstene og tagkonstruktion samt undertag. En ældre kældertrappe fører via en lem i gulvet ned til den pigstenslagte kælder med synligt kampestensfundament og trækonstruktion. En luge i terræn på bygningens gårdside giver ligeledes adgang til kælderen.