Lybækkerhuset ligger med facaden mod Grønnegade, men som baghus til en større og nyere grundmuret bygning mod Storegade, der ikke er fredet. Imellem de to bygninger er et gårdrum. Mod syd er bygningen sammenbygget med nabohuset, der ej heller er fredet. Mod nord er en mindre terrasse, der tilhører nabohuset.
Lybækkerhuset er fem fag langt og opført i sort, opstolpet bindingsværk med rødkalkede tavl, hvilende på fodtømmer, der igen hviler på en kampestenssokkel, der er høj mod Grønnegade. Bygningen afsluttes af et rødt, teglhængt, opskalket tag med helvalm. I rygningen sidder en skorstenspibe med sokkel og krave. I den østlige tagflade er to mindre jernvinduer. Mod Grønnegade er bindingsværket med skråbånd i undertavlene og hjørnestolpen på nordgavlen har udskåret gavlknægt. Nordgavlens bindingsværk har fodrem, synlig bindbjælke, hjørnestolper med konsolknægte, en midterstolpe samt under tagudhænget et stykke tømmer med årstallet 1699. Facaden er kalket i en traditionel jernoxidrød og tømmeret er sorttjæret. På østsiden er en nyere tofløjet port med ældre støbejernshængsler samt en nyere bræddedør. Vinduerne er nyere og med korspost mod Grønnegade og to- og trerammede på gårdsiden. Der ses på begge sidder etrammede vinduer. Både døre og vinduer er malet i en grøn nuance.
Bygningen bliver brugt som opbevaring for Frelsens Hær, men i den nordlige halvdel har der været bolig, den er indrettet med køkken mod gårdsiden og stue mod Grønnegade. Den søndre del er et stort rum over to fag, en vognport, hvor der er en enkel ligeløbstrappe af træ op til det uudnyttede tagrum med understrøget tag. Der er ældre lodposter og loftsbjælker, men ellers fremstår det indre med nyere overflader.