Bygholm ligger i den vestlige udkant af Horsens og består af en hovedbygning mod øst og en avlsgård mod vest. Avlsgården opdeles i to dele, da den gamle landevej til Skanderborg gennemskærer anlægget. Øst for hovedbygningen ligger Bygholm Park, der er et stort fredet park- og naturområde som Bygholm Å løber igennem. Kun hovedbygningen med sidefløje er omfattet af fredningen.
Hovedbygningen er en 15 vinduesfag lang, grundmuret bygning i en etage, der er opført med høj kælder og en gennemgående, let fremspringende gavlkvist. Bygningen bærer et rødt, teglhængt heltag med halvvalmede gavle, også gavlkvisten bærer røde tegl, og i rygningen ses i alt fire, hvidkalkede skorstenspiber med sokkel og gesims. I begge tagflader ses nyere tagvinduer samt en række tudsten. Den høje, fremspringende sokkel udgøres nederst af granitkvadre og er hvidkalket som det øvrige murværk, der afsluttes af en hvidkalket, profileret hovedgesims. Mod haven markeres hovedbygningens hjørner af kvaderliséner, og omkring samtlige vinduer er et svagt tilbagetrukket, vertikalt felt med forkrøppede hjørner. Begge gavle og midtrisalitter har en profileret gesims, der følger tagfladernes skrå forløb ned til tagfoden, hvor den afsluttes med et kort, vandret stykke. Fælles for midtrisalitterne er desuden, at de har indfatninger omkring vinduerne, både plane og profilerede med forkrøppede hjørner, tre let tilbagetrukne felter i gavltrekanten, hvor der er en urskive med et fungerende urværk, samt en pinakel udformet som en morgenstjerne øverst. Midtrisalitten mod gården har hjørnepilastre og en detaljerig sandstensportal med en rigt ornamenteret stentavle. Hoveddøren er en ældre ornamenteret fyldingsdør med et halvrundt, vifteopsprosset overvindue, der sidder i en profileret sandstensindfatning med vederlags- og slutsten også i sandsten. Foran midtrisalitten er en bred ligeløbstrappe med granittrin, murede, hvidkalkede vanger og et smedet værn. På hver side af midtrisalitten er en lav kældertrappe, der fører ned til en kurvehanksbuet døråbning, hvori der er en nyere kælderdør. Midtrisalitten mod haven har også en portal, men den har murede pilastre, som bærer en svungen og rigt profileret fordakning, hvori der sidder en sandstenstavle med inskription. Havedøren, der er en nyere, tofløjet dør med småsprossede termoruder, sidder i en fladbuet, glat indfatning. Fra havedøren fører en bred trappe med granittrin samt svungne, hvidkalkede vanger med et smedet værn ned til haven. Under trappen er der adgang til kælderen gennem en nyere rammedør. Vinduerne er ældre smårudede korspostvinduer, der i overgavlene er torammede, smårudede og nyere, men traditionelt udførte, ligesom i kælderen. Hoveddøren er mørkeblå med lyseblå staffering, mens de øvrige døre samt vinduerne er hvide.
De to vinkelformede sidefløje er lavere end hovedbygningen, idet de er opført uden kælder. Som hovedbygningen er sidefløjene grundmurede med sokler af granitkvadre, hvidkalket murværk og hovedgesims, og de bærer røde teglhængte heltage med halvvalmede gavle. I rygningerne ses hvidkalkede skorstenspiber med sokler og gesimser, og i tagfladerne er der nyere tagvinduer, tudsten og enkelte udluftningshætter. Den høje, profilerede hovedgesims følger tagskægget hele vejen rundt og er ført omkring gavlene. I den nord- og sydvendte gårdside er en nyere, men traditionelt udført, tofløjet revledør, og foran hver dør ligger et par granittrin. I nordre sidefløjs gårdside og i søndre sidefløjs haveside er en nyere, tofløjet havedør med små ruder og derover et smårudet, fast vinduesparti, og foran døren ligger en tresidet granittrappe. Vinduerne er nyere, traditionelt udførte korspostvinduer med små ruder. Hoveddørene er mørkeblå med lyseblå staffering, mens havedøren og vinduerne er hvide. Sidefløjene er i hver gavl sammenbygget med en nyere forbindelsesbygning, der sammenkobler de vinkelformede sidefløje med avlsgårdens nærmest beliggende længer.
Hovedbygningen og sidefløjene fungerer som hotel og restaurant. I den nordre sidefløj er der en restaurant, og tagetagen herover er uudnyttet. I hovedbygningens stueetage er der selskabslokaler, i kælderen køkkenfaciliteter og tagetagen er indrettet med hotelværelser med tilhørende badeværelser. Den søndre sidefløj er indrettet med hotelværelser og badeværelser både i stueetagen og tagetagen.
I hovedbygningen er der i stueetagen bevaret store dele af en ældre grundplan med en forstue og en modstående havestue i den gennemgående gavlkvist, nord herfor er en gennemlyst riddersal, mens der syd herfor er en langsgående hovedskillevæg med stuer en suite mod haven. I hallen er en ældre todelt hovedtrappe. To løb med udskårne balustre og svungen, profileret håndliste fører op til tagetagen, mens en kvartsvingstrappe med samme udformning fører ned til kælderens gæstetoiletter. Kælderen består af mindre gennemgangsrum på hver side af en langgående hovedskillevæg. I tagetagen ligger værelserne på hver side af en midterkorridor. Hovedbygningen har i stueetagen bræddegulve belagt væg-til-væg tæpper eller sildebensparket, pudsede vægge og lofter med stukkatur. Der er bevaret flere ældre bygningsdetaljer i stueetagen, herunder vægge med opspændte lærreder, høje fodpaneler, lysningspaneler, tofløjede fyldingsdøre, profilerede gerichter og rundbuede kaminnicher. Kælderen har støbte gulve med en epoxybehandling med anti-skridbar overflade, flisebeklædte vægge og pudsede lofter, og dørene er nyere plane træ eller ståldøre. Tagetagen har væg-til-væg tæpper, plane vægge og skråvægge, akustikpladelofter på gangen og plane lofter på værelserne. Der er nyere pladedøre med indfræsede felter, som for at illudere en fyldingsdør, og enkle gerichter og fodlister.
I den nordre sidefløj er der intet bevaret af en ældre ruminddeling. Nærmest hovedbygningen er et par depotrum og et fordelingsrum, hvorfra der er adgang til både kælderen og hovedbygningens højere beliggende stueplan. Trappen op til hovedbygningens stueetage har et ældre værn med udskårne balustre. Den resterende del af sidefløjen er indrettet til en stor vinkelformet restaurant, der kan opdeles i to rum af en foldevæg. Fra restauranten giver en nyere, tofløjet branddør adgang til den nye forbindelsesbygning mod nord. Den nordre sidefløj fremtræder med en nyere materialeholdning, idet der er støbte gulve med væg-til-væg tæpper, vinylgulve og klinker, pudsede vægge og plane lofter med indbyggede spots og ventilationsaftræk. En ældre sekundær trappe fører op til tagetagen, der er indrettet med et par ældre pigeværelser, mens den resterende del er uudnyttet med synligt ældre tagværk og understrøgne tagsten.
Den søndre sidefløj er indrettet med en gang langs gårdsiden og værelser med eget badeværelse mod haven. En ældre trappe med udskårne balustre og profileret håndliste fører op til tagetagen, der er indrettet ligesom stueetagen. På begge etager er der væg-til-væg tæpper, plane vægge, skråvægge og lofter samt akustikpladelofter på gangen i tagetagen. I stuetagen er der ældre fyldingsdøre med profilerede gerichter og i tagetagen er der nyere pladedøre med indfræsede felter.