Møllebygger Christian Sommer fra Rønne påbegyndte i 1856 opførelsen af Svanemøllen og ved takseringen i 1857 var møllen færdig og i drift. Møllen var beklædt med egespåner og udstyret med
fem kværne, hvoraf de tre var melkværne, en gryn- og skalkværn, en gryntromle og et sigteværk. Desuden var der et nyopført, trefags bindingsværkshus med kælder under to fag, der var indrettet til møllerbolig.
I 1861 udskiftede den nye ejer, H.A.Kofoed, skalkværnen til en ny og større skalkværn.
I brandtaksationer frem til 1877 kan mølleejendommen følges, idet der er foretaget forskellige udvidelser og forbedringer. Om møllen nævnes i 1877, at der er anskaffet to franske flintekværne, men det øvrige uforandret. H. A. Kofoeds søn overtog møllen efter faderen død 1885. I sønnens ejerperiode frem til 1920 skete der en del ved møllen. 1895 etableredes bageri, og senere blev møllen forsynet med vindrose for selvkrøjning, samt selvsvikker på vingerne. Også motor blev installeret i et lille motorhus nordøst for møllen. Under Anden Verdenskrig leverede møllen endda elektricitet til Svaneke.
Motoren afspejler hvordan den tiltagende maskintekniske udvikling begyndte at supplere den traditionelle møllevirksomhed i 1900-tallets første halvdel.
Antallet af møller på Bornholm har altid været meget højt i forhold til resten af Danmark, idet Mølleprivilegiet, der ved kongelig lovgivning fra 1683 påbød bønderne at få malet deres mel ved bestemte møller i lokalområdet, ikke gjaldt her. På Bornholm var der således et stort antal mindre privatejede møller og indførelsen af den fri næring i Danmark efter næringsloven fra 1858 betød, at der på landet opstod mange små bagerier som et bierhverv i forbindelse med de mindre landbug med tilhørende mølle. Små anlæg bestående af gård, mølle og bageri blev således meget udbredt på Bornholm og lignende anlæg fandtes blandt andet ved Årsdale Mølle, Myreagre Mølle, Saksebro Mølle, Liemensgade Mølle og den nu nedrevne Pile Mølle. Mange møller udviklede sig efterhånden til større virksomheder med pakhuse og salg af korn og mel. En af dem fungerer i dag som en stor, fuldt moderne og velfungerende valsemølle, nemlig Valsemøllen i Aakirkeby, med en stor melproduktion og handel med mel til bagere og butikker.
Svanemøllen blev antagelig taget ud af drift i begyndelsen af 1950’erne og blev i 1958 solgt til nedrivning. Den blev købt af Byforeningen Svanekes Venner og møllen var på dette tidspunkt i ringe stand, egespånene var blandt andet blevet erstattet med tagpap, hvilket i 1962 blev udskiftet med egespån, mens udskiftning af vindrosen skete i 1966-67. Fornyelse af hat og to vinger skete i 1993-94, og endelig blev en gennemgribende istandsættelse af vindrosen gennemført i 2001. En ny udskiftning af egespånene er påbegyndt i 2010 og ved besigtigelsen var fire sider fuldført.