Die Hafermühle direkt an der B 170 gehört zu den ersten Eindrücken, die Besucher von Dippoldiswalde haben, wenn sie von Ulberndorf in die Stadt fahren. Daher beschäftigt das Schicksal dieses Bauwerks viele Dippser. Und lange Jahre war es schlecht um die Hafermühle bestellt. Der Produktionsbetrieb wurde in der Wendezeit eingestellt. Einzelne Räume waren noch eine Zeit lang vermietet, aber insgesamt verfiel das Anwesen.