Bereits vor der DDR-Staatsgründung besaß der Ort eine lange Geschichte. Seit 1862 diente das Schloss Hoheneck aus dem 16. Jahrhundert als Zuchthaus, während des Ersten Weltkriegs auch als Lazarett und in der Weimarer Republik als Strafanstalt für Jugendliche. 1950 übernahm die DDR-Volkspolizei die Haftanstalt. Die ersten Insassen kamen aus dem aufgelösten sowjetischen Speziallager Sachsenhausen: 1.100 Frauen mit 30 Kleinkindern. Die Mütter wurden meist wenige Wochen nach ihrer Ankunft in Hoheneck von den Kindern getrennt. Die Jungen und Mädchen – auch die Neugeborenen – wurden in DDR-Kinderheimen untergebracht, der Kontakt zu ihnen begrenzt oder verboten. Nach der Haftzeit sahen die Frauen ihre Kinder wieder, manche erst nach dem Fall der Mauer, andere blieben voneinander getrennt.
Die Haftbedingungen in Hoheneck waren gefürchtet. Das für 600 Häftlinge ausgerichtete Gefängnis war zeitweise mit mehr als 1.600 Frauen überbelegt. Die Frauen wurden in zu kleine und überfüllte Zellen gesperrt und mussten sich diese mit Frauen, die wegen Mordes verurteilt worden waren, sowie mit psychisch Kranken teilen. Sie litten unter der Kälte und der mangelhaften Verpflegung. Die Inhaftierten wurden zu Akkordarbeit unter militärischem Drill eingeteilt und mussten neuesten Forschungsergebnissen zufolge Waren für westliche Konzerne wie "Quelle" oder "Neckermann" produzieren. Wer sich verweigerte, wurde bestraft. Trotzdem lehnten sich die Frauen in Hoheneck auf.
Zum ersten Hungerstreik kam es bereits 1953, er sollte eine Überprüfung der Haftgründe und bessere Bedingungen erreichen. Die enorme Brutalität vieler Wärterinnen und die Gewalt unter den Häftlingen setzten den Frauen zusätzlich zu. Ehemalige Häftlinge berichten von einer Dunkel- und einer Wasserzelle, in denen sie tagelang eingesperrt waren. Die drakonischen Strafen trieben einige in die Verzweiflung. Mit dem Schlucken von Besteck und Scheren, der Einnahme von Haarlack oder dem Verletzen durch Nadeln und Messer versuchten sie, sich das Leben zu nehmen. Erst 1983 resultierten aus den Bemühungen der SED um eine internationale Anerkennung der DDR Erleichterungen für die Gefangenen in Hoheneck.
Der einzige Hoffnungsschimmer für die politischen Gefangenen in dem Stollberger Gefängnis war der Freikauf durch die Bundesrepublik Deutschland. Die Bonner Regierung zahlte insgesamt rund 3,5 Milliarden DM an die DDR, damit sie die Haftzeit der politischen Gefangenen aussetzte und sie in den Westen entließ. Viele der eingesperrten und gequälten Frauen kamen auf diese Weise frei, doch kaum eine der Gefangenen verließ Hoheneck ohne schwere körperliche und vor allem seelische Verletzungen.
Nach dem Fall der Mauer und einer Amnestie der politischen Häftlinge diente Hoheneck bis 2001 weiterhin als Gefängnis. Das Engagement des "Frauenkreises der ehemaligen Hoheneckerinnen" resultierte im Januar 2014 in einer Zusage des Landes Sachsen, sich für eine Neunutzung der Burg als Gedenkstätte und Museum einzusetzen.