Nach dem Aufbau des KZ-Lagers Kaufering VII durch die Organisation Todt (OT) wurde das Lager im September 1944 von der SS übernommen und die ersten Häftlinge trafen im Lager Kaufering VII ein. Zeitweise waren in 55 Erdhütten (OT-Feldbaracken) und sechs Tonröhrenbaracken bis zu 2.000 Männer und 272 Frauen getrennt untergebracht. Die Häftlinge dieses Lagers waren Überlebende des Konzentrationslagers Auschwitz, verschiedener Gettos in Litauen und des Warschauer Gettos: Juden aus allen europäischen Staaten.
Unabhängig von Alter und Geschlecht wurden die Häftlinge zum Bau der Bunker herangezogen. Sie mussten Bauarbeiten leisten, etwa bei der Errichtung des Betonteilewerks Held & Francke (Tarnnahme Erich) und an einer Einsenbahnstrecke.
Ab Januar 1945 wurde das Lager Kaufering VII zum Krankenlager. Aus anderen Lagern des Komplexes Kaufering überstellte die SS schwache, kranke sowie nicht mehr arbeitsfähige Gefangene. Eine Pflege der Kranken gab es nicht, entsprechend stieg die Zahl der Toten. Das Lager wurde wegen einer Typhus-Epidemie unter Quarantäne gestellt. Rund 2.000 Tote aus Kaufering VII wurden in nahen Massengräbern verscharrt.
Ende April räumte die SS das Lager vor den anrückenden amerikanischen Truppen. Mit roher Gewalt trieb die SS die KZ-Häftlinge nach Dachau, Allach und dann in Richtung Süden auf den Todesmarsch.
Nach dem Krieg wurden deutsche Vertriebene und Flüchtlinge aus dem Osten in den SS-Baracken und in einigen Tonröhrgebäuden einquartiert. Sie lebten hier bis Mitte der 1960er Jahre.