Aber ein kleiner Kreis von Dresdner Künstlern, die als Soldaten dienten, schien sich immer wieder bei Heimat-Urlauben mit Haller zu treffen.
Am 26.11.1939 lernte Haller in Dresden die schweizer Erika Streit kennen. Diese lebte zusammen mit ihren Eltern im tschechisch-böhmischen Kutterschitz, wo der Vater eine Fabrik leitete. Sie studierte an der Akademie in Dresden bei Otto Dix. An jenem Abend war sie mit Dix zum Essen im Bräustübl und beide trafen anschliessend Ludwig Haller und seine Frau Liane.
Haller: Während der Kriegszeit studierte eine Malerkollegin nochmals auf der Akademie unter den neuen NSDAP Professoren. Erika Streit war Schweizerin. Deren Vater war Chemiker und hatte als Leiter eines grossen Industriekonzerns eine Villa in der Tschechei. Dort sind wir viel gewesen und ich habe auch dort viel gemalt. 1944 (tatsächlich 1943) wurde ihr Vater schwer krank und musste in die Schweiz zurück. Erika nahm meine Konstruktionszeichnungen, etwa 50 Stück, als Eigengepäck in dem Möbelwagen nach Zürich mit. Es sind die einzigen Zeichnungen von etwa 1000, die gerettet wurden, die übrigen, wie auch die meisten meiner Ölbilder, sind beim Angriff auf Dresden verbrannt. (Dies ist eine nicht nachvollziehbare Aussage, denn Haller lebte 1945 immer noch im Künstlerhaus, welches nie gebrannt hat oder zerstört wurde. Es mag aber sein, dass viele seiner Gemälde in Lianes Fabrik oder anderwo gelagert waren und dort zerstört wurden.) Hätte ich die Zeichnungen nicht retten können, bekäme ich jetzt keine Berufsverfolgtenrente. Ich musste diese bei meinem Prozess gegen den Staat zur Begutachtung der Münchner Akademie einschicken, welche eine blendende Begutachtung erstellten.
Nach Erika Streits Aussage war es nicht nur so, dass beide Hallers viele Besuche in Kutterwitz abstatteten, sondern dass diese sogar bei Erika Streit in Kutterschitz dauerhaft wohnten.
Weiter schreibt Haller über die Kriegszeit:
Ich saß einmal während des Krieges in einem Urlauberzug. Ein SS Offizier saß mir allein im Abteil gegenüber. Wir kamen ins Gespräch. Er war SS Arzt. Die SS Leute als Elitetruppe waren ja auch „weltlich“ gebildet. Ich sagte ihm, daß ich Maler sei. Darauf er: „Wenn Sie Ihren Beruf ernst nehmen, dann müssen Sie alles können. Der Maler ist der einzige Beruf, der alle Berufe in sich einschließt.“ Das war mir neu. Die SS hatte eine Zeitung „Das Schwarze Korps“. Das Blatt war äußerst raffiniert angelegt. Dort gab es oft vorzügliche Artikel, und zwar auch für Leute, die Nazigegner waren. Sie hatten gute Mitarbeiter.