Wäre es nicht für Liah Falkenberg gewesen, Haller’s Schülerin und Vertraute, so gäbe es heute kaum Hinweise auf sein Leben. Auf ihr Drängen hin fing er am 26. Juli 1981 an, in einer Serie von Schreiben Erinnerungen an sein Leben aufzuzeichnen. Der erste Satz dieser Memoiren lautet:

„Meine kleine Wahlschwester hat mich dringend ersucht, ihr Angaben zukommen zu lassen, die sie für die Beschreibung meines Lebens verwerten kann. Ich tue dies jetzt nur aus Liebe zu ihr, denn ich mag keine Biografien, die private Sphäre sollte das Eigentum jedes Menschen sein.“

Diese Aussage kann mit einer der Schlüssel sein, warum Ludwig Haller als Künstler nie bekannt wurde. So sehr er anstrebte, dass seine Kunstphilosophie verbreitet und angenommen wird, so wenig Interesse hatte er anscheinend, sich selbst der Aussenwelt zu präsentieren und als Mensch zu offenbaren.

Haller’s Zitate aus seinen Memoiren sind in der Folge kursiv widergegeben.