Nach Aufgabe des Weinbaus wurde vom Kloster am Weinberg eine Siedlung für Tagwerker errichtet.
Die weitere Bezeichnung des Anwesen als „Pernhauserhäusl“ leitet sich vom Familiennamen eines frühen Vorbesitzers ab.
Bei der ersten Erwähnung des „Waltl vom Pernhauserhäusl“ 1639 ist von einem Gotthardt von Bernhauser zu lesen, er hatte an Geldstift 1 fl zu leisten.
1781, 6. Februar, Jacob Kayser als angehender Besitzer des Waltel Hauß am Weinberg heiratet Anna Hallerin Sammer Tochter v Weinberg. Zeugen waren Simon Balauf v Landertsham und Marcus Kayser ebendort.
Grundherr war bis 1803 das Kloster Seeon.
Die Beschreibung von 1810 lautet: ein halb gemauertes Häußl, damaliger Besitzer war ein Jakob Kaiser.