Anna drev sedan pensionat i huset, med kaffeservering i trädgården. Fram till 1942 var det också skola i huset.
Hilmer och Anna fick fyra barn. Helga gifte sig med Gunnar Antonsson i Alfredhuset. Inga gifte sig i Göteborg. Lydia gifte sig med Gunnars bror Ragnar Antonsson. Harry, som tidvis jobbade som fyrvaktare på Ursholmen bodde kvar i huset till sin död 1979.
Astrid som blev föräldralös på Resö växte också upp här som fosterdotter till Anna från 1929, då hon var sex år.
Huset köptes 1981 av Inger och Georg Helenius. Efter deras död har sonen Henrik övertagit huset, med sonen Marcus.