Folketellingen for 1891 viser at familien inkl. Paulianna og Johan Holm hadde flyttet til Stamneset. I Norges bebyggelse står det at hovedhuset på Stamneset ble bygd ca 1880, trolig av Petter Andreas og svigersønnen, Johan Holm. Så er det sagt om Stamneset at det første huset på stedet var reist like vest for dagens bygninger. Det må bety at det var noen på Stamneset tidligere.

Han fikk som 5-åring utlagt farsgården på Langøya (184 c) til seg da faren omkom. Petter var i 1865 fisker og selveier på gården 184 a. I 1869 solgte han 184 a til farbroren Peder M. Pedersen, men holdt unna stuebygningen. I 1873 ble 184 a og 184 c igjen slått sammen til ett bruk. Sent i 1880-årene flyttet Petter og Martha til Stamnes hvor de bygslet ei tomt (bnr. 28, gnr. 7) og bygget husa som står på stedet i dag. Iflg. Norges Bebyggelse ble det ført opp ca 1880, det er nok for tidlig. Kirkeboka viser at familien bodde på Langøya i 1886 da datteren Mille ble døpt. Petter var husmann og fisker. I Hitraboka II står det at Petters far, Markus, også flyttet til Stamnes, men det er feil, da han døde i 1839. Stamnes er forøvrig ikke nevnt i bygdeboka.