Bedre var det vel heller ikke for Ole Olsen da kona hans døde i 1782 og han satt igjen med tre mindreårige barn. Han hadde vel god hjelp i døtrene Anne og Kirsten som var 15 og 12 år, mens Arnt var 7, Olava 5 og Gundel 3 år. Ole Olsen giftet seg igjen med Anne Larsdatter, og da fikk han hjelp i huset. Men 5 år senere døde også hun, og enkemannen hadde to småjenter i annet ekteskap — Margrete 3 år og Olav bare 6 uker gammel.