Unni flykter fra Norge til Sverige på slutten av 1800-tallet. Hun har begått en stor synd og må komme seg i sikkerhet med sønnen Roar og kjæresten Armod. På et øde sted, i en skog i Norrland, finner de ly i en enkel hytte. I det nye hjemmet er den lille flokken prisgitt naturens og storbondens nykker, og må takle fattigdom, matmangel, kulde, trusler og nød. Mer en sytti år senere planlegger Kåra begravelsen til sin svigerfar Roar og innser at historien hans er full av hull og hemmeligheter. Hva var det egentlig som skjedde med familien hans i hytta i skogen? Hva var det Unni, Armod og barna opplevde som satte slike spor - spor som skulle prege familien i generasjoner? Dit du går, vil jeg gå er en dramatisk generasjonsfortelling om kjærlighet og familiebånd. Om hvor avhengige vi er av hverandre - og av naturen.