С его первой женой Самантой Льюис они поженились в 1978 году, и у них двое детей, Колин и Элизабет. В 1987 году они развелись, а в 1988 Том женился на Рите Уилсон. От этого брака у Хэнкса тоже двое детей — Честер и Труман.
Его отец был шеф-поваром местного ресторана, мать работала там же официанткой. Томми был в семье третьим ребенком. Через пять лет после его рождения Хэнксы развелись, и по американскому законодательству трех старших детей (Тома, Ларри и Сандру) забрал отец.