Родился в семье Мэрилин О`Коннор, юриста по гражданским правам, и Гордана Хоффмана, исполнительного директора компании «Xerox».
У Филипа Сеймура есть две сестры, Джилл и Эмили, а также брат Горди Хоффман.
Родители Сеймура развелись, когда будущему актеру исполнилось девять лет. Он тяжело пережил распад семьи и в течение некоторого времени пребывал в депрессии.