Полное имя — Джеймс Джосеф Гандольфини младший (James Joseph Gandolfini, Jr.).
Его мать, Санта, родилась в США, но имеет итальянское происхождение. Она работала поваром в школе. Его отец, Джеймс Джосеф Гандольфини старший, уроженец Борготаро (Италия). Он работал каменщиком и бетонщиком, а позже занимался хозяйственными вопросами в Парамуской высшей католической школе (Нью-Джерси).
Обучался в Рутгерском университете (Rutgers University), по окончании которого ему была присвоена степень бакалавра искусств в области коммуникаций.