Полное имя — Глория Грэм Холлворд (Gloria Grahame Hallward).
Её отец, Рэджинальд Майкл Блоксам Холворд, потомок короля Эдуарда III, был архитектором. Её мать, Джинни МакДугол, была британской актрисой, известной на родине под псевдонимом Джин Грэм.
У Глории Грэм было четверо детей: сын Тимоти Рэй (12.11.48) от второго брака с Николасом Рэйем, дочь Марианна Полетт Говард (01.10.56) от третьего брака с Cайем Говардом и два сына от четвёртого брака с Энтони Рэйем — Энтони Рэй-младший (30.04.63) и Джеймс Рэй (21.09.65).