Его отец — писатель Леонард Хаксли, дед по отцовской линии — биолог Томас Генри Хаксли; по материнской линии Хаксли приходится правнуком историку и педагогу Томасу Арнолду и внучатым племянником писателю Мэтью Арнолду. Брат Хаксли Джулиан и единокровный брат Эндрю были знаменитыми биологами.