Олдман родился в семье строителя и домохозяйки. По утверждениям самого актера, детство было не особо счастливым, отец страдал алкоголизмом, а слабая мать была подавлена агрессивным мужем. Гари был одним из тех детей, которые предпочитают проводить все время в одиночестве, именно тогда он понял, что больше всего ему нравится изображать других людей, и ему это вполне удается.