Первоначально именовался «Президентский дворец» или «Президентский особняк», первое разговорное употребление термина «Белый дом» относится к 1811. Официальным название стало лишь в 1901 по распоряжению Теодора Рузвельта. С 1909 рабочее место президента находится в Овальном кабинете в левом крыле здания.

В журналистском языке термин «Белый дом» употребляется как синоним администрации президента США (аналогично «Кремль», «Елисейский дворец» и т. п.)

Изображён на банкноте в 20 долларов.