Il 24 agosto 1814, durante la guerra del 1812 tra gli Stati Uniti e l'Inghilterra, le truppe britanniche entrarono a Washington, DC e bruciarono la Casa Bianca come rappresaglia per l'attacco americano alla città di York, nell'Ontario, in Canada, nel giugno 1812.
Quando gli inglesi arrivarono alla Casa Bianca, scoprirono che il presidente James Madison e la sua primogenita Dolley erano già fuggiti in salvo nel Maryland. Secondo quanto riferito, i soldati si sono seduti a mangiare un pasto a base di cibo rimasto dal retrocucina della Casa Bianca usando piatti della Casa Bianca e argento prima di saccheggiare la residenza presidenziale e dargli fuoco.
Secondo la Historical Society della Casa Bianca e le lettere personali di Dolley, il presidente James Madison aveva lasciato la Casa Bianca il 22 agosto per incontrarsi con i suoi generali sul campo di battaglia, proprio mentre le truppe britanniche minacciavano di entrare nella capitale. Prima di andarsene, chiese a sua moglie Dolley se aveva il "coraggio o fermezza" di aspettare il suo ritorno previsto il giorno successivo. Le chiese di raccogliere importanti documenti di stato e prepararsi ad abbandonare la Casa Bianca in qualsiasi momento.
Il giorno successivo, Dolley e alcuni servitori scrutarono l'orizzonte con i cannocchiali in attesa che arrivassero Madison o l'esercito britannico. Mentre le truppe britanniche si radunavano in lontananza, Dolley decise di abbandonare gli effetti personali della coppia e invece salvò un ritratto a figura intera dell'ex presidente George Washington dalla profanazione. Dolley scrisse a sua sorella la notte del 23 agosto delle difficoltà legate al salvataggio del dipinto. Dato che il ritratto è stato avvitato al muro, ha ordinato di spezzare la cornice e la tela estratta e arrotolata. Due "signori di New York" non identificati lo scacciarono per la custodia. (All'insaputa di Dolley il ritratto era in realtà una copia dell'originale di Gilbert Stuart). Completato il compito, Dolley scrisse "e ora, cara sorella, devo lasciare questa casa, o l'esercito in ritirata mi renderà prigioniero riempiendo la strada che sono diretto a prendere." Dolley lasciò la Casa Bianca e la trovò marito nel luogo di incontro prestabilito nel mezzo di un temporale.
Sebbene il presidente Madison e sua moglie siano stati in grado di tornare a Washington solo tre giorni dopo, quando le truppe britanniche si erano trasferite, non hanno mai più vissuto alla Casa Bianca. Madison ha scontato il resto del suo mandato presso la Octagon House della città. Fu solo nel 1817 che il neoeletto presidente James Monroe tornò nell'edificio ricostruito.
