Opførelsen af Charlottenborg slot blev påbegyndt i 1672 i nederlandsk barokstil som residens for norges statholder, Ulrik Frederik Gyldenløve, uægte søn af Kong Frederik III. Ved århundredeskiftet købte enkedronning Charlotte Amalie slottet, og det har siden båret hendes navn.

Bygningen blev i midten af 1700-tallet anvendt af et hav af offentlige institutioner, men blev efterhånden overtaget af Det Kongelige Danske Kunstakademi (officielt indviet i 1754). Efter mange diskussioner om, hvordan man kunne opføre en tilbygning til udstillingsformål ved akademiet, blev Charlottenborg Udstillingsbygning endelig åbnet i 1883, opført efter tegninger af Ferdinand Meldahl og Albert Jensen. Bygningen, der også rummer Danmarks Kunstbibliotek, blev gennemgribende restaureret i slutningen af 1970'erne og skiftede i 2007 navn til Kunsthal Charlottenborg.