1652年為荷蘭人所建，初稱為「普羅民遮城」，為行政商業中心。建築為三座略為方形的台座相接而成，1886年改建成飛簷紅瓦，有文昌閣、海神廟和蓬壺書院等，自創建之初迄今三百多年來，樓房之增修次數頗多，然其於台南市所扮演之角色，卻一直是十分重要。
現存之赤嵌樓，由南面的庭園、北面之閣樓及西面蓬壺書院所組成，庭園草木扶疏，立有國姓爺受降之雕像，靠閣樓之牆基土，則立有九塊石龜之御碑，其是移自於大南門城邊，為清乾隆五十三年〔一七八八〕年讚賞平定林爽文之役之記功碑，碑以花崗石所雕，碑首雕雙龍，碑文滿漢各四邊，二者合壁一篇，所有碑是立於狀似石龜之贔屭上，其為九龍生子之一，生好負重，然由於其貌與龜無異，一般人均稱之為〔龜碑〕。
現有兩棟閩南式閣樓，是立於原普羅民遮城改建之基座上，原有城堡相當的小，上有主要建築一座，南北則各有望樓，目前荷蘭時期之城堡只遺留西面之門及東北角之殘蹟二處，從其中，可以清楚的看到磚材之疊砌，這些磚材來自於印尼爪哇島，並以糯米汁、糖漿、砂與牡蠣殼之混合物為灰漿。
閣樓之中，海神廟位於南面，文昌閣位於北面，二者屋頂均是重簷歇山的表現，重簷之間實即為二樓部分，繞以綠釉花瓶欄杆。海神廟目前懸以〔赤嵌樓〕門匾，內部當作赤嵌樓之展示館，東面之花瓶形門洞，相當別緻。
文昌閣目前仍懸有沈受謙所題文昌閣匾，一樓亦做為展示之用，二樓則祀魁星，右手握硃筆，左手拿墨斗，一足踏鱉首，一腳踢星斗，以象徵獨占鰲頭之意。二棟建築皆位於台基之上，台基中間均有龍形御路設置，牆面則開書卷形之窗戶。
二樓閣中間現有一古井，傳說中可通往熱蘭遮城，是真是假，留待遊人自行想像。整座高起之基座周圍，砌以磚造欄杆，南面之欄杆還立有可愛之小石獅。
南面基牆則砌以歷代石碑甚多，西面庭園中亦佈滿石馬、石陀與技勇石等歷史文物。蓬壺書院之門廳是該書院留存較具原貌之清領時期建築，面向西面，裝修簡樸，值得一覽。
