A n´aquest indret sembla que es bastí el primer nucli romà de Palma, a partir del 123 aC. Més endavant sota domini islàmic, es construí un autèntic alcàsser que servia de residència al valí o governador sarraí. D´aquesta època, en pren part de la seva fesomia actual. Amb la conquesta catalana, el 1229, l´edifici es reconstruí per convertir-se en la residència dels reis de Mallorca. Amb la desaparició del regne de Mallorca, el palau es convertí en residència dels virreis i governadors. Actualment serveix de residència oficial dels reis d´Espanya, de museu i una part és ocupada pel Govern Militar. Té planta rectangular i es troba tancat per alts murs, flanquejats per torres de planta quadrada, entre les que destaca la de l´homenatge, també anomenada de l´Àngel, degut a la escultura de coure situada a la part de dalt, de principi del segle XIV en representació de l´Arcàngel Sant Gabriel, l´antic patró de la ciutat. Al costat de les escales de la costa de la Seu, hi ha la torre dels Caps, anomenada així perquè s´hi exposaven els caps dels executats. L´actual, és una còpia del castellet de Perpinyà de 1909. La façana de la mar perd un poc el seu caràcter defensiu, amb un conjunt d´arcs i finestres a les diferents plantes.
L´entrada principal és la de davant la Seu, i dona accés al pati del Rei o d´Honor. Aquí és on es troba la capella de Santa Anna, d´estil gòtic. El seu portal presenta reminiscències de l´art romànic, amb escenes d´animals fabulosos esculpides als capitells, que sostenen arquivoltes llises de mig punt, construït amb marbre dels Pirineus. De les nombroses sales del palau en destaca la del Tinell o del Tron, construïda el segle XIV, idèntica a la del palau dels Reis de Mallorca de Perpinyà. En el segle XVI, quan s´enfonsà el seu sòtil, fou modificada amb la introducció d´un pis intermedi, sostingut per voltes de creuaria. Hi ha un segon pati més petit, el de la Reina, on s´hi troba una galeria porticada i la capella de Sant Jaume. També es conserven uns banys, molt possiblement de l´època islàmica.