La fondazione del Castello si deve ai Pisani*, che lo abitarono e lo fortificarono dal 1217. Il colle gli fu ceduto, con la forza, dalla giudicessa** di Cagliari Benedetta.

Il suo vero sviluppo si ebbe con gli Aragonesi, che nel 1326, dopo la conquista della città, vi posero la sede del loro governo.

Le più importanti strutture di fortificazione sono state costruite nei primi anni del XIV secolo. Tra queste spiccano le tre torri di S. Pancrazio (o dell'Aquila), dell'Elefante e del Leone (oggi non più visibile perchè inglobata nel palazo Boyl).
La torre dell'Elefante fu costruita nel 1307 a spese del Comune Pisano dall'architetto Giovanni Capula, ricordato nell'iscrizione posta ai piedi della torre.
La torre di San Pancrazio fu elevata nel 1305 sempre da Giovanni Capula.

Gli Spagnoli tra la fine del XVI secolo e gli anni '60 del 1600 ristrutturarono le fortificazioni e le mura, elevarono nuovi baluardi, edificarono numerose chiese e modificarono alcune di quelle già esistenti e costruirono collegi e conventi religiosi.

Forse dall'epoca romana il Castello veniva denominato "castrum", durante il medioevo "castellum" ed in seguito con il dialettale "casteddu". La città essendo identificata con il Castello acquisiva il nome di "Castrum Kalaris" o "Castrum Castri", meno frequentemente veniva chiamato anche "Castellum de Castro", "Castellum de Castello" o "Civitas Castelli", per gli Aragonesi era "Castell de Caller" e per i Catalani e gli Spagnoli "Real Castillo". Dal nome spagnolo della città, Caller (la doppia l si legge gli), si giunge a quello attuale di Cagliari.

* Cronologia delle conquiste (a partire dai Pisani):

** A partire dal 900 la Sardegna è divisa in quattro stati indipendenti chiamati giudicati: Cagliari, Arborea, Logudoro, Gallura.