Molti studiosi ipotizzano che Castel Pergine sorga sul luogo di un primitivo castelliere, divenuto poi insediamento romano, data la sua posizione strategica lungo la Via Claudia Augusta Altinate; in seguito si sarebbe trasformato in castello d'origine longobarda.
Con l'avvento del Principato Vescovile di Trento, si parla di Pergine come centro di una vasta gastaldia. Dopo alterne vicende, che videro Pergine anche sotto il dominio dei Conti del Tirolo, il suo castello, antico feudo vescovile, nel 1531 passò nelle mani del Principe Vescovo Bernardo Clesio; appartenne alla chiesa tridentina fino agli inizi del XX secolo, quando fu venduto ad una società tedesca che lo adibì a centro di propaganda pangermanica. Il complesso si divide in due nuclei fortificati, si tratta di due cinte murarie l' una dentro l'altra: i medievali appostamenti di difesa (il mastio, le torri ...), i rinascimentali edifici residenziali (interessante sotto il profilo storico è l'imponente pilastro ad ottagono che sostiene un soffitto a volte, nell'androne d'ingresso). Un accenno meritano la "prigione della goccia" e la Camera del Camino, nota per le fantasie popolari sull' apparizione di una misteriosa "dama bianca".
Del castello esiste un disegno, inserito nel Codice Brandis. E' di proprietà privata (ristorante ed albergo aperto stagionalmente), sede di esposizioni artistiche di affermati artisti contemporanei italiani e di originali eventi musicali.