I ruderi di Castel Selva oggi rimasti non fanno onore alla bellezza trascorsa di questo castello, prescelto quale raffinata dimora residenziale dal Principe Vescovo Giorgio III di Neydeck prima e da Bernardo Clesio poi (XVI sec.). Forse fu per gareggiare con gli abbellimenti profusi nel vicino Castello di Pergine che ospitava l' Imperatore Massimiliano I, che il Clesio impiegò in questo castello un'abile manovalanza lapicida ed artistica (Marcello Fogolino).
Sono note le stalle, dalle proporzioni eccezionali (fino a 60 cavalli), le camere ed anticamere del vescovo riscaldate da stufe, la scala a chiocciola ed il forno per il pane.
Nel 1537 il castello era pronto e, nel 1545, vennero qui ospitati esimi personaggi del Sacro Concilio di Trento. Il finire del Settecento segna la sua graduale rovina: così, quasi per incanto, diverse case di Levico e di Selva poterono e possono vantare particolari archittetonici e pietre in genere del castello.
Ma quale infine la sua origine? Si vaga ancora nelle supposizioni: da rifugio comunitario (alta torre con recinto) a costruzione longobarda, da allodio della Chiesa di Trento a feudo dei Signori di Caldonazzo (XII sec.) e qui le notizie diventano storia, legandosi alle vicende dei Principi Vescovi di Trento, fino al suo completo abbandono.

Oggi è di proprietà del Comune di Levico.