Il castello venne eretto nell’alto medioevo con la funzione di ricettacolo a difesa dalle scorrerie di barbari; dell’antico edificio oggi rimane solo un mozzicone di una torre circolare. Una parte venne utilizzata come sede della Biblioteca comunale, ora situata nella nuova sede di Via Chiusure ed una parte è ancora utilizzata come sede del Gruppo Alpini di Portese e luogo di incontro degli anziani.