Le prime notizie del castello di San Felice risalgono al 1330 quando gli Scaligeri nel contesto delle tante guerre fra guelfi e ghibellini, aspiravano al dominio di Brescia. Con l’inizio del 1521 San Felice provvedeva a spese del Comune alla ricostruzione del castello, rimane soltanto la torre d’angolo, la torre principale d’entrata veniva trasformata nel settecento in pacifica sede del concerto delle campane, le altre due laterali crollate e distrutte, l’unico edificio rimasto è la chiesetta. Le rovine del castello attualmente ospitano il vecchio cimitero e l’unica torre superstite della fortezza venne adibita ad ossario.