Sobre un escarpe junto a la ermita del Salvador se conservan los restos del castillo de Herce. Su posición permitía vigilar el valle medio del Cidacos y mantener comunicación visual con otras fortificaciones de la zona. La documentación medieval menciona un castillo en Herce en 1200 y dos en 1246, cuando la villa estaba vinculada a Alfonso López de Haro y María Álvarez de Cameros.
La parte visible de la torre forma una L. El derrumbe de una porción del farallón se llevó parte de la construcción, cuya planta pudo ser cuadrangular. Los muros combinan sillería y sillarejo. En el interior se reconocen arranques de bóvedas, y a cierta distancia hay restos de otros muros cuya función no está confirmada. En 2008 se intervino sobre la estructura conservada.