Antigua fortaleza señorial, clave en el control de los valles de los ríos Torrijas-Manzanera y Arcos. Asentada seguramente sobre una posición fortificada previa, documentada desde principios del siglo XIII, su fábrica actual data de fechas avanzadas de esa centuria o ya del siglo XIV. Además de su innegable componente defensivo, el Castillo tiene un eminente carácter residencial y palacial.
Situado en el extremo meridional de la villa de Manzanera, el Castillo se asienta sobre un espolón rocoso de fácil defensa. Su adaptación al mismo le confiere una planta irregular.
La estructura más destacada es el muro que cierra la fortaleza por la plaza y a cuyos pies existía un profundo foso de más de cuatro metros de profundidad, actualmente relleno. Tiene dos fábricas bien diferenciadas, reflejo de dos fases constructivas distintas. En la parte posterior del edificio hay también restos de un torreón de planta circular, que enlazaría con la muralla que rodea la villa.
En el interior del edificio destaca la sala principal, que debía tener un cierto empaque, fiel reflejo del carácter residencial y señorial del edificio. Tras pasar a manos del Convento de San Miguel de los Reyes de Valencia en el siglo XVI, siguió desempeñando un cierto carácter representativo, siendo el lugar en el que el Prior recibía a los representantes del Concejo.
La fortaleza resultó muy dañada durante las Guerras Carlistas. Puesta en defensa en 1839, fue bombardeada en diciembre de dicho año por el general Hoyos, hasta la rendición de los 45 efectivos que la defendían.
En la actualidad, el interior del edificio se encuentra relleno de un potente nivel de escombros, que enmascaran las importantes estructuras que se conservan bajo los mismos.