La actual fortaleza se construyó a partir de 1203, posiblemente por la familia Arnáez, que recibieron el señorío de Rubielos de su anterior titular, el obispado de Tarazona. Tras un largo conflicto, motivado por su situación dentro del espacio foral del Concejo de Teruel, este último acabó ocupándolo por la fuerza y ganando el litigio en 1270.
El Castillo se asienta en la cumbre del espolón rocoso de El Campanar, situado a la entrada de las hoces del río Rubielos. Se conserva visible su lienzo meridional, recientemente restaurado. Está realizado mediante zócalo de mampostería trabada con cal, sobre el que se recrece con muro de tapial calicastrado. Su anchura decrece en altura, escalonándose el paramento interior. Se observa la existencia de varias reparaciones y aperturas y cierres de vanos; destaca una ventana con ménsulas y jambas de sillería, y dintel de madera. Un reciente estudio de georadar permite detectar la presencia en el subsuelo de una posible escalera y una estancia soterrada.
Tras ganar el litigio en 1270, el Concejo de Teruel ordenó la demolición del Castillo, símbolo del poder señorial de los Arnáez. Sin embargo, este derribo debió ser testimonial, afectando posiblemente solo al remate de almenas, ya que el edificio fue utilizado para otras funciones, como la de cárcel.