Esta aldea, perteneciente a la Mitra de Zaragoza, estaba en el territorio asignado a los monjes de la Selva Mayor por Pedro II en 1208 para la fallida repoblación de «Las Cuevas de Domingo Arquero». Entre 1222 y 1262, la Mitra de Zaragoza estableció en esta posición el «Castillo del Obispo» como forma de reafirmar su dominio. Tras el también fallido intento de repoblación de «Peñacalva» (1262), por parte del Concejo de Teruel, el obispado zaragozano consolidó su definitiva posesión.
Castelvispal se asienta en la mitad oriental de un espolón situado en la margen derecha del río Linares, en un pequeño ensanchamiento de las escarpadas hoces de ese curso fluvial. La población conserva su sencilla articulación urbana medieval, con una calle y una pequeña plaza abierta junto a la iglesia, a las que se abrían las casas. La parte posterior de éstas serviría de muro de delimitación y protección del núcleo de población. Hay que tener en cuenta que durante el medievo, esta aldea contó con muy escaso número de habitantes, apenas 7 vecinos fiscales (menos de 20 personas) en 1414 y entre 8 y 11 fuegos (medio centenar de habitantes) a finales del siglo XV. En estas cifras se incluyen los que vivían en las masías, que debían ser una mayoría, hasta el punto que en 1601 solo había una casa poblada en el casco urbano.
El acceso acceso al interior del núcleo de población se realizaba por el callejón que comunica la Plaza de la Iglesia con la Calle Cantón. En el extremo oriental del caserío se situaba la iglesia, que conserva la fábrica medieval, mientras que en el occidental se situaba el «castillo» que da nombre al enclave. Se corresponde con la antigua Casa del Curato, parcialmente demolida para prolongar el vial de la Calle Plaza, pero del que aún se conservan algunos restos en uno de los edificios contiguos.