De origen musulmán, fue al parecer una de las fortalezas musulmanes más importantes del distrito de Fraga. En 1062 fue ocupado por el rey de Aragón Sancho Ramírez, pero volvería posteriormente a manos musulmanas. En 1120 pertenecía al gobernador musulmán de Lérida Abgifiliel, quien ofreció la fortaleza al conde de Barcelona Ramón Berenguer III como pacto de no agresión.
Aunque es sabido que en el castillo residió el rey de Aragón Alfonso I el Batallador en 1130, la fortaleza seguía en 1142 en poder de los moros, hasta su definitiva ocupación cristiana en 1148. El conde de Barcelona Ramón Berenguer IV lo conquistaría un año antes de embarcarse en la campaña de la reconquista de la Lérida musulmana.
Ya en época cristiana pasaría a manos aragonesas, quienes lo modificarían y transformarían en castillo palacio, siendo lugar de residencia de los señores de Zaidín.
Quedan pocos restos de esta construcción. Subsiste un muro exterior que reviste la ladera de la plataforma elevada donde se situaba el castillo, inmediato al caserío. Tiene unos 50 m de longitud, con sillería en talud, contando con dos robustos cubos semicilíndricos, también con su base troncocónica y adornados por dos collarines en forma de bocel.
El Castillo de Zaidín está incluido dentro de la relación de castillos considerados Bienes de Interés Cultural (BIC) en virtud de lo dispuesto en la disposición adicional segunda de la Ley 3/1999, de 10 de marzo, del Patrimonio Cultural Aragonés. Este listado fue publicado en el Boletín Oficial de Aragón del día 22 de mayo de 2006.