En el siglo XI, cuando Ramiro I, ya rey de Aragón conquistó la zona de Benabarre, mandó construir este castillo defensivo desde el cual se divisaban otras construcciones similares todas ellas en la margen derecha del río Noguera Ribagorzana.
Destaca la altura de la torre, mas de 20 metros y los 2,5 metros de espesor de sus muros.
Al lado del castillo encontramos la antigua iglesia parroquial San Esteban de Viacamp, construida sobre restos coetáneos a la torre defensiva.