Dévasté durant les guerres de religion, les ruines du château-fort de Saint-Quentin, datant du XIIIe siècle, dominent le village. Les vestiges du bâtiment médiéval se trouvent au lieu-dit La Tour. Le château est cité pour la première fois dans les hommages de André-Dauphin (1184-1237) aux archevêques de Vienne.
Du donjon médiéval aux murs épais, il ne reste plus que la façade nord jusqu’à une hauteur de trente mètres, la rendant encore visible depuis la route et la vallée. Deux baies sont encore visibles, par contre le crénelage a disparu avec le temps. L’ancienne enceinte est encore visible partiellement, dans l’environnement immédiat du château.
Le donjon, muni de corbeaux qui formaient des mâchicoulis, ne comporte plus que 2 pans en angle Sud-ouest et ne présente plus de salle fermée, mais on peut encore deviner qu’il possédait trois niveaux. Sa hauteur résiduelle est de 30 m environ. La technique de construction par parements intérieur et extérieur enserrant un blocage, est bien visible. Quelques travaux de confortement ont été effectués pour limiter la ruine des pans subsistants. Autour de cet ancien bâtiment, on peut encore découvrir les anciens fossés, ainsi qu’une ancienne citerne.
