Le château de Clermont et le mandement sont cités comme tels pour la première fois en 1107 lors du partage du comté de Sermorens et fut le berceau de la famille de Clermont qui apparaît dans les textes à la fin du XIe siècle.
Les fouilles de 1991 ont montré une première implantation dès la deuxième moitié du XIe siècle dont on ne connaît pas précisément le plan. Au XIIe siècle une tour de pierre se dresse sur le site. Au XIIIe siècle, tout est rasé et on recouvre d’une motte surmontée d’une tour polygonale. Ces fouilles ont mis au jour également les vestiges de la chapelle castrale Notre-Dame attestée au XIIe siècle et qui devait exister dès le XIe siècle.
Les seigneurs de Clermont qui étaient indépendants jusqu’alors, vont en 1203 avec Guillaume de Clermont rendre hommage pour leurs terres de Clermont, Saint-Geoire et Crépol à l’évêque de Vienne.
En 1317, le seigneur de Clermont rend hommage au Dauphin Jean II de Viennois. Le château est alors aux marches des États de Savoie qui possèdent une enclave au sud, vers Voiron. La seigneurie devient la première baronnie du Dauphiné. La famille de Clermont verra ses terres au XIVe siècle élevées au titre de vicomté.
En 1547, Antoine III de Clermont est fait comte de Clermont en Viennois par le Roi de France Henri II.
Il semble que le château ait été abandonné au début du XVIe siècle et démantelé en 1626 par ordre royal inspiré par Richelieu, comme les autres châteaux qui ne servaient plus à défendre la France.
En 1814, le colonel Lubière commandant d’une unité de l’armée napoléonienne décide de stopper en vain l’armée autrichienne en s’enfermant dans ce qui reste du château.
Seul le donjon, qui appartient toujours aux Clermont-Tonnerre subsiste aujourd’hui et il a la particularité peu courante d’être pentagonal. En face, se dresse le château de Montclair qu’une légende prétend être relié à Clermont par un souterrain et des sorties dans certaines maisons, laissant supposer des trésors enfouis sous les éboulements.
