Le château en galets roulés est construit à la fin du XIIe siècle par Aymard III. Il succède probablement à un premier château érigé vers 1025 qu’aurait construit un seigneur du nom de Bornon et qu’Aymard Ier, peut-être à la fin du XIe siècle, aurait alors fait creuser un fossé circulaire pour protéger la motte.
Le château de Bressieux, « castrum Bressiacum », est cité en 1207, en fief relevant alors de l’Église de Vienne.
Au milieu du XIIIe siècle Aymard VI reconstruit le château en briques après avoir arasé partiellement les murs en galets roulés. En 1276 on construit le donjon et on agrandit le fossé. Aymard de Bressieux en rend hommage en 1317 au comte Amédée V de Savoie et en 1327 Hugues de Bressieux en fait hommage au Dauphin. À la mort de Geoffrey de Bressieux, mort sans héritier mâle, les terres et le château parviennent à son gendre Humbert de Grolée après un procès entre lui et Aymard de Clermont.
Le château fut à l’origine de la création d’une nouvelle paroisse qui s’est limitée à l’emprise du site castral.
En 1538 François Ier y est reçu par Aymard Antoine de Grolée.
