En 1639, futur roi de Pologne, le prince Jean Casimir Vasa, qui avait fomenté un complot avec l’aide de l’Espagne contre la France, est enfermé dans le cachot du Donjon de la citadelle par le cardinal Richelieu.
En 1692, Vauban reprend l’ouvrage de Jehan Erard à la demande de Louis XIV, après l’invasion de la vallée menée par le Duc de Savoie, Victor Amédée II. Lors des travaux, l’architecte se rend compte que les sommets des collines qui bordent Sisteron rendent la citadelle vulnérable aux tirs plongeants. Il décide alors de construire un magasin de poudre à l’abri de tirs potentiels et un puits. Il faudra ensuite attendre 150 ans pour que ces autres suggestions soient suivies, les courtines sont enfin rehaussées, les portes sont renforcées et un escalier souterrain est creusé afin de relier la citadelle à la ville.
À partir de 1894, avec le développement des armes à longue portée, la citadelle ne peut plus faire office de fortification efficace et fait l’objet d’un déclassement militaire. Lors de la Première Guerre mondiale, elle est cependant utilisée comme centre de détention pour les prisonniers allemands. La citadelle et la chapelle de Sisteron sont classées aux Monuments historiques en 1925.
En 1942, les Allemands investissent le château et le transforment en centre de détention afin d’y enfermer les prisonniers politiques. Ceux-ci sont libérés grâce au groupe de résistants du maquis de Bayons. En 1944, les alliés viennent détruire les ponts construits dans la vallée. Lors de ces bombardements, la citadelle est touchée massivement.
En 1956, un important plan de restauration menée par une association permet à la chapelle de se tenir, à nouveau, fièrement sur les hauteurs de Sisteron. Elle devient un site culturel vivant, accueillant un musée et de nombreuses manifestations.
La forteresse qui surplombe aujourd’hui le village de Sisteron est en réalité un ensemble de constructions réalisées à différentes époques, parfois restaurées ou modernisées.