C'est à partir du X ème siècle que la forteresse de Chaumont vit le jour. Elle fut édifiée pour protéger Blois des attaques incessantes de Foulques Nerra, comte d'Anjou. C'est le chevalier Gelduin qui reçoit Chaumont et fait consolider la forteresse. Le château passera dans la famille d'Amboise pour 5 siècles, par le mariage de Denise de Fougères (petite nièce de Gelduin). Le château de Chaumont est riche d'histoires : Louis XI le fait brûler et raser en 1465, pour punir Pierre d'Amboise car celui-ci s'était revolté contre le pouvoir royal. Pierre d'Amboise, son fils et son petit-fils reconstruisent le château de 1468 à 1510. Puis, Catherine de Médicis achète Chaumont en 1550; Jacques Donatien Leray en 1750; au XIX, il appartient succesivement au comte d'Aramon, au vicomte Joseph Walsh, puis en 1875, à Marie-Charlotte Constance Say. En 1938, le château est cédé à l'Etat par la princesse ruinée (Marie-Charlotte Constance Say).
Depuis février 2007, le domaine de Chaumont appartient à la Région Centre.