C'est en 1734 qu’il fut décider d'abandonner l'ancienne maison-Dieu Notre-Dame, jugée trop malsaine car les malades y périssaient plus qu‘ ils n’y guérissaient.
Au début du 19ème siècle, on précise que l’hôpital existait depuis le 15ème siècle et qu'il était placé sous l'invocation de Notre-Dame. La construction d'un nouvel hôpital, sur un autre terrain (où se trouve toujours une construction avec tour dite Poilbourg datant du 15ème ou du 16ème siècle), fut confiée à deux architectes de renom, Michel-Ange Caristie et son fils Jean-Antoine.
L'hôpital, achevé en 1748, se composait d’une unique salle de malades de 8 lits, incluant la chapelle, et d'un corps de bâtiment, en retour d'équerre au sud, abritant l'apothicairerie, le réfectoire, la cuisine, la chambre des sœurs et diverses pièces de service. La nécessité de créer une seconde salle de malades réservée aux femmes s'imposa rapidement et, pour ce faire, un corps de bâtiment fut construit en 1775-1781, au nord de la chapelle : la nouvelle salle disposait de 8 lits.
Outre la construction en 1874, à peu de distance, d'un bâtiment destiné aux vieillards, d'importants remaniements et aménagements furent réalisés aux 19ème et 20ème siècles : reconstruction du lavoir en 1835, pose d'une grille de fer dans la salle des hommes pour la séparer de la chapelle et de la salle des femmes, cabinet de bains et chambre d'aliénés dans une partie de la basse-cour en 1844-45, pavage de la cour d'entrée, démolition d' un vieux bâtiment dans la cour et reconstruction à neuf en 1846-47, reconstruction du clocher en 1852, construction de cabinets d' aisance, d' une glacière et creusage d' un puits en 1877-78, véranda au rez-de-chaussée des corps de bâtiment latéraux, en 1897 (par Moreau, architecte à Château-Chinon) et installation du chauffage central en 1911 (sous la direction de Guérin, architecte à Autun).
Un autre bâtiment a été construit au nord en 1952 (urgences) et des extensions à l'est en 1979.
En 1989, le bâtiment dénommé « EHPAD Les 3 sources » a été ouvert au public.