Nello stesso luogo dove ora sorge la chiesa sorgeva un'edicola sulla quale Pier Francesco Fiorentino aveva affrescato l'immagine della Vergine allattante il Bambino (verosimilmente tra il 1475 e il 1499). Successivamente l'edicola venne trascurata e franato il tettino fu coperta da rovi ed edera fino a scomparire alla vista. Nella seconda metà del XVII secolo, tutta la Valdelsa conobbe un periodo di miseria e carestia dovuto alla siccità.

La leggenda vuole che nei primi giorni di aprile del 1668 Bartolomea Ghini, una pastorella muta dalla nascita, fosse particolarmente triste per la propria povertà e portando il gregge al pascolo fu colta da disperazione tanto che pianse a dirotto. A quel punto le apparve una bella signora che le chiese il motivo di tanta tristezza. Quando Bartolomea rispose, la signora la rassicurò dicendole di andare a casa poiché lì avrebbe trovato la dispensa piena di pane, l'oliera piena d'olio e la cantina piena di vino. A quel punto Bartolomea si rese conto di aver parlato e scappò a casa chiamando a squarciagola i genitori anch'essi stupefatti di sentire la figlia parlare e di trovare la dispensa piena. Tutti i paesani vollero quindi andare nel pascolo dove questa diceva di aver visto la misteriosa signora ma trovarono soltanto un cumulo di rovi. A questo punto con falci e roncole estirparono le piante per scoprire che nascondevano l'edicola con l'immagine che Bartolomea diceva ritrarre la signora che aveva incontrato. Nell'estirpazione dei rovi l'immagine fu graffiata da una roncola e il segno è tuttora visibile. Da allora si decise di venerare la Madonna con il titolo di Madre della Divina Provvidenza.

Queste notizie attirarono una moltitudine di pellegrini che portavano offerte e materiale edile per l'edificazione di una chiesa affinché l'immagine fosse protetta. Grazie a tanta collaborazione la chiesa fu eretta e consacrata in soli due anni (i lavori finirono nel 1670).

Nel 1923 la chiesa fu elevata alla dignità di Santuario Diocesano.

Il 14 luglio 1944 i tedeschi in ritirata minarono la chiesa che venne quasi completamente distrutta: si salvò solo la parete dell'altare dov'è posta l'immagine sacra. La ricostruzione del Santuario venne in un primo momento affidata all'ingegner Dino Loni, il quale proponeva un edificio in stile neoclassico a pianta centrale con alta cupola, più piccolo nelle dimensioni, ma assai più imponente. Alla fine ricostruito secondo il precedente modello affidando la direzione dei lavori al Professore e Architetto Severino Crott: il Santuario fu riconsacrato il 19 ottobre 1949.