La decisione di fondare San Giovanni e Castelfranco risale, secondo lo storico Giovanni Villani al 1296. La provvisione del 26 gennaio 1299 prevede la costruzione ex novo, accanto a San Giovanni e a Castelfranco, di Terranuova. La popolazione di Castel San Giovanni confluisce dai piccoli centri abitati e dai castelli dei dintorni già possesso di potenti feudatari locali. La provvisione del 1299 stabilisce che nessun nobile possa risiedere nelle terre murate di recente fondazione. I coloni sono attratti nei centri di recente fondazione da esenzioni fiscali ma sono gravati da diversi obblighi: devono realizzare le opere di fortificazione, delle quali Firenze si assume l'onere finanziario, e devono costruire a proprie spese le nuove abitazioni.

La lentezza con la quale si realizzano le opere di fortificazione dei nuovi centri del Valdarno li espone, impreparati, ad attacchi esterni. I frequenti assalti subiti indeboliscono le incomplete strutture difensive di San Giovanni che nel 1352 risultano in pessime condizioni. Fra il 1356 e il 1363 la cinta difensiva viene ristrutturata e rafforzata portando a ventiquattro il numero delle torri delle mura. Dopo la sottomissione di Arezzo la minaccia più grave per lo stato fiorentino viene dalla politica espansionistica dei Visconti. San Giovanni mantiene così la sua funzione di importante presidio militare.

Al periodo di continue lotte segue, fra la fine del XIV e gli inizi del XV secolo, un ventennio di relativa tranquillità e di sviluppo del centro.
Il Palazzo Pretorio che fino al 1401 era stato sede del solo Podestà di San Giovanni accoglie, agli inizi del XV secolo, i Vicari del Valdarno Superiore.
I Vicari di San Giovanni hanno giurisdizione sui territori di Greve, Pontassieve, Incisa, Figline, Cascia di Reggello, Castelfranco di Sopra, Terranuova, Montevarchi, Bucine, Laterina.

Nel 1431 diversi centri del Valdarno sono colti, ancora una volta, impreparati dai temuti attacchi dei Visconti. Nel 1478 é la volta delle truppe di Sisto IV che invadono il Valdarno e conquistano San Giovanni e Montevarchi. L'anno successivo San Giovanni é devastata dalla peste che causa la morte di quasi due terzi della popolazione. All'avvenimento é legata la costruzione dell'Oratorio della Madonna delle Grazie, in ricordo del "miracolo del latte".

La città perde progressivamente il carattere originario di avamposto, venendo meno la funzione militare del centro valdarnese in seguito all'instaurarsi di uno stabile equilibrio di forze nel contado fiorentino. Tra l'altro, la politica di investimenti a prevalente carattere immobiliare che la borghesia fiorentina, dal XVI secolo in avanti, attua a discapito di più dinamiche imprese commerciali ridimensiona il ruolo economico del centro. Così le mura di San Giovanni, seriamente danneggiate nei primi anni del Cinquecento da una delle frequenti piene dell'Arno, sono interessate da semplici lavori di manutenzione ordinaria

Palazzo Pretorio, meglio noto come Palazzo d'Arnolfo, dal nome dell'architetto Arnolfo di Cambio che ha progettato l'intero castello duecentesco e, probabilmente, per notizia di Giorgio Vasari, anche questo palazzo. E' situato esattamente nel centro, tra le due piazze principali, Cavour e Masaccio, affacciandosi sulla via principale del centro, Corso Italia. L'impianto medievale è stato rimaneggiato già nel quattrocento; nel corso degli anni ottanta il palazzo ha goduto di lavori di restauro. E' sede di alcuni uffici comunali e di mostre d'arte. Il piano terreno è recintato su tutti i lati da un ampio porticato, con quattro arcate sulle facciate e sei sui fianchi, scandite da pilastri ottagonali ornati da stemmi della città dominante (il giglio fiorentino) e dalla parte guelfa (l'aquila quelfa). Nell'atrio è conservato l'originale del Marzocco, la statua su alto piedistallo in pietra che rappresenta il dominio fiorentino: un leone seduto che regge con la zampa lo scudo gigliato. Originariamente posto in piazza Cavour; di fronte al palazzo, è ora sostituito da una copia e custodito all'interno del Palazzo Pretorio.

Alle pareti dell'atrio affreschi e stemmi dipinti del Quattrocento. Il primo piano presenta sulle facciate due loggiati su colonne e capitelli di gusto rinascimentale. Una torre emerge dal centro della parete posteriore, con duplice ordine di finestre e coronamento merlato. Palazzo d'Arnolfo ha una bellezza eccentrica per le abitudini costruttive toscane, rifacendosi più a modelli settentrionali che del centro Italia; il suo fascino è indubbiamente aumentato dai numerosissimi stemmi di vicariato che costellano la facciata principale: duecentocinquanta quelli rimasti, dal più antico del 1410 al più recente del 1772, in pietra, ceramica, taluni scolpiti nelle colonne e nei pilastri, altri dipinti. Su piazza Masaccio si affacciano la Basilica di Santa Maria delle Grazie, la chiesa di San Lorenzo ed il Palazzaccio. Quest'ultimo, detto anche Palazzo Salviati, è di origine trecentesca con successive rielaborazioni. La facciata ricorda modelli dell'architettura toscana tardo-rinascimentale nella triplice sovrapposizione di loggiati ed archi ribassati nei primi due ordini, e architravato a guisa di terrazza terminale il terzo.