Nei primi decenni del Seicento, le ricchezze accumulate con le loro attività consentono ai Franzoia di avviare l'edificazione del nuovo palazzo di Colmirano, ancor prima che la famiglia acquisisca il titolo nobiliare. Il palazzo sorge sulle rovine dell'antico castello dei conti da Colmirano, riutilizzandone i materiali lapidei e parte delle fondamenta. Lo testimoniano le sovrapposizioni di corpi di fabbrica di epoca diversa ben visibili in una delle case in cui fu successivamente frazionato il complesso edilizio.
Il nuovo palazzo fu ultimato nel 1641, come attesta l'iscrizione presente sul concio di chiave di un arco in pietra tuttora visibile nella piazza di Colmirano. Da allora il palazzo, oltre che abitazione principale, fu la sede dalla quale i Franzoia diressero le fiorenti attività economiche della famiglia.