Il palazzo di Colmirano divenne proprietà del conte Giuseppe Loschi di Povegliano in seguito al suo matrimonio con l'ultima erede dei Franzoia, Maria Franzoia de Mozzi, che glielo portò in dote insieme a tutte le attività residue della famiglia.

La parte centrale del palazzo fu la dimora dei conti Loschi fino al 1917, anno in cui, in seguito alla rotta di Caporetto e all'imminente arrivo delle truppe austro-ungariche, Colmirano e gli altri paesi della conca furono evacuati. Nell'ottobre 1917 il tiro preventivo delle artiglierie italiane e austriache ridusse tutti i paesi della conca in macerie e la stessa sorte toccò al palazzo Loschi.

Alla fine della guerra il corpo di fabbrica centrale del palazzo non fu più ricostruito. Silvio e Giovanni Battista Loschi, figli di Giorgio Loschi e di Maria Franzoia de Mozzi e coeredi della proprietà, si erano già trasferiti negli Stati Uniti tra il 1905 e il 1914. In una piccola porzione del fabbricato rimasta agibile continuarono a dimorare Maria con gli altri due figli, Maria Gaetana e Demetrio Mario, quest'ultimo con la moglie e il figlio Francesco. 

Dopo la morte della nonna, dei genitori e della zia, l'ultimo erede della famiglia, Francesco Loschi, detto Chechi, continuò a vivere a Colmirano, in condizioni economiche precarie, fino alla morte.

Le rovine del palazzo furono utilizzate per molto tempo come cava di materiale da costruzione.