Dopo aver toccato l'apogeo negli ultimi decenni del Settecento, la florida situazione economica dei Franzoia subì una brusca battuta d'arresto alla fine del Settecento a causa della Campagna d'Italia napoleonica, che vide le scorrerie degli eserciti francese e austriaco in territorio veneto, l'invasione della Repubblica Serenissima ad opera dei Francesi e il passaggio del Veneto prima in mani francesi, poi austriache e poi ancora francesi.
Il lungo periodo bellico che aveva preceduto la caduta di Venezia, caratterizzato dagli andirivieni degli eserciti francese e austriaco sul territorio neutrale della Serenissima, aveva prodotto distruzioni, confische di beni e carestie, creando notevoli difficoltà alle manifatture della lana e della seta, che avevano subìto pesanti requisizioni di guerra, soprattutto ad opera dei Francesi.
Prima della caduta di Venezia, i Franzoia avevano manifestato simpatie giacobine, al punto che nel 1793 l'abate e illustre studioso Matteo Franzoia era stato denunciato agli Inquisitori veneziani come partecipante alle riunioni del salotto padovano filofrancese di Leopoldina Stahremberg Ferro, insieme ad altri noti massoni filofrancesi padovani.  Alla luce delle devastazioni operate in Veneto dai Francesi, più tardi Matteo Franzoia rivedrà le sue posizioni, che resteranno sempre liberali ma non più giacobine.
Nel 1797, subito dopo la caduta di Venezia, i Franzoia, membri del Consiglio dei nobili di Feltre, si schierarono con la municipalità giacobina. Si trattò probabilmente di una scelta opportunistica, volta a garantire la loro presenza in seno agli organi di governo locali dai quali dipendevano le concessioni e le licenze di cui la famiglia aveva bisogno. Perciò un rappresentante della famiglia, Giovanni Francesco Franzoia, entrò a far parte del Governo centrale di Belluno e Feltre, costituito dai Francesi il 6 luglio 1797. Ma la brevità della prima dominazione francese rese questa mossa controproducente. All'arrivo degli Austriaci, nel gennaio del 1798, le municipalità giacobine installate dai Francesi furono infatti azzerate e gli affari dei Franzoia non furono più tutelati dalla nuova amministrazione filo-austriaca.

Negli anni successivi, l'andirivieni delle truppe francesi e austriache, con l'imposizione di prelievi forzosi e le ripetute requisizioni, penalizzò ancora gli affari. Il ritorno dei Francesi nel 1806 non migliorò le cose. I Francesi introdussero infatti norme che vietavano la produzione in Italia di tessuti in seta, produzione che fu riservata per legge alle manifatture francesi. Per l'industria serica veneta l'unica possibilità residua era la produzione di filati che dovevano essere ceduti obbligatoriamente, e a prezzo imposto, alle manifatture francesi.
Anche gli Austriaci, al loro ritorno nel 1814, adottarono un analogo atteggiamento protezionistico a tutela delle manifatture austriache.
E anche il settore laniero, che nel periodo delle guerre napoleoniche aveva potuto beneficiare del blocco imposto all'importazione dei tessuti inglesi, con il venir meno del blocco non fu più in grado di garantire la remunerazione degli investimenti.
In queste condizioni, le manifatture dei Franzoia entrarono rapidamente in crisi. Nel biennio 1807-1809 i Franzoia furono costretti prima a ridurre le produzioni e poi a fermare gli opifici. Il mulino da seta di Valdobbiadene chiuse i battenti all'inizio del 1809. Nel 1814, ormai in disuso, fu rilevato dalla famiglia Arrigoni al prezzo di realizzo di 1.637 lire, 37 centesimi e 3 millesimi. Nel contratto di cessione, stipulato nel palazzo dei Franzoia di Colmirano, "in un mezzà a pian terreno con finestra verso mezzodì, al civico numero 94",  gli Arrigoni si sobbarcano anche il canone annuo "di mezza quarta di frumento e di due pollastri al beneficio parrocchiale di Valdobbiadene". 
Il progressivo affievolirsi delle attività un tempo lucrose della famiglia segnò per i Franzoia l'inizio del tramonto, che si completò rapidamente negli anni della seconda dominazione austriaca. Tra il 1827 e il 1857 tutti i setifici esistenti a Valdobbiadene, tutti falliti, furono acquistati a prezzo di realizzo dalla famiglia Piva, originaria di San Martino di Lupari, che stabilì nell'area un vero e proprio monopolio nella manifattura della seta. Nel 1842 Maria Vergerio de Mozzi, moglie di Troiano Maurizio Giuseppe, ultimo conte Franzoia, era ancora proprietaria di una tessitura in seta a Valdobbiadene, ed era premiata dalla Camera di Commercio di Treviso con una "onorevole menzione" tra le sei migliori produzioni seriche della provincia (Annali universali di statistica, vol. 73, Milano 1842, p. 194). Ma anche quest'ultima manifattura dei Franzoia finì con l'essere ceduta ai Piva.

Dopo le devastazioni di origine politico-economica che avevano colpito la manifattura veneta della seta in epoca francese e austriaca, a metà dell'Ottocento il Veneto fu vittima di una depressione economica che ebbe diverse concause. In particolare, nel biennio 1852-53 i raccolti agricoli furono scarsi. Tra il 1854 e il 1859 la produzione vinicola diminuì considerevolmente a causa delle epidemie di filossera. Ma soprattutto, nel decennio che va dal 1854 al 1863 i bachi da seta furono colpiti in tutta Europa da un'epidemia di pebrina, malattia dovuta ad un protozoo chiamato Nosema bombycis che infestava le foglie di gelso. Le spore del protozoo, ingerite dal baco, lo rendevano incapace di produrre il filo di seta che costituiva il bozzolo.
La malattia dei bachi si sviluppò in forma epidemica prima in Francia e poi in Italia. Si tentò allora di bloccarne la diffusione importando uova di farfalla da paesi ritenuti sicuri, come la Romania, la Turchia, la Persia e, a partire dal 1860, persino il Giappone. Ma ciò non servì ad impedire che l'industria veneta della seta, a fronte della grave penuria di materia prima, subisse una crisi gravissima, crisi dalla quale non riuscirà più ad emergere.
Gli effetti delle crisi di produzione agricola e del crollo della manifattura serica furono enormemente amplificati dalla politica fiscale austriaca, che continuò imperterrita ad imporre tasse fondiarie, daziarie, sulle arti e sul commercio che era già difficile sostenere in tempi normali e che finirono  con lo strangolare l'economia. 

Nel 1866, al termine della Terza guerra d'indipendenza, il Veneto fu annesso al Regno d'Italia sabaudo, evento in seguito al quale precipitò  in una crisi economica senza precedenti.
Per sostenere lo sforzo bellico legato alle tre guerre d'indipendenza, il debito pubblico piemontese era talmente lievitato che nel 1867 lo stesso Regno d'Italia si trovava ormai sull'orlo della bancarotta.  Il governo sabaudo fu quindi costretto ad aumentare la pressione fiscale a livelli addirittura superiori a quelli che il Veneto aveva sperimentato sotto il regime austriaco.
L'incremento della pressione fiscale culminò con l'introduzione dell'odiosa tassa sul macinato, che vietava ai già poverissimi contadini veneti di macinare le granagli in proprio, obbligandoli a conferirle ai mulini autorizzati, che per incarico del governo dovevano riscuotere e versare all'erario la nuova  tassa.
L'unificazione comportò l'abbattimento delle barriere doganali interne e la riduzione di quelle verso l'estero. I diritti doganali per le merci provenienti dalla Gran Bretagna furono praticamente azzerati, quale remunerazione a favore del governo britannico che, attraverso la banca dei Rotschild, aveva largamente finanziato l'espansione territoriale e le campagne belliche dei Savoia.
In tal modo la crisi del Veneto, ulteriormente acuita, divenne irreversibile, originando condizioni di povertà mai viste in precedenza (a questo periodo risale la comparsa della pellagra) che spinsero larghi strati della popolazione ad emigrare definitivamente.

L'area pedemontana del Veneto era già da tempo sede di fenomeni migratori temporanei di tipo periodico, che consistevano nello spostamento stagionale di parte della forza lavoro nei paesi d'oltralpe (Francia, Svizzera, Austria) alla ricerca di lavoro retribuito in denaro. Ma tra il 1867 e il 1915, accanto all'emigrazione temporanea, tipicamente stagionale, se ne impose un'altra di tipo permanente che assunse presto i caratteri di un fenomeno di massa.
Le mete di questo imponente movimento migratorio furono inizialmente i paesi europei, ma le correnti migratorie furono presto dirottate verso il Sudamerica (Argentina, Brasile, Messico) e gli Stati Uniti. Questi ultimi, a cavallo del 1900, finirono col diventare la meta elettiva dell'emigrazione veneta. Nel periodo che va dall'annessione del Veneto al Regno d'Italia all'entrata dell'Italia nella Prima guerra mondiale, oltre 15 milioni di Italiani presero la via dell'estero e tra essi circa 2 milioni di Veneti. L'emigrazione veneta negli Stati Uniti toccò il massimo nel periodo 1901-1914, epoca in cui anche gli ultimi discendenti dei Franzoia-Loschi di Colmirano fecero questa scelta, allontanandosi per sempre dal loro paese.
L'emigrazione fu favorita anche dalla comparsa della controversa figura degli agenti d'emigrazione. Erano costoro veri e propri emissari di organizzazioni e governi esteri, che in alcuni casi (ad esempio, nel caso del Brasile) offrivano il viaggio gratuito dal porto di partenza sino alla destinazione finale, promettendo che a ciascuna famiglia emigrata sarebbe stato concesso  anche un lotto di terreno da coltivare in proprio.
Nella mancanza di una politica nazionale dell'emigrazione che prevedesse misure di tutela degli emigranti, l'opera degli agenti d'emigrazione portò spesso a illeciti e a vere e proprie truffe.  Finché  una legge del 1901 abolì gli agenti d'emigrazione attribuendo le loro funzioni direttamente alle compagnie di navigazione e ai loro rappresentanti, i quali per poter svolgere la propria attività dovevano ottenere una patente dallo Stato. Ma le compagnie di navigazione finirono con l'accordarsi con gli stessi agenti che avevano operato in precedenza.