Della creazione del santuario di Tessère si ha notizia in un atto datato 15 luglio 1647, quando le comunità di Colmirano e Alano sottoposero insieme, una supplica alla diocesi di Padova perché autorizzasse la fabbricazione di una piccola chiesa sul colle sul quale allora passava il confine tra le due comunità. La chiesetta avrebbe ospitato un'immagine della Vergine e avrebbe avuto come pertinenza una piccola abitazione nella quale potesse vivere un frate minore osservante, che avrebbe custodito il santuario.
Il documento è stato ritrovato dalla studiosa Antonella Barzazi nell'Archivio di Stato di Venezia tra gli atti di Fulgenzio Micanzio (1570-1654), teologo e storico di origine bresciana, consultore ecclesiastico della Repubblica Serenissima, che fu chiamato ad esprimere il suo parere sulla supplica.

Acquisito il parere positivo di Fulgenzio Micanzio, la supplica delle comunità di Alano e Colmirano fu accolta dalla diocesi di Padova e i Franzoia, che avevano terminato nel 1641 di costruire il loro palazzo di Colmirano, fecero edificare a loro spese la chiesetta, l'annessa abitazione per il frate custode e un'edicola separata, che sorse su un affioramento roccioso nei pressi della chiesetta.
Le costruzioni avrebbero dovuto sorgere sul confine tra Alano e Colmirano. Ma a partire dal 1678 la comunità di Alano contestò che, in realtà, erano state edificate interamente nel territorio di Alano, accusando i Franzoia di avere in tal modo usurpato un terreno di proprietà pubblica.
Particolarmente veemente fu, negli anni successivi, la reazione della famiglia Casamatta di Alano, che era in aperta concorrenza con i Franzoia per lo sfruttamento delle risorse idrauliche dell'area. Il contrasto sfociò in una vera e propria sommossa popolare, di cui si parla in altra parte di questo sito. La disputa si concluse solo nel 1759, quando un decreto del vescovo Sante Veronese di Padova sancì in via definitiva che il santuario si trovava invece interamente nel territorio di Colmirano, e quindi della parrocchia di Campo.

Subito dopo la costruzione, di comune accordo tra le parrocchie di Alano e Campo, la nuova chiesetta fu dedicata a San Giuseppe e al suo interno furono eretti due altari, uno dedicato a San Giuseppe e l'altro alla Madonna della Salute. I Franzoia vollero inoltre che l'edicola sacra edificata nei pressi della chiesetta fosse dedicata alle "tessère", ovvero alle tessitrici, al cui lavoro la famiglia di Colmirano doveva in massima parte la sua fortuna.
Fin dal medioevo le tessitrici avevano come patrona la Madonna col Bambino, mentre gli stessi fabbricanti di tessuti in seta avevano come patrona la cosiddetta Madonna Ricca, così chiamata per la fastosità degli abiti che vestiva. I Franzoia decisero allora di commissionare ad un pittore (del quale non ci è pervenuto il nome) un dipinto raffigurante la Madonna protettrice delle tessitrici, dipinto che collocarono all'interno dell'edicola.
Da allora il santuario fu chiamato Madonna delle Tessère (ovvero Madonna delle Tessitrici), denominazione che diventerà in seguito Madonna di Tessère, quando con il tempo si perderà il significato della dedica originale. Lo stesso colle su cui sorge il santuario fu chiamato, con il trascorrere del tempo, Colle di Tessère.
Il santuario di Tessère fu ulteriormente nobilitato il 5 luglio 1759, allorché  il neoeletto papa Clemente XIII, il veneziano Carlo Rezzonico, concesse l'indulgenza plenaria ai fedeli che, dopo la confessione e la comunione, vi si fossero recati in pellegrinaggio.
Secondo la tradizione popolare, il santuario di Tessère, così come la chiesetta di San Giacomo, era raggiungibile direttamente dal palazzo dei Franzoia attraverso una galleria sotterranea. Ma fino ad oggi i resti di questa galleria non sono stati ritrovati.

Nei secoli successivi il santuario di Tessère fu oggetto di diversi interventi di abbellimento e di restauro che culminarono nel triennio 1935-1937 con la costruzione della gradinata di accesso all'edicola e delle due ali porticate in stile neoclassico.
I lavori di restauro più recenti, completati nel biennio 2023-2024, hanno consentito di recuperare, all'interno del pronao dell'edicola, le antiche iscrizioni "Auspice Maria" (il monogramma mariano costituito dalle lettere A e M sovrapposte), "Respice Stellam" (Ammira la Stella), "Voca Maria" (Invoca Maria) e "Monstra Te Esse Matrem" (Dimostrati madre), verso tratto dall'antichissima preghiera "Ave Maris Stella".

La Madonna di Tessère è sempre stata particolarmente cara alla devozione delle donne e degli uomini di Colmirano, che nei momenti di difficoltà si sono sempre rivolti a Lei.
Secondo la credenza popolare, la Madonna di Tessère è stata anche protagonista di alcuni eventi miracolosi, peraltro non confermati dalla Chiesa.
Le anziane di Colmirano raccontavano che l'immagine della Madonna era stata ritrovata durante l'aratura di un campo, quando i buoi che tiravano l'aratro si erano fermati improvvisamente e si erano inginocchiati, rifiutandosi di proseguire. Allora il contadino che li conduceva aveva scavato davanti ai buoi e aveva dissepolto il dipinto, che in seguito era stato collocato nel nuovo santuario di Tessère.
Le anziane raccontavano ancora che, dopo qualche tempo, un ricco signore della zona si era appropriato dell'immagine della Madonna per esporla nella propria casa. Ma la mattina successiva l'immagine della Madonna era scomparsa dalla sua abitazione per ricomparire nel santuario. Allora il ricco signore, pensando che qualcuno l'avesse sottratta nottetempo, era andato a riprendersi l'immagine e l'aveva sistemata nuovamente in casa propria, chiudendo bene porte e finestre. Ma la mattina successiva l'immagine era nuovamente scomparsa dall'abitazione e ricomparsa nel santuario. Il ricco signore dovette riconoscere il carattere miracoloso dell'evento e si rassegnò a lasciare l'immagine della Madonna laddove essa stessa aveva scelto di stare.