Il progetto di difesa del borgo medioevale secondo l’impianto fortificatorio ancor oggi in parte esistente, trovò completa realizzazione nel corso del XIV secolo, quando Asolo divenne oggetto di aspre e continuate lotte tra le signorie di Verona, Padova e la Serenissima. Probabilmente la città era già da tempo provvista di una serie di torri e opere difensive isolate, ma le prime precise attività relative alla cinta sono registrate nel 1318 quando si procede alla costruzione di non meglio definite “mura a secco” lungo alcuni tratti del perimetro urbano.

Decisivo per il definitivo assetto della cinta fu il dominio padovano in Asolo tra il 1381 e il 1388. Fu allora che si iniziò a “murare burgum Asili” da parte di Francesco da Carrara senza tuttavia portare a compimento l’opera prima dell’avvento definitivo dei Veneziani che completarono la fortificazione della città. Il circuito delle mura non si limitò a comprendere tutta l’area fittamente insediata e il complesso del castello, ma fu esteso fino alla Rocca, sulla cima del Monte Ricco, che veniva così a divenire parte fisica della cittadina e suo privilegiato punto a valenza strategica, sia di avvistamento che difensiva. Il circuito murario si estendeva per una lunghezza di 1360 metri con 24 torri disposte in punti strategici e alcune porte e portelli, non tutti coevi, in corrispondenza delle vie di accesso e di uscita dalla città.

Le aperture sono: il portello di Castelfranco (detto anche Loreggia), la porta Dieda, demolita nel 1812 per la costruzione del Foresto nuovo (detta anche di S. Gervasio), il portello di S. Martino, oggi murato e parzialmente visibile nel giardino di villa Baglioni (esterno mura) o nel giardino della “Casa Rossa” (interno mura), il portello del Colmarion (detto anche della Bot) , la porta di S. Caterina (detta anche del Foresto, di Belvedere) e il portello di Sottocastello. In età moderna e contemporanea sono crollati o sono stati demoliti alcuni tratti. Non esistono fino ad oggi dati di alcun genere che sostengano l’ipotesi, più volte avanzata e sostenuta pur in assenza di qualsiasi appoggio, dell’esistenza di un sistema di mura in epoca romana.