Das Verteidigungsprojekt der mittelalterlichen Ortschaft gemäß der Struktur der Festung, von der auch heute noch ein Teil vorhanden ist, wurde erst im Laufe des XIV. Jahrhunderts ganz fertiggestellt, als Asolo immer wieder in grausame Kämpfe mit den Stadtherrschaften von Verona, Padua und der ‚Serenissima‘ (Venedig) verwickelt worden ist. Wahrscheinlich besaß die Stadt bereits zu jener Zeit eine Reihe von Wehrtürmen und einige Abwehrvorrichtungen, aber die ersten genauen Angaben über den Bau einer Stadtmauer, gehen auf das Jahr 1318 zurück als man verzeichnete, man baue eine, nicht näher definierte, „Trockenmauer“ an einigen Teilstücken der Stadtgrenze. Entscheidend für die endgültige Konstruktion eines Mauerrings, war die Herrschaft Paduas über die Stadt zwischen 1381 – 1388. Damals begann man, vonseiten Francesco da Carrara, mit dem Mauerbau (‚Burgum Asili‘); es gelang jedoch nicht, das Bauwerk vor dem Kommen der Venezianer ganz fertigzustellen; die Venezianer vollendeten dann die Festung. Der Mauerring beschränkte sich nicht nur auf das dicht besiedelte Gebiet und das Schloss, sondern umfasste auch die Festung ‚Rocca‘ auf dem Gipfel des Monte Ricco; Festung und Berg wurden somit physischer Bestandteil der Stadt und ein bevorzugter strategischer Punkt zu Sichtung und Verteidigung. Der Mauerring war 1.360 Meter lang und hatte 24 Wehrtürme an strategisch wichtigen Stellen, sowie an den Ein- und Ausfahrtswegen der Stadt einige große und kleine Tore, die nicht alle zeitgenössisch waren. Die Öffnungstore sind: das Tor ‚Portello di Castelfranco‘ (auch ‚Loreggia‘ genannt), das Tor ‚Porta Dieda‘, das 1812 wegen dem Bau des ‚Foresto Nuovo‘ (auch ‚San Gervasio‘ genannt) abgerissen wurde, das Martinstor ‚Portello di S. Martino‘, das heute zugemauert und zum Teil vom Garten der Villa de Lord (außerhalb der Stadtmauer)oder vom Garten des roten Hauses ‚Casa Rossa‘ (innerhalb der Stadtmauer) aus zu sehen ist, das Tor ‚Portello del Colmarion‘ (auch ,Portello della Bot‘ genannt), das Tor der Hl. Katherina ,Porta S. Caterina‘ (auch ,Porta del Foresto’ genannt, von Belvedere) und das Tor unter dem Schloss ‘Porta di Sottocastello’. In der modernen und zeitgenössischen Zeit sind einige Teile eingestürzt oder abgerissen worden. Bis heute gibt es noch keine Anhaltspunkte irgendwelcher Art, die die oft vorgebrachte und behauptete, aber völlig haltlose Hypothese des Vorhandenseins eines Mauersystems zu Zeiten der Römer bewiesen hätten.