Das Schloss ist, zusammen mit der Festung, eines der Symbole des Stadtbildes von Asolo und scheint auf das X. Jahrhundert zurückzugehen, obwohl keine genauen Daten über den Ursprung des Bauwerks vorliegen. Im Jahre 1242 war es der Wohnsitz des Ezzelino da Romano und ab 1339 wurde es der Sitz der Podestà (Stadtvögte) von Venedig. Ende des XIV. Jahrhunderts wurde es in die Stadtmauer integriert, deren Bau während der kurzen Herrschaft der Carrarer begonnen wurde. Von den vier Türmen, die ihr Merkmal waren, bestehen heute nur noch drei: der Bürger- oder Glockenturm, der Bestrafungsturm, der als Gefängnis diente und der Wagenturm, der heute zum angrenzenden Wohnhaus ‚La Torricella‘ gehört. Im Jahre 1489 wurde es dann der Wohnsitz von Caterina Cornaro und in diesem Palast und seinem Garten ließ der Dichter Pietro Bembo seine Dialoge ‚Die Asolaner‘ spielen. Nach Caterina Cornaros Tod wurde das Schloss wieder für Verwaltungsaufgaben umgebaut und es wurden zahlreiche Restaurierungsarbeiten vorgenommen. Im Jahre 1797 setzten sich die Franzosen dort fest und im darauffolgenden Jahr wurde die große ‚Aula Pretoria‘, einstmals von den venezianischen Podestà (Stadtvögten) zur Rechtsprechung genutzt, zu einem Theater umgebaut. Im Jahre 1816 wurde der Westteil des Schlosses abgerissen. Es verbleibt der majestätische Uhrenturm, der von allen Teilen der Stadt aus gut sichtbar ist.