Další dominantou města je veřejnosti nepřístupný zámek, který vznikl přestavováním původní vodní tvrze. V letech 1722 - 1728 proběhla přestavba v barokním stylu. Podle plánů francouzského architekta Roberta de Cotte stavěl stavitel Ludvík Kaltner. Roku 1819 koupili panství Habsburkové, kteří v letech 1844-1845 provedli pozdně empírové úpravy, které se promítly do dnešní podoby zámku. Oba objekty jsou vyzdobeny četnými uměleckými díly místních i cizích umělců. Kolem zámku i kostela se nacházejí kamenné sochy svatých, z nichž některé pocházejí ze zbořeného kamenného mostu, jiné sem byly soustředěny z okolí města. Na zámek navazuje památkově chráněnný park v anglickém přírodně krajinářském stylu o celkové rozloze 23,2 ha (v 18.století barokní zahrada). Park v současné podobě vznikal od roku 1809 podle návrhu zahradního architekta Karla Marxe. Park byl v 70. a 80. letech 20. století značně devastován jelení a mufloní zvěří, která sem byla nasazena. V současné době probíhá v parku obnova podle projektu Ing. Šubra. Zámek slouží jako ubytovací kapacita pro účastníky honů spárkaté zvěře v okolních bažantnicích. Mezi světovými válkami sloužil zámek jako letní sídlo prezidenta T.G.Masaryka. Na jeho pobyty upomíná pamětní deska u zámku.