istorie města je spjata s historií zámku, který stojí na místě původního kamenného hradu. Mezi jeho první majitele patřili na začátku 14.století páni z Hradce, později páni z Ústí. Od roku 1393 vládli v Žirovnici Kamaréti rodu pánů z Lukavce u Čáslavi, kteří byli horlivými přívrženci a obhájci Husova učení, a proto i nepřáteli Oldřicha z Rožmberka, představitele katolické šlechty na českém jihu. Od roku 1485 přechází Žirovnice pod panství kutnohorského rodu Vencelíků z Vrchovišť, kteří nechali celý hrad přestavět a vyzdobit freskami, patřícími dodnes k jedinečným historickým kulturním památkám.

Z erbu Vencelíků byl převzat i nynější městský znak stříbrný jednorožec v modrém poli. Roku 1544 koupil Žirovnici Albert z Guttenštejna. Hrad zpevnil dvěma baštami. Roku 1564 získal celé žirovnické panství do svého majetku Jáchym z Hradce a roku 1604 jeho vnučka Otilie s manželem Vilémem Slavatou. V období třicetileté války byl hrad zpustošen, celé hradní patro bylo rozstříleno a již nikdy nebylo obnoveno. Po vymření Slavatů získali roku 1693 žirovnické panství Šternberkové, od nichž roku 1910 odkoupilo jejich panství město.