Zakladatelem původního hradu je rod pánů z Hradce. První zmínka je z r. 1345, kdy byl majitelem Oldřich z Hradce. Roku 1485 hrad koupil i s městečkem Žirovnicí Václav Vencelík z Vrchovišť. V letech 1485 - 1494 byl hrad přestavěn a rozšířen přibližně do dnešního rozsahu a podoby. V roce 1490 hrad nechal vymalovat freskami. Vencelíkům patřil hrad až do roku 1544, kdy hrad i panství získal Albrecht z Gutštejna. V roce 1564 panství koupil Jáchym z Hradce. V letech 1576 - 77 a 1583 - 84 došlo k menším stavebním úpravám, jež znamenaly počátek přeměny hradní pevnosti na pohodlnější renesanční zámek. Za třicetileté války r. 1645 byl hrad obsazen Švédy. Při dobývání byl hrad značně poškozen. K obnově došlo až po r. 1693. Nejjižnější část hradu, bývalý palác, byla snížena o jedno patro. Žirovnický hrad pozbýval stále více na významu. V roce 1910 koupilo město Žirovnice od hraběte Leopolda Šternberka žirovnický velkostatek s hradem.
V roce 1964 zámek vyhořel a v r. 1974 začala celková obnova zámku, která skončila v r.1992.
Nyní je zámek přístupný a slouží kulturním účelům.

Nedaleko od Žirovnice leží vesnice Štítné, kde se asi roku 1333 narodil český křesťanský filozof a spisovatel, Tomáš Štítný ze Štítného. Jeho cílem bylo zpřístupnění bible všem lidovým vrstvám, proto jeho literární činnost vynikala oproti zvyklostem tehdejší doby tím, že byla vedena v českém jazyce. Zemřel v Praze pravděpodobně roku 1401.

Na místě bývalé zemanské tvrze stojí památník, který připomíná tohoto velkého muže.