Za zakladatele zámku je považován Pavel Katharin z Katharu (zemský purkrabí markrabství moravského), který koupil jimramovské panství v roce 1588. Byl první, kdo si zvolil Jimramov za své sídlo, ale protože tu nebyla vhodná budova, dal postavit v roce 1593 nejstarší část dnešního zámku v renesančním stylu. Nade dveřmi je pamětní deska se třemi erby. Erby jsou zakladatele zámku a jeho dvou manželek: vlevo - Lidmila Kitliczowna z Rudolce, první manželka jeho umřela léta Páně. 1586; uprostřed - Pavel Katharin z Katharu, na Dalečíně a Jimramově, purkrabí zemský markrabství moravského; vpravo - Krizelda Cegkowna z Wolbramowicz, druhá a poslední manželka jeho.
Na počátku 17. stol. získává zámek Vilém Dubský z Třebomyslic pro svého syna Jana. Ten se proslavil jako svobodomyslný vzdělanec, který vydal církevní artikule a reformoval soudnictví na svém panství (podmíněné a náhradní tresty – jimiž předbíhá evropskou soudní praxi o 300 let). Tento protestantský šlechtic byl na svou dobu člověkem demokratickým a za jeho vlády dochází ke konsolidaci církevních poměrů i hospodářskému rozkvětu panství. Od něj převzal panství syn Václav Dubský. Po bitvě na Bílé hoře byl majetek tomuto protestantskému šlechtici zkonfiskován.
Kupuje ho Štěpán Schmidt, pro dluhy ho postupuje hraběnce Šlikové. Ta ho v roce 1632 prodává hraběti Jiřímu z Náchoda. Za jeho syna Leopolda z Náchoda dochází k velkému útisku poddaných až mnozí odešli do Uher. V 1663 postupuje panství své manželce Terezii Františce z Gallasu, v roce 1669 zpustošené panství přejímá její švagr Jan Václav Novohradský z Kolovrat, za něhož dochází ke konsolidaci poměrů. V roce 1680 přejímá zkonsolidované panství jeho syn Filip Antonín z Kolovrat – hospodářství znovu upadá.
V roce 1689 kupuje panství v dražbě rytíř Konrád Ferdinand z Bornsadtu, od roku 1691 vládla jeho manželka – dochází ke sporu o pozemky na české straně „za vodou“ s poličskými občany, hájila je v čele svých poddaných na koni se zbraní v ruce. Za její vlády dochází k rozšíření panství a k jeho zvelebení. Její dcera Marie Anna z Niebrů se ujímá panství v roce 1712, v roce 1746 její neteř Marie Antonie z Waldorfu, která staví severní křídlo zámku a krytou chodbu do oratoře katolického kostela. V roce 1778 postupuje panství své neteři Marii Theodoře, rozené z Freiensfelsu, provdané za hraběte Antonia Belcredi. V 19. stol. je stavěno západní křídlo a tím se uzavírá čtvercové nádvoří. Na nádvoří stojí kašna z roku 1809 a na zdi sluneční hodinyz roku 1798. Belcrediové jsou majiteli až do roku 1948, kdy je jim panství vyvlastněno.
K jimramovskému panství patřily obce: Jimramov, Borovnice, Spělkov, Krásné, Javorek, Daňkovice, Jimramovské Pavlovice, Nový Jimramov, Waldorf (nyní Podlesí), Široké Pole a Jimramovské Paseky.
Zámek obklopuje park, který sestává ze tvou částí: terasovité, převážně zatravněné zahrady bezprostředně obklopující zámek na jižní a východní straně ohrazené kamennou zdí a přírodně krajinářského parku severně od zámku, tzv. park Bludník, který je sekundárně oddělen od zámeckého komplexu silniční komunikací a je veřejnosti přístupný.
Od roku 1963 zde bylo Střední odborné učiliště železniční, do roku 1998 Integrovaná střední škola dopravy a zasilatelství. V restituci byl zámek navrácen Belcrediům v roce 1991.
V současné době je zámek pro veřejnost uzavřen.
zdroj: jimramov.cz
GPS Souřadnice
N 49.6373749, E 16.2239952
Nadmořská výška
497 m.n.m
Polička - okr:Svitavy 
