Historie Panského domu, která se začala psát již v období třicetileté války (1618 – 1648)

První zmínka o Panském domě pochází z roku 1674, ještě předtím zde stály dva domy č. p. 6 a 7. Dům číslo 6 vlastnil Jan Doudlebský, Jan Valoušek (1613), Martin Kamba (1624) a Václav Smíšek (1636). Dům číslo 7 vlastnil Jan starý Běhounek, řezník a po něm Kryštof Růže Trutnovský (1619).

V období třicetileté války byly původní domy vypáleny Švédy, po rekonstrukci byly domy spojeny dohromady a vznikl tak Panský dům. Ve starém purkrechtě pak bylo řečeno: “Na tomto gruntě dům J.V. Hr. Mil. vystavěn jest. A z roku 1674 je už dochována zmínka o domu panském, který byl vystavěn po vpádu Švédů.

Panský dům vystřídal od těch dob mnoho majitelů, byli to: Jachim Buňk, Martin Meyer, Antonín Viktorýn, vdova Viktorýnka, Václav Štampaský (1725), Jan Kumpošt (1731), Ignác Janeba (1738). Ignác Janeba prodal Panský dům, který měl v té době kamenné základy, avšak stavba byla dřevěná, dne 16. 11. 1784 Antonínu Špulákovi za 1 200 rýnských zlatých a ve dvanácti bodech mu sepsal, co vše musí dodržovat a plnit. Antonín Špulák Panský dům prodal roku 1794 Jozefu Sokolovi, který byl v té době také nájemníkem Panského domu v Častolovicích.

Panský dům pak vyhořel dokonce i podruhé v roce 1810.

V letech 1840-1869 bylo ve velkém sále Panského domu provozováno ochotnické divadlo a konaly se tu také společenské akce, veselosti a veřejné schůze.

V roce 1866 se v pruské válce stala malá srážka, která zanechala znamení na zdi Panského domu v Lukavské ulici.