Přesto, že v historických materiálech není přímá zmínka o sídlech majitelů, podle struktury stavby, jejího slohu a použitých materiálů při výstavbě, odborníci odhadují stavbu Panského domu na 16. století. Tato tvrz,  později rytířské sídlo a dále postupně sídlo purkrabího, obročního myslivce a šafáře, byla součástí hospodářských staveb tzv. "Dvora". Odsud řídili majitelé své panství a ovlivňovali hospodářský, politický a kulturní život regionu. Ve dvacátých létech minulého století připadla budova obci, která ji využívala převážně k bydlení. Ve II. světové válce byla budova poškozena a po jejím ukončení opravena.

Západní křídlo budovy bylo využíváno k bydlení, ve východním byly umístěny kromě bytů drobné provozovny, obecní prádelna, ordinace všeobecného lékaře, krejčovství a další.
Protože se budova téměř neopravovala, chátrala a postupně se "vybydlovala". Po revoluci byla dokonce nazývána některými spoluobčany domem hrůzy.

Na využití domu byly po revoluci v roce 1989 různé názory, od jeho rekonstrukce v historické podobě, přes prodej až ke zbourání. Nakonec zvítězil názor, dům, s využitím státní dotace, přebudovat na  Dům s pečovatelskou službou do takové podoby v jaké si ho dnes můžete prohlédnout.