A múzeum épületét 1791-ben barokk stílusban építette Tessedik Sámuel evangélikus lelkész. Ez volt az ország első mezőgazdasági iskolája. Az iskola befejezése után középiskola, majd tanítóképző, később óvodai főiskola volt. Az 1952-ben alapított és korábban ideiglenesen több épületben elhelyezkedő múzeum 1973-tól költözött ide. Főbejárata felett a következő latin felirat található: Ez az intézet tétlenkedik a hazai iskolákból. Ezt a szorgalmi emléket, amely az utódok ellátására szolgál, a szarvasiak állították 1791-ben.

A múzeum létrehozásában felbecsülhetetlen érdemei vannak Palov Józsefnek, aki 1952 és 1994 között töltötte be a múzeumigazgatói posztot. A múzeum gyűjteménye a helyi iskolákból vett régészeti leleteken, valamint a helyi és néprajzi gyűjteményeken alapult. Az első állandó kiállítás - a Tessedik Sámuel emlékkiállítás - 1954-ben nyílt meg.

A Tessedik régi iskolaépületének felújítását követően 1979-ben megalakult a "Tessedik városa akkor és most". Állandó kiállítás, amely a Szarvas környékén élők történetét mutatja be a kőkortól napjainkig. Domán Imre néprajzi gyűjteményét bemutató kiállítás 1981-ben nyílt meg.