Iako su povijesni podaci o tom dvorcu i njegovim vlasnicima vrlo šturi, prema svjedočenju ljudi koji su radili za grofove, stručnjaci su rekonstruirali dio priče. Danas se stoga zna da je vlastelinski posjed u Suhopolju potkraj 18. stoljeća od carske komore kupio grof Ivan Nepomuk Janković. Točna godina se ne zna. Ivan Janković kupio je već potpuno formirani posjed s nizom stambenih, upravnih i gospodarskih zgrada koje su u cijelosti sagrađene 1775. godine. Vlastelinski posjed imao je većinom gospodarsko značenje, a sam grof navodno na njemu nije previše boravio. No, dao je sagraditi velebnu klasicističku crkvu koja je oblikovala naselje Suhopolje. Godine 1816. posvećena je Svetoj Tereziji i u njoj je godinu dana poslije pokopan Ivan Janković te nekoliko godina zatim i njegova supruga Terezija, rođena Püchler. Ivana je naslijedio njegov sin Stjepan, a u drugoj polovici 19. stoljeća novi je nasljednik grof Elemir. On je zaprosio mađarsku plemkinju, ali se ona, vidjevši prostor u kojem žive, odbila udati. Rekla je da je to obično polje. Kako bi udovoljio budućoj supruzi, mladi je grof uz već postojeću zgradu sagradio i ostale u dvorskome sklopu. Tada je zasađen i perivoj, i to s već zrelim sadnicama stabala kako bi bio što bujniji.
Obitelj je, prema usmjenoj predaji, imala i zvjerinjak, odnosno lovište na Odboju u Bjeljevini. Tamo je grof Elemir zamolio svojega oca Aladara da mu dopusti da se oženi upraviteljevom kćeri Ilkom. Aladar mu je dao svoje dopuštenje tek nakon što ga je pred svima izbičevao.