Svako mjesto skriva svoje tajne povezane s gostionicama iliti krčmama. Tako počinje i naša priča. 1765. godine na posjedu Suhopolja nalazila se zidana gostionica s nadsvođenim podrumom koji i dan danas čuva tajne toga razdoblja.  Kako je „Suho polje“ bio jedan mali otok u močvarnom području, nakon isušivanja postaje velika gospodarska riznica za voćinsko vlastelinstvo. Dokaz tome je i preseljenje uprave pet godina poslije u današnje Suhopolje. Kao centar vlastelinstva dvorac je morao zadovoljavati određene uvjete kao što su izgradnja gospodarskih i upravnih objekata te stambenih zgrada koje čine zaokruženi vlastelinski kompleks u tadašnjem Terezovcu (Suhopolju).

Grofovsku priču u našem malom mjestu započinje krajem 18. stoljeća Julijana Fekete od Galente, majka Ivana Nepomuka Jankovića de Priberta i to kupnjom cijelog vlastelinstva od kneza Kazimira Esterházy od Galante. Obitelj Janković je ključni element u stvaranju kulturne baštine i povijesti Suhopolja. Jedan od primjera je gradnja crkve sv. Terezije Avilske 1807-1816 godine koju je Ivan Nepomuk Janković de Pribert posvetio svojoj supruzi barunici Tereziji rođenoj Püler. Njegovi unuci Josip i Elimir Janković započeli su vidljivu transformaciju posjeda iz utilitarnog gospodarskog u rezidencijalni prostor visokih kriterija uređenja parkovne infrastrukture. Današnji izgled dvorca rezultat je rada Elemira pl. Jankovića koji je posljednji izveo pregradnju dvorca, na veliko zadovoljstvo svoje supruge Ilke izgradio dječji vrtić  te naposljetku izgradio kapelicu u perivoju dvorca u kojoj su pokopani sin Elimir, Ilka i on sam. Nakon Elemirove smrti njegov sin Andrija preuzima vlastelinstvo i odlučuje se za prodaju istoga 1931. godine.

1942.- 1945. posjed Dvorca Janković pripao je u vlasništvo Hrvatske školske i prosvjetne zaklade  mjesne općine Suhopolje dr. Ante Starčević te su dograđeni novi elementi. Dvorac je do 1960 godine bio u funkciji doma za siročad, a potom osnovna škola, dječji vrtić te stambena zgrada od 1964.-1973. godine. Za potrebe škole, velikoj dvorani rizalita s južne strane dograđen je ulaz, a sa sjeverne strane pozornica.

Tvrtka „Abacus“ d.o.o., u čijem je vlasništvu dvorac od 2000. do 2012. godine, izvela je posljednje intervencije na građevini u obliku manjih zahvata sanacije krovišta i pročelja što je promijenilo autentičan izgled dvorca. Konkretnu inicijativu novih intervencija obnove poduzela je Virovitičko-podravska županija kupnjom dvorca 2012. godine. Nužan proces obnove dvorca i pripadajućeg perivoja počinje 2017. godine provedbom projekta „Centar za posjetitelje – Dvorac Janković˝, sufinanciranog bespovratnim sredstvima Europske unije.