Der Burghügel von Ptuj, von welchem sich dem Besucher eine atemberaubende weitreichende Aussicht bietet, war bereits in der Jungsteinzeit, dem sog. Neolithikum, also ab dem 5. Jahrtausend vor unserer Zeitrechnung, besiedelt.

Zur Zeit des antiken Poetovio befanden sich auf ihm eine Festung und Kultstätte, im frühen Mittelalter eine slawische Grabstätte.

Die Anfänge der mittelalterlichen Festung reichen in das 11. Jahrhundert, als sich Burg und Stadt im Besitz der Salzburger Erzbischöfe befand, zurück. Die Erzbischöfe haben im Jahre 1132 die Burg den Herren von Pettau als Lehen übertragen, welche sowohl die Burg als auch die Stadt, abgesehen von kürzeren Unterbrechungen, länger als drei Jahrhunderte verwaltet haben.

Die mittelalterliche Festung war dreigeteilt. Auf dem Gipfel des Hügels befanden sich die Wohn- und Wirtschaftsgebäude, auf westlicher und östlicher Ebene die Objekte mit militärischem Charakter, von denen nur noch der westliche Turm erhalten ist. Im 12. Jahrhundert stand im zentralen Teil des Hügels bereits eine Gebäudegruppe mit Palast und einem mächtigen Wehrturm. Im 14. Jahrhundert erhielt das zentrale Gebäude einen hufeisenförmigen Grundriss und war zweigeschossig, die Burgmauer wurde mit der Stadtmauer verbunden. Italienische Bauherren haben das Aussehen der Burg im 16. Jahrhundert, als sie Stadt und Burg vor den Türken befestigten, grundlegend verändert.

In den Jahren von 1656 bis 1802 befand sich die Burg im Besitz der schottischen Adelsfamilie Leslie. Das waren schillernde Zeiten für sie, denn die Leslies bauten die Burg in eine Barockresidenz um. Gegen Ende der türkischen Gefahr haben sie im 17. Jahrhundert den Wehrturm abgerissen, die Burg vergrößert, auf dem östlichen Plateau des Marstall und einen Turm errichtet. Im 18. Jahrhundert haben sie an der südlichen Burgwand entlang das Verwaltungsgebäude, auf dem westlichen Plateau den Kornspeicher und darunter den Meierhof errichtet.

Die letzten Eigentümer, die Grafen Herberstein, hatten die Burg in den Jahren von 1873 bis 1945 in ihrem Besitz; dann ist sie verstaatlicht und mit der reichen Ausstattung dem Museum von Ptuj angeschlossen worden.