Das Schloss Ormo¸ befindet sich im südöstlichen Teil einer bronzezeitlichen Siedlung, die mit einem Erdwall und einem Verteidigungsgraben geschützt wurde. Der Graben windet sich entlang der Burganlage nach Osten und wendet sich am Ende des Schlosshofes dem ehemaligen ungarischen Tor zu.
Die Lords von Ptuj begannen im letzten Drittel des 13. Jahrhunderts mit dem Bau des Schlosskomplexes. Dieser blieb ihr Eigentum bis zum Aussterben der Familie im Jahr 1438. Der freigelegte Südflügel stellt höchstwahrscheinlich die erste Bauphase dar. Hier wohnten die Kastellane von Ptuj, die Herren von Ormo¸.
Erst später erhielt der riesige Hof, der von einer Mauer umgeben war, an der nordöstlichen Ecke einen mächtigen Turm, um seinen Schutz zu verstärken. Die Ereignisse am Ende des 15. Jahrhunderts beschleunigten schließlich die Entwicklung des Schlosses. Nachdem dieses nämlich 1487 niedergebrannt war, fiel es 1490 in die Hände der Familie Szekely. Diese ließ es mit dem Ziel sich dort niederzulassen, restaurieren. Sie ließ auch den Nord- und Westflügel und wahrscheinlich auch den Ostflügel bauen. 1532 wurde das Schloss von den Türken beschädigt und 1540 als Teil der Stadtbefestigung restauriert. Nach dem Angriff der Kruci am 12. Februar 1704 verfiel das Schloss. Zwischen 1710 und 1740 wurde es von der Familie Pethe im Barockstil umgestaltet. Zu Beginn des 19. Jahrhunderts wurde es von dem Industriellen Jo¸e Pauer gekauft, der es im klassizistischen Stil erneut restaurieren ließ und eine Mauer um den südöstlichen Schlossgarten baute. Die letzten Besitzer des Schlosses waren die Grafen Wurmbrandt, deren Wappen heute noch über dem Haupteingang des Schlosses angebracht ist.
