Die ältesten Hinweise auf die Besiedlung von Groß Herrlitz stammen aus dem Jahr 1225, als Vojslav von Lublic und Herrlitz als Inhaber des dortigen Gebietes erwähnt wird, auf dem eine frühfeudale Burg vom Bergfriedtyp errichtet wurde. Im Verlauf des 13. Jahrhunderts entwickelte sich aus dieser Anlage schrittweise ein Zentrum einer eigenständigen Grundherrschaft.

Gegen Ende des 16. Jahrhunderts erfolgte ein Renaissanceumbau der ursprünglichen gotischen Burg, wobei Teile der mittelalterlichen Mauerstruktur sowie der Turmanlage erhalten blieben. Im 17. Jahrhundert folgten barocke Erweiterungen und Umbauten des Schlossareals, insbesondere während der Herrschaft des Geschlechts der Grafen von Würben.

Im 19. Jahrhundert ging die Herrschaft in den Besitz des Hauses Bellegarde über, das zu den bedeutenden Adelsfamilien mit Tätigkeiten an europäischen Höfen zählte. Johann Franz Graf von Bellegarde (1707–1769) bekleidete das Amt des Kriegsministers in Sachsen unter Kurfürst August. Franz von Bellegarde wirkte später als Obersthofmeister der Kaiserin Elisabeth, der Gemahlin Kaiser Franz Josephs I. Aus dieser Familie stammte auch Gräfin Rudolfina von Bellegarde, Hofdame der Kaiserin.

Im 20. Jahrhundert, insbesondere während der Zeit der nationalsozialistischen Besatzung, wurde das Schloss auch zur Unterbringung von Angehörigen der deutschen Wehrmacht genutzt, die in der Region stationiert waren. Während des griechischen Bürgerkriegs wurden im Schloss griechische Flüchtlingskinder untergebracht. Im Jahr 1956 wurde eine schulische Einrichtung gegründet, die – unter wechselnden Bezeichnungen und in unterschiedlicher Ausrichtung – bis heute in diesem Objekt besteht.