Die Stadt wurde in der Vorburg der gleichnamigen Burg im Tal des Baches Brumowka gegründet. Sie befindet sich etwa 5 Kilometer von Walachisch Klobouk entfernt in der Zliner Region.

Die sich ursprünglich im königlichen Besitz befindliche Burg, die sich über dem rechten Bachufer erhebt, wurde als Schutz der Ostgrenze zu Ungarn im 13. Jahrhundert erbaut. Mit der Burg Brumow hängt auch die älteste schriftliche Erwähnung der Stadt aus dem Jahr 1255 zusammen. Am Anfang des 15. Jahrhunderts gehörte die Burg Brumow Boček III. von Kunstadt und Podiebrad, einem Anhänger der Hussiten. Im Jahr 1421 wurde die Burg von König Sigismund belagert. In den 40er Jahren des 15. Jahrhunderts gehörte Brumow den Herren von Cimburg. Das Herrschaftsgut wechselte mehrmals den Besitzer. Die Ära des wirtschaftlichen Aufschwungs und Wachtstums von Brumow fiel in die Regierungszeit der Herren von Lomnitz, die die Burg zum Hauptsitz ihrer ostmährischen Besitztümer machten. Im Jahr 1500 erhob König Vladislav II. Jagiello Brumow zur Stadt.

Im Jahr 1622 wurde das Herrschaftsgut Brumow in fünf Teile aufgeteilt, und obwohl später ein wesentlicher Teil wieder vereint wurde, erreichte es nie seine ursprüngliche Größe. Während des Einfalls der Türken und Tataren wurde Brumow in Brand gesteckt und fast gänzlich zerstört, nur die Burg konnte erfolgreich verteidigt werden. In den folgenden Jahren wurde die Stadt während der sogenannten "Kuruz-Kriege" zerstört.

Im 18. Jahrhundert begann sich hier die Glasindustrie zu entwickeln. In dieser Zeit blieb auch Brumow nicht von Naturkatastrophen verschont, im Jahr 1750 brannte die ganze Stadt ab. In der ersten Hälfte des 19. Jahrhunderts wurden die Stadt und ihre Umgebung von Epidemien und Hungersnöten heimgesucht. In der zweiten Hälfte begann sich Brumow wieder zu entwickeln und zum kulturellen Leben zu erwachen.

Eine bedeutende Persönlichkeit der Stadt Brumow ist Ludvík Vaculík – ein tschechischer Prosaiker und Autor des Manifests 2000 Worte.