Das Entstehen der Burg Výrov kann in die zweite Hälfte des 14. Jahrhundert gelegt werden. Sie wurde als Sitz eines kleinen Ritterguts oder eher durch Čeněk von Potštejn, als Zentrum der Krčíner Herrschaft, erbaut. Möglicherweise hieß sie auch ursprünglich Krčín. Die Name Výrov entstand erst nach Verfall der Burg während der Hussitenkriege oder spätestens zu Beginn der 2. Hälfte des 15. Jahrhunderts.
Zur Zeit der Stadtgründung war Výrov schon verödet, d.h. unbewohnt. Um die ehemalige Burg kümmerte sich niemand, so daß sie verfiel und heute können dort nur Walle, ein Graben und Keller entdeckt werden. Der Burgturmpalast war im unteren Teil aus Steinen, der obere aus Holz. An der Seite zur Bradler Ebene zog sich ein in den Fels geschlagener bis zu 8 – 9 breiter Graben hin.
An einer Stelle verengt er sich auf ein Drittel, offensichtlich waren hier die Fallbrücke und das durch Basteivorbau geschützte Tor. Die Burg schützte über dem Graben eine mächtige Mauer. An der entgegengesetzten Seite war die Burg durch steilen Hang geschützt. Über Výrov schrieb in seinem Hussitenkönig Alois Jirásek. Gegenwärtig besteht archäologisches Interesse am Festungsgelände.
Bei Výrov steht eine kleine Kapelle, die der Herrschaftshauptmann Matěj Göstl erbauen ließ. Es ist die Kapelle der „Vierzehn Heiligen Gehilfen“. Sie steht oben am Wegende von Klopotov nach Výrov. Eine umfangreiche Reparatur im Jahre 1938 schützte die Kapelle vor dem Zerfall.