
Vznik Výrova možno klást do 14.století. K tvrzi či hradu Výrovu (Výrova, Výrava) patrně patřily okolní vesnice Bradle (Bradla), Žďár, Blažkov a Jestřebí (Jestřábí), ale také Hradčany, Tábor a dolní část Horského předměstí možná jako podhradí. Nejspíše to byl rytířský statek. Hrádek byl v husitských válkách těžce postižen a páni z Dubé jej potom používali jako věznici.
Předtím než hrádek přešel do majetku regionálních pánů patřil prý ve 14. století královně a císařovně Alžbětě, matce Zikmundově, která ze svého věnného města Hradce Králové ovládala široké okolí a u nás prý založila vinice.
V době založení města byl Výrov už "pustý", tj. neobydlený. Stejně na tom byla krčínská tvrz a černčická už dosluhovala. O bývalý hrádek se už nikdo nestaral, takže se rozpadal, a dnes lze na Výrově pozorovat už jen valy, příkop a sklep. Zdá se, že tzv.hradní palác byl ve spodní části z kamene a v horní ze dřeva. Na straně k bradelské rovině se táhl ve skále vylámaný až deset metrů široký příkop.Dnes je téměř zasypaný. Na jednom místě se příkop zužuje asi na třetinu, zřejmě v těch místech býval padací most. Hrad na této straně chránila i mocná hradba, vyztužená dvěma baštami. Na opačné straně byl hrad chráněn příkrým srázem. O Výrově psal v Husitském králi Alois Jirásek. V současné době je o areál tvrze archeologický zájem.

U Výrova stojí kaplička, kterou dal postavit panský hejtman Matěj Göstl. Je to kaplička "Čtrnácti svatých spomocníkův". Je nahoře na konci cestičky z Klopotova k Výrovu. Před rozpadnutím kapličku zachránila rozsáhlá oprava roku 1938.
