
Powstanie Výrova można datować na drugą połowę XIV wieku. Został zbudowany jako siedziba małego majątku rycerskiego lub raczej przez Čeňka z Potštejna jako centrum dóbr krčínskich. On pierwotnie nosił chyba też nazwisko Krčín. Ludowa nazwa Výrov powstała dopiero po zniszczeniu zamku w czasie wojen husyckich lub najpóźniej na początku drugiej połowy XV wieku.
W czasach założenia miasta Výrov był już opustoszały, tj. niezamieszkany. Nikt się nie troszczył o dawny zamek, który się rozpadał, a obecnie na Výrovie można oglądać jedynie wały, fosę i piwnicę. Gotycki gród w dolnej części był wykonany z kamienia, część górna była zrębowa. Od strony równiny bradelskiej ciągnęła się wyciosana w skale fosa licząca do 8 – 9 m szerokości.
W jednym miejscu fosa zwęża się na około jedną trzecią - niewątpliwie w tych miejscach znajdował się most zwodzony, a bramę chroniła wystająca baszta. Zamek nad fosą osłaniały również solidne mury szczytowe. Po stronie przeciwnej zamku strzegła stromizna. O Výrovie pisał v w powieści „Król husycki“ (czes. Husitský král) Alois Jirásek. Obecnie na terenie kompleksu twierdzy prowadzone są badania archeologiczne.

Pod Výrovem usytuowana jest kapliczka, którą polecił zbudować hetman Matěj Göstl. Jest to kapliczka "Czternastu świętych pomocników ". Wznosi się na końcu dróżki z Klopotova do Výrova. Przeprowadzony w 1938 r remont uchronił kapliczkę przed zniszczeniem.
