Die ursprünglich eine festung aus dem 13. Jahrhundert wurde auf einem Felsvorsprung erbaut. Durch die Abdämmung des Deštenský-Baches entstand ein Teich und der Felsen veränderte sich in ein Insel.
Im 16. Jahrhundert wurde die Festung in ein Renaissanceschloss, sog. Nová Lhota oder Králova Lhota (Neue oder Königs Lhota) umgebaut.
Erst im 17. Jahrhundert wurde die Benennung červená Lhota (Rote Lhota) allgemeingebrauchlich, nach der Mauer- und Dachfarbe.