Müze Condes de Castro Guimarães, eski "Torre de S. Sebastião" olarak bilinen, 1900 yılında Jorge O'Neill tarafından inşa edilmiştir. "Yazlık mimari"nin klasik bir örneği olan bina, eklektik unsurlara sahiptir ve ziyaretçileri romantizmin yeniden canlandırıldığı bu XIX. yüzyıl hayal ve merak krallığına davet etmektedir.
1910 yılında, Kont Manuel de Castro Guimarães evi satın alır ve ölümünden sonra (1927) bahçesiyle birlikte Cascais halkına bağışlar. Arzusu bir sanat müzesi ve halk kütüphanesi inşa etmekti. Müze, 12 Temmuz 1931'de açıldı.
Müze Condes de Castro Guimarães koleksiyonu, önemli ulusal ve uluslararası resimler, mobilyalar, porselenler ve mücevherleri içermektedir. Müze koleksiyonunun önemli bir parçası da Duarte Galvão'nun 1505 tarihli "Crónica de El-Rei D. Afonso Henriques" (Kral Afonso Henriques'in Kroniği) adlı eseridir. Bu eserin Giriş sayfasında minyatürist António d'Ollanda'nın eserleri bulunmaktadır.