Ngược dòng lịch sử xã Cao Sơn có một số đình làng như: Đa Thọ, Dương Xuân, Phú Lĩnh, Vĩnh Yên... một số ngôi đền như: Ruộng Tớm, Tĩnh (hiện nay thuộc Lĩnh Sơn). Từ năm 2017 xã Cao Sơn xây dựng mới; nâng cấp, tu tạo 7 ngôi đền bao gồm: Đền Nhà Bà (Thôn 2), Đền Hồ Giao (Thôn 7), Đền Cửa Ông (Thôn 8), Đền Cam Lĩnh, Đền Ruộng mặt (Thôn 9), Đền Cây Đa Bàn thờ (Thôn 4), Đền Bồ Lư (Thôn 6). Có 5 giếng làng mới được khôi phục như: Phúc Long, Hồ Giao, Trộc vệ, Long điền...; 3 Cổng làng được xây dựng gồm: tại Làng Đa Thọ tại thôn 3, tại ngã tư chợ Cây Qoéo, tại dốc ông Bính thôn 8.

Cao Sơn hiện nay có khoảng 33 dòng họ, những dòng họ có số nhân khẩu khá nhiều đó là Nguyễn Công, Mai Văn, Cao Văn, Nguyễn Hữu, Lê Đăng, Lư Văn... Dòng họ Nguyễn Công được công nhân di tích Lịch sử - Văn hoá cấp tỉnh năm 2013.