Chùa Nam Thiên (còn gọi là chùa Phố) xây dựng năm 1882 (nay thuộc thị trấn Nhã Nam). Cổ xưa chùa thuộc làng Cầu. Khi làng Cầu bị giặc Cờ Đen triệt hạ cuối thế kỷ XIX, chùa do làng Chuông kiêm quản. Từ năm 1885 thực dân Pháp lập đồn Nhã Nam và đặt phủ lỵ tại đây thì chùa chuyển về phố. Chùa Phố - Nam Thiên tự nằm bên Đồi Phủ, chứng kiến những sự kiện quan trọng liên quan tới phong trào khởi nghĩa Yên Thế. Tháng 1-1989 di tích chùa Phố - Nam Thiên tự được Bộ Văn hoá - Thông tin công nhận là di tích lịch sử văn hoá. Ngày 10-5-2012, Thủ tướng Chính phủ quyết định công nhận Di tích chùa Phố - Nam Thiên tự là Di tích lịch sử văn hoá cấp quốc gia đặc biệt.

Trong khuôn khổ lễ hội còn diễn ra nhiều hoạt động văn hoá thể thao như: thi nấu cơm, thi đấu cầu lông, trò chơi dân gian, tết trồng cây... thu hút đông đảo cán bộ, nhân dân tham gia.