清遠的書院常有名望者講學其間，采用個別鉆研，互相問答，集眾講解相結(jié)合的教學方法，以研習儒家經(jīng)籍為主，間亦議論時政。清代時多數(shù)成為準備科舉的場所。主要有：瑞峰書院、崇文書院、同文書院、湞江書院、鳳城書院。而猶以瑞峰書院為首。瑞峰書院——今清遠市第一中學校園，古名瑞峰，是明清時清遠瑞峰書院故址。
書院之名，始自唐代中期，初由中央政府設(shè)置，供學士顧問工作之需，后逐漸發(fā)展為藏書講學和準備科考之所，并向地方普及。清遠瑞峰書院創(chuàng)建于明弘治十七年(1504年)。這一年夏天，廣東布政司在清遠舉行地區(qū)性會考，應試者有粵北南雄府，韶州府和連州等地的學子。因清遠原有考場過于狹窄，事前由政府撥款在瑞峰新建書院一座，使清遠地區(qū)有了第一間書院。建書院、辦會考，是清遠曠古未有之盛事。落成之日，熱鬧非常，邑中士夫、耆儒和諸生與主考官潘府、知縣黃鎏等歡晏于瑞峰，“各賦詩歌以誦之”�？上н@些詩歌大多未能流傳下來，現(xiàn)僅見潘府的一首詩，詩中就有“瑞峰插霄漢，天開書院新”之句。潘府，字孔修，上虞(今屬浙江)人，時任廣東提學副使，駐節(jié)清遠，書院之建，端賴其功。
明代時，書院在廣東還未全面普及。瑞峰書院是早行者之一。古代清遠不少成功之士如明代的孔從先、白榮、徐兆鼎、鐘萬祿，清代的郭志融、麥瑞芳、郭鐘熙等，都曾在這里學習過。書院又是邑中文人雅士聚會結(jié)社之地。明正德、嘉靖年間，書院有“集雅堂”之名，其時這里有集雅堂詩社。清代道光、咸豐年間和同治年間，先后又有冽江詩社和瑞峰九老會在書院活動。
清末，國家改革教育，廢科舉，辦學堂，瑞峰書院因此停廢，后來又被拆毀，只有書院門額石匾遺存至今。近年，師生用磚和彩瓷專門砌建了一道短垣，把石匾珍嵌其上，籍以紀念這座在清遠歷史有過積極貢獻的書院。石匾上雕著的“瑞峰書院”四個楷書大字沉雄俊逸，古雅端莊，充滿著勵人氣韻，極具保護價值。