开山书院位于韦斋祠右侧，是古代传播朱子学说的地方。乾隆二十九年（1764），尤溪知县蔡述谟将旧学址改建为书院，占地1000平方米，坐南朝北。自北而南依次为山门、中堂、讲堂。山门为木构重檐悬山顶。正厅（讲堂）面阔五间，进深二间。抬梁式木构架，歇山顶，两廊书舍共30余楹。庭院左侧立有道光三年尤溪知县孙大焜书并撰的“开山书院详定章程碑序”石碑一通。该书院学规严格，院长应为贡生、举人以上，延请品学兼优者执教，成为我县主要的书院之一。

书院的正堂即为讲堂，其功能是生员接受院长训导和老师课督的主要场所。现于堂中设神龛主祭朱熹，两旁从祀朱熹首徒蔡元定和私淑弟子真德秀。左右两侧上方悬挂朱熹的历代祖先画像，下悬朱熹著名的手迹“四个之本”板联等，使这里成为既是人们祭拜朱子的神圣之地，也是人们景仰先贤朱熹的重要场所。

中堂原为书院院长和老师的办公处所，亦是寝休之处。现于厅两侧布展十组彩塑、八组彩画的朱熹生平展览馆，较详细地介绍了朱熹不平凡的一生。

1938年6月10日，福州马江勤工学校（即现在的福建船政学校的前身，为清末军机大臣左宗棠创办的专门培养我国飞机、舰船制造人才的学校）为避日寇飞机轰炸，曾搬到开山书院办学三年。