秀岩对面的淮山堂与翠屏堂就是敬一书院的建筑遗存。汉朝，孔子的第十一世孙孔安国任临淮太守时，在此建先圣宴居殿，后建崇圣书院，元朝改建淮山书院，从南部的瑞岩，经过会景亭、杏坛，一直到北部的西域寺，占据了公园的核心区域。明代改建登瀛书院，瀛为仙山，意谓莘莘学子云集而登仙。乾隆至道光时又扩建为敬一书院。朋友们请先到淮山堂欣赏碑碣，再到翠屏堂观看壁上《敬一书院记》，作者鲁昱是清朝道光时盱眙的训导，类似教育局长。记中描写了当时第一山的格局：有淮山云水，有泉石风月，有亭台楼廊，有钟鸣鸟歌，在这“仙境”之中，师生其乐何极！翠屏堂还有一块珍贵的石刻“木兰堂”，是唐朝诗人白居易的手迹。原在汪孟棠的“诞鹤园”即汪家花园。
唐宋以来，为何登临此山的达官骚人乃至天下顶级名流，多得难以计数？南宋大诗人陆游的《盱眙军翠屏堂记》，道出个中原因：盱眙为“天下重地”，进京者和出使者、南舟和北舟往来必入淮。早在春秋时，吴王夫差为了与中原各国打交道，开邗沟入淮，沟通了江淮。隋朝开大运河连通了南北与东西。隋、唐、宋都定都中原，东南漕运，由扬州楚州溯淮水而上，经过盱眙入汴河，因此，来往于江南鱼米之乡与长安、汴京之间都必经盱眙。在隋唐以来形成的逶迤千里的交通大动脉上，盱眙恰好扼东西咽喉，据南北要冲，是一个重要枢纽。在水运时代，再大的官，再大的名人也不能坐飞机，要减少长途旅行的颠簸，只能走这条水道，这帮人经常在汴淮交汇的盱眙落帆抛锚，漫游第一山，弄出一些文人“雅事”来，久而久之，山上群贤毕至，盛况空前。这山也就成了誉满天下的文化名山。而题刻只是名士诗文的一小部分。有意思的是，北宋还制定了水上交通规则。在山上发现了一块北“仪制令”碑，上面的“公文”碑也是秦士芝先生发现的。南宋时宋金以淮为界，这里成了边城，丢了它则长江难保，杭州危在旦夕，确实是“天下重地”。陆游在《翠屏堂记》中指出：南宋朝廷委派重臣来这里任职。在南山“异境”，筑“杰屋”二十六间，以便来往官员休憩，便是当时的翠屏堂。陆游称，曾游历了诸多名闻天下的边郡胜迹，但都不能与淮水南山相比，并叹曰：“我之文不足称也”。
