第一山雄踞淮水南岸，原名南山，因盛产都梁香草，故又名都梁，这也成了古县盱眙的别称。北宋哲宗绍圣四年（1097年），书画家米芾赴任涟水知军，有国都汴京（今开封）经汴水南下就任，一路平川。入淮时忽见奇秀的南山，诗兴勃发;“京洛风尘千里还，船头出汴翠屏件。莫论横霍撞星斗，且是东南第一山”。并大书“第一山”三个大字，从此南山易名第一山。
明代大文豪吴承恩在《西游记》对第一山的美景有过精彩的描绘：“山顶上有楼观峥嵘，山凹里涧泉浩涌，嵯峨怪石， 槃秀乔松。百般果品应时新，千样花枝迎日放,人如蚁阵往来多，船似雁行归去广。上边有瑞岩观，东岳宫，吴显祠，龟山寺，钟韵香烟冲碧汉。又有玻璃泉、五塔峪、八仙台、杏花园、山光树色映蠙城。白云横不度，幽鸟倦还鸣。说甚泰嵩衡华秀，世间仙境若蓬瀛。”将此胜境与蓬莱仙岛瀛洲仙山想媲美。南宋诗人杨万里说“第一山头第一亭，闻名未到负平生，”不游第一山将抱撼终身。
建国后，第一山成为省级重点文物保护单位，文物古迹也逐步修复，有玻璃泉、杏花园、魁星亭、米芾书第一山碑、明伦堂，最值得称道的是第一山题刻，在 清代还存172块，经1986年普查，尚存摩崖88块。早自宋元，晚迄明清，书体有正、草、隶、篆，文体有诗、词、题、记、诚是“山腰有石皆诗草，”20世纪80年代，辟为公园，96年被列为国家森林公园，2009年被评为AAAA级旅游景区，2013年第一山题刻被列为全国重点文物保护单位。
