自明代，小榄民间就流传着一首描述当地景色的顺口溜： 五松六路三岔水， 一洞梅花十二桥， 岁岁黄花看不尽， 诗坛酌酒赏花村。 明万历年间，小榄出了一位进士——何吾驺，在朝为官数十载，历任吏礼兵三部尚书、东阁大学士、首辅等职。崇祯八年（1635年），何吾驺谢政归里，在这秀丽之地开辟了一处“翁陔园”，这是小榄人民公园最初的样子。
民国34年（1945年）9月，榄山公园在翁陔园的基础上兴建，还囊括了祥亭何公祠、南泽何公祠和鸣高里一带民宅地。规模不算大，最初只有一座中心亭、几排石凳和一片树木，中心园池有“童子拜观音”雕塑，后改为了“自由女神”像。民国37年（1948年），旅港同胞卢林捐建首座头门，前刻“榄山公园，卢林捐建”字样，背镶“映彼高岗”四字。
1950年，吴锦邦捐赠圆石抬凳一套五件，放置在中心亭内。亭前安放一对白石狮子，由卢氏乐谦祠捐送。“自由女神”塑像改为“和平鸽”（后又依次改为五星花坛、“哪吒闹海”陶塑、菊花仙子）。1954年，“四类分子”劳动改造，在公园大门口至中心亭两旁，铺砌了50米长的石路（后改成水泥路），名为“自新路”。 1958年，因修筑公路，公园原有的头门被拆掉，后移5米重新建造了牌坊一座，改名“人民公园”。随后，凤山（即榄山）东麓一带的荒地和何氏内阁大宗祠、内阁本房祠、大学土祠等地也划入人民公园，并陆续增建了茶圃、篮球场、龟池和供小童玩耍的滑梯等。
为纪念第二次国共内战时期“四·一二”事件及珠江纵队第一支队三、九区的革命烈士，1959年10月1日，人民公园内建成“小榄革命烈士纪念碑”。纪念碑高12.5米，碑后是烈士之墓，安放了59具烈士遗骨，面积约400平方米。2009年，小榄革命烈士纪念碑被列为第五批中山市文物保护单位。
小榄人喜爱种菊，由来已久。他们熟谙菊性，擅于栽培，技艺精湛，家家户户都精心培育有风格独特的盆菊，互相交流观赏。清乾隆元年(1736)，小榄开始有“赛菊”之举，形式厥名“菊试”。后来规模慢慢扩大，发展为“菊花大会”，并有60年举行一次盛大“甲戌”菊花会的乡俗习惯。自2001年始，小榄菊花会每年举办一次，成为中山人期盼的盛典。人民公园的“前世今生”都是菊花会的重要举办地。乾隆五年（1740）的第二次“菊试”赛场，便设在何氏大学士祠举行，属于现在人民公园的一部分，之后清代民国的三次甲戌菊花会亦是如此。建国后的历次菊花，人民公园也都是重要的分会场。现在说起菊花会，大家也会很自然地想到去人民公园观赏。
2003年，小榄首届菊花文化艺术节在人民公园内举行，图为当时的小榄革命烈士纪念碑。（市档案馆藏） 2003年，小榄首届菊花文化艺术节展出区人民公园的正门。（市档案馆藏） 人民公园也是小榄文化的聚集地，里面有小榄文艺大楼，包括小榄曲艺协会、小榄摄影协会、小榄印社、小榄书法协会等；还有著名漫画家廖冰兄亲笔题的小榄艺术展馆，许多书画名家在此举办展览；另外还有小榄图书馆阅览室等等。前些年，小榄人民公园再次更名为“凤山公园”。无论是何称呼，它都是小榄的一个重要标志，承载着一代又一代小榄人的岁月记忆。
| 
