1892年，林祥谦出生在福建省福州市南郊闽侯县的一个贫农家庭。1912年，林祥谦进入京汉铁路江岸机车车辆厂当钳工，1913年转到工务修配厂当铁路工人。当时，京汉铁路是连接华北和华中的交通命脉，有重要的经济、政治和军事意义，铁路运营收入是军阀吴佩孚军饷的主要来源之一。

1921年中国共产党诞生后，在工人中进行广泛而通俗的马克思列宁主义宣传教育。在这段时间里，林祥谦逐步接触到进步思想，开始走上革命道路。不久，他担任京汉铁路江岸工人俱乐部干部，并于1922年光荣地加入了中国共产党，被推选为京汉铁路总工会江汉分会委员长，领导铁路工人与帝国主义、封建军阀进行坚决斗争。

1923年1月，中国共产党领导下的京汉铁路总工会筹备会决定在郑州召开成立大会。当天，参加会议的工人代表不顾生死，冲破反动军警的重重包围，高呼“京汉铁路总工会万岁”“劳动阶级胜利万岁”等口号，宣布京汉铁路总工会成立，并决定自2月4日起举行全路总罢工。

2月4日，京汉铁路2万多名工人举行大罢工，1200公里长的铁路顿时瘫痪，总工会对外发表宣言，并提出了维护工人权益的五个条件。大罢工引起了帝国主义和反动军阀的恐慌。在帝国主义的支持下，吴佩孚调集两万多名军警在京汉铁路沿线残酷镇压罢工工人，制造了震惊中外的“二七惨案”。

2月7日，林祥谦不幸被反动军阀、湖北省督军府参谋长张厚生逮捕，捆绑在江岸车站的电线杆上。军阀用刀砍向林祥谦，逼他下令复工。在屠刀面前，林祥谦坚贞不屈、视死如归，断然拒绝复工，献出了年仅31岁的生命。

1928年，党组织派人帮助林祥谦烈士的妻子陈桂贞运送烈士棺木回到家乡，草草掩埋在闽侯县枕峰山下。

中华人民共和国成立后，为了纪念林祥谦烈士的丰功伟绩，党和政府决定在烈士的家乡枕峰山西麓建造陵园。1963年年初，陵园完工并对外开放。

站在覆鼎形的烈士墓前，花岗石砌筑的照壁式墓碑上镌刻着郭沫若手书“二七烈士林祥谦之墓”。微风呜咽，英雄沉睡在壮阔山河之中。清明节已过，依然不时有群众前来祭扫烈士墓，敬献洁白的雏菊。