林散之暮年患脑动脉及全身主动脉硬化，多次住院疗养，每当稍有好转，他便吟诗或作书、作画。

　　1988年91岁时，他向故乡江浦县捐献历年书法精品170件、画四十幅及所藏古砚两方，江浦县为建书画陈列馆于求雨山。

　　1989年7月病重。10月，病情进一步恶化。他自知命数将尽，一天上午起床后突要纸笔，写下“生天成佛”四字。至12月6日，与世长辞，终年92岁。

　　林散之先生为何会葬在采石矶呢?一是林散之先生终身钦慕李白的人品和才艺。1982年清明节，林先生曾为迟逝的盛夫人题写过一篇墓记：“翠螺山色阳晴变，扬女潮声近近连;身后一杯平静土，共君永此傍青莲。”(翠螺山即采石矶，李白为青莲居士)。把墓地选正在太白楼之侧，取诗仙为邻，诗书两绝，成万世嘉话;二是林散之本籍为安徽和县乌江，出生于南京江浦乌江(此乌江即项羽自刎处，两个乌江虽分隔两省，其实只相距13公里)，取采石矶隔长江工具相望。林散之生前曾十数次登临采石矶，寻访前人遗址，面临滚滚长江，遥望家乡，写生做画，抒情赋诗，情无所系。采石矶正在林先生心外属其家乡范围。