大宋仁宗年间，江南平江府东门外长乐村中个老者，姓秋，名先，原是农家出身，有数亩田地，一所草房。妻子水氏已故，别无儿女。那秋先从幼酷好栽花种果，把田业都撇弃了，专于其事。若偶觅得种异花，就是拾到珍宝，也没有这般欢喜。或遇见卖花的，有株好花，不论身边有钱没钱，一定要买。日积月累，便建成了一个大花园。
秋先每日清晨起来，扫净花底落叶，汲水逐一灌溉。到晚上又浇一番。若有一花将开，不胜欢跃。或暖壶酒儿，或烹杯茶儿，向花深深作揖，先行浇奠，口称花万岁三声，然后坐于其下，浅斟细嚼。酒酣兴到，随意歌啸。身子倦时，就以石为枕，卧在根旁。自含苞至盛开，未尝暂离。如见日色烘烈，乃把棕拂蘸水沃之。遇着月夜，便连宵不寐。倘值狂风暴雨，即披蓑顶笠，周行花间巡看几次。秋先平昔最恨的是攀枝折朵。生平不折一枝，不伤一蕊。就是别人家园上，他心爱着那一种花儿，宁可终日看玩。假使那花主人要取一枝一朵来赠他，他连称罪过，决然不要。若有旁人要来折花者，只除他不看见罢了，他若见时，就拿言语再三劝止。人若不从其言，他情愿低头下拜，代花乞命。人虽叫他是花痴，多有可怜他一片诚心，因而住手者他又深深作揖称谢。又有小厮们要折花卖钱的，他便将钱与之，不教折损。或他不在时，被人折损，他来见有损处，心凄然伤感，取泥封之，谓之医花。为这件上，所以自己园中不轻易放人游玩。偶有亲戚邻友要看，难以回时，先将薄话讲过，才放进去。那老者因得了花中之趣，自少至老，五十余年，略无倦意。筋骨愈觉强健。粗衣淡饭，悠悠自得。有得赢余，就把来周济村中贫乏。自此合村无不敬仰，又呼为秋公。他自称为灌园叟。
话分两头。却说城中有一人姓张，名委，原是个宦家子弟，为了奸狡诡谲，残忍刻薄，恃了势力，专一欺邻吓舍，损害良善触着他的，风波立至，必要弄得那人破家荡产，方才罢手。手下用一班如狼似虎的奴仆，又有几个助恶的无赖子弟，日夜合做一块，到处闯祸生灾，受其害者无数。不想却遇了一个又似他的，轻轻捉去，打得个臭死。及至告到官司，又被那人弄了些手脚，反问输了。因收了幌子，自觉无颜，带了四五个家人，同那一班恶少，暂在庄上遣闷。那庄正在长乐村中，离秋公家不远。
一日早饭后，吃得半酣光景，向村中闲走，不觉来到秋公门前。只见篱上花枝鲜媚，四周树木繁翳，齐道：这所在倒也幽雅，是那家的？家人道：此是种花秋公园上，有名叫做花痴。张委道：我常闻得说庄边有什么秋老儿，种得异样好花，原来就住在此。我们何不进去看？家人道：这老儿有些古怪，不许人看的。张委道：别人或是不肯，难道我也是这般？快去敲门！那时园中牡丹盛开，秋公刚刚浇灌完了，正将着一壶酒儿，两碟果品，在花下独酌，自取其乐。饮不上三杯，只听得砰砰的敲门响，放下酒杯，走出来开门一看，见站着五六个人，酒气直冲。秋公料道必是要看花的，便拦住门口道：列位有甚事到此？张委道：你这老儿不认得人么？我乃城里有名的张衙内。那边张家庄，便是我家的，闻得你园中好花甚多，特来游玩。秋公道：告衙内，老汉也没种甚好花，不过是桃杏之类，都已谢了，如今并没别样花卉。张委睁起双眼道：这老儿恁般可恶！看看花儿，打甚紧，却便回我没有！难道吃了你的？秋公道：不是老汉说谎，果然没有。张委哪里肯听，向前叉开手，当胸一拳，秋公站立不牢，踉踉跄跄，直闪开半边。众人一起拥进。秋公见势头凶恶，只得让他进去，把篱门掩上，随着进来，向花下取过酒果，站在旁边。众人看那四边花草甚多，惟有牡丹最盛。那花不是寻常玉楼春之类，乃五种有名异品。那五种？黄楼子，绿蝴蝶，西瓜瓤，舞青猊，大红狮头。
那花正种在草堂对面，周围以湖石拦之，四边竖个木架子，上覆布幔，遮蔽日色。花木高有丈许，最低亦有六七尺。其花大如丹盘，五色灿烂，光华夺目。众人齐赞好花，张委便踏上湖石去嗅那香气。秋先极怪的是这节，乃道：衙内站远些看，莫要上去。张委恼恕他不容进来，心下正要寻事，又听了这话，喝道：你那老儿住在我这庄边，难道不晓得张衙内名头么？有恁样好花，故意回说没有。不计较就够了，还要多言！哪见得闻一闻就坏了花？你便这般说，我偏要闻！遂把花逐朵攀下来，一个鼻子凑在花上去嗅。那秋老在旁，气得敢怒而不敢言。也还道略看一会就去，谁知这厮故意卖弄道：有恁样好花，如何空过？须把酒来赏玩。分咐家人快取。秋公见要取酒来赏，更加烦恼，向前道：所在蜗窄，没有坐处。衙内只看看花儿，酒还到贵 庄上去吃。张委指着地上道：这地下尽好坐。秋公道：地上龌龊，衙内如何坐得?张委道：不打紧，少不得有毡条遮衬。不一时，酒肴取来，铺下毡条。从人团团围坐，猜拳行令，大呼小叫，十分得意。只有秋公骨笃了嘴，坐在一边。
那张委看见花木茂盛，就起了不良之念，思想要吞占他的。斜着醉眼，向秋公道：看你这蠢老儿不出，倒会种花，却也可取，赏你一杯。秋公哪里有好气答他，气愤愤地道：老汉天性不会饮酒，不敢从命。张委又道：你这园可卖么? 秋公见口声来得不好，老大惊讶，答道：这园是老汉的性命，如何舍得卖! 张委道：什么性命不性命，卖与我罢了。你若没去处，一发连身归在我家，又不要做别事，单单替我种些花木，可不好么?众人齐道：你这老儿好造化， 难得衙内恁般看顾，还不快些谢恩!秋公看见逐步欺负上来，一发气得手足麻软，也不去睬他。张委道：这老儿可恶!肯不肯，如何不答应我?秋公道：说过不卖了，怎的只管问? 张委道：放屁!你若再说句不卖，就写贴儿送到县上去!
秋公气不过，欲要抢白几句，又想一想，他是有势力的人，却又醉了，怎与他一般样见识?且哄了去再说。忍着气答道：衙内纵要买，必须从容一日， 岂是一时急骤的事?众人道：这话也说得是。就在明日罢。
此时都已烂醉，齐立起身。家人收拾家伙先去。秋公恐怕折花，预先在花边防护。那张委真个走向前，便要踹上湖石去采。秋先扯住道：衙内，这花虽是微物，但一年间不知费多少工夫，才开得这几朵。假使折损了，深为可惜。况折去不过二三日就谢了，何苦作这样罪过？张委喝道：胡说！有甚罪过？你明日卖了，便是我家之物，就都折尽，与你干！把手去推开。秋公揪住，死也不放，道：衙内便杀了老汉，这花决不与你摘的！众人道：你这老儿其实可恶！衙内采朵花儿，值什么大事，装出许多模样！难道怕你就不摘了？遂齐走上前乱摘，把那老儿急得叫屈连天，舍了张委，拼命去拦阻，扯了东边，顾不得西首，顷刻间摘下许多。秋公心疼肉痛，骂道：这般贼男女，无事登门，将我欺负，要这性命何用？赶向张委身边，撞个满怀，去的势猛，张委又多了几杯酒，立脚不住翻筋斗跌倒。众人都道：不好了，衙内打坏也！齐将花撇下，便赶过来要打秋公。内中有一个老成些的，见秋公年纪已老，恐打出事来，劝住众人，扶起张委。张委因跌了这交，心中转恼，赶上前打个只蕊不留，撇作遍地；意犹未足，又向花中践踏一回。