相传，水口镇龙塘沙头坊有一户人家娶媳妇，设宴款待亲戚朋友。主人派一个佣人送请柬绘寺前朝阳里的张济时。张济时是一个在当地稍有名气的秀才，素来讲究礼节，但他个性幽默，喜欢讲俏皮话，有时还捉弄人家，背地里人人称他“济时老妖”。送请柬的佣人从来未见过济时伯，他来到朝阳里，恰巧济时伯在树下乘凉，便上前问道：“老伯，济时老妖住哪里？”济时听了这个佣人当面就称他“老妖”，不禁怒从心起，但强忍着火气，答道：“鄙人正是济时。”佣人将请柬递给他。济时心想，这人如此无礼，当面叫我“老妖”，我要教训他一顿。

济时想了一想，就说道：“你家老爷娶媳妇，是叫你来向我借石磨炒米的。来，跟我去把石磨托回去吧。”这个佣人没读过书，是个文盲，请柬上的字一个也不认识。听了济时的话，就去扡石磨托走了。佣人肩托几十斤重的石磨头，回到家里已累得气喘吁吁。主人见他托回一个石磨头，感到奇怪，问起原委。佣人将前后经过说了一遍，还道：“喏，济时老妖还在纸上写了几个字，叫我捎回给你看。”主人拿起一看，写道：“此人出言不善，罚托石磨二次。”此时，主人明白过来了，他说：“你了言得罪了济时先生，快把石磨托回去，向济时道歉。”佣人无奈，只好托起石磨送归济时家，还诚恳赔礼道歉。此事后来被人们当做茶余饭后的笑料，“罚托石磨”也就这样传开了。于是又有人将做重工称作“罚托石磨”。