楚顷襄王是战国时期
楚国的国君，他一直沉迷于享乐，大臣
庄辛因此十分忧虑，便前去劝谏说：“大王，您经常和州侯、夏侯、鄢陵君、寿陵君他们在一起，他们都是一些贪图享乐的人。如果大王再不好好治理国政，恐怕楚国就要亡国了。”
楚顷襄王听了不以为意地说：“我看你是老糊涂了吧！现在
天下太平，楚国怎么会亡国呢？”庄辛说：“我当然是看到了事情的后果，才敢这样说的。如果大王继续宠幸这四个人，楚国一定会灭亡的。如果大王不信，请让我先到赵国避一段时间，看看事情会如何发展。”楚顷襄王同意了。
庄辛在赵国只待了五个月，
秦国就发兵攻打楚国，一举攻占了楚国国都
郢都。楚顷襄王连忙逃走，流亡到了城阳。这时他才想起庄辛的话，心里十分后悔，赶紧派人去赵国把庄辛请了回来，说：“我当初不应该不听先生的话，现在事情已经发展到这个地步，我该怎么办呢？”
然而，在后世流传的过程中，人们又逐渐丰富了这个成语的相关故事。从前有个养羊的人，一天早上他放羊时发现羊圈破了个窟窿，夜里狼从窟窿里钻进来，叼走了一只羊。邻居劝这个人：“赶快把羊圈修一修吧！”这个人却说：“羊都丢了，还修羊圈干什么？”
而羊丢失了，才想得起补羊圈，及时弥补损失。在生活中，犯了错误，遭遇挫折，这是正常现象。只要能认真吸取教育，及时采取措施。就可以避免继续犯更大的错误，遭受更大的损失。
宋·
陆游《秋兴》诗五首之三：“惩羹吹齑岂其非，亡羊补牢理所宜。”
明·
沈德符《
万历野获编·卷一二·徐州》：“要之是举必当亟行。若遇有事更张，不免亡羊补牢矣。”