他的作品被封杀，原因居然是触怒了风流宰相谢安石
庾道季诧谢公曰：“裴郎云：‘谢安谓裴郎乃可不恶，何得为复饮酒？’裴郎又云：‘谢安目支道林如九方臯之相马，略其玄黄，取其隽逸。’”谢公云：“都无此二语，裴自为此辞耳！”庾意甚不以为好，因陈东亭《经酒垆下赋》，读毕，都不下赏裁，直云：“君乃复作裴氏学！”于此《语林》遂废。今时有者，皆是先写，无复谢语。
根据南北朝时檀道鸾所著《续晋阳秋》记载，裴启的《语林》写于晋哀帝隆和年间(隆和元年为公元362年)，该书记载了魏晋时期名士们的言谈、容止和轶闻，开了志人笔记之风，比诞生于南北朝时期的《世说新语》早了半个多世纪。《语林》写成后，“大为远近所传。时流年少，无不传写……”可以算得上是当时的畅销书了。
在《语林》中，记载了谢安的一条言行，但后来被谢安矢口否认，以沉静、从容著称的谢安甚至为此大怒。事情是这样的，一天，谢安的同事庾道季拉着谢安的手说：“谢丞相，裴启说您跟他说过这样一句话：你的风神已佳，为什么还喝酒呢？裴启还说：谢安评价支遁，就好比九方臯相马，不重外表，只观风神。”谢安一听就怒了：“我从没说过这两句话，它们都是姓裴的自己编的！”庾道季一愣，随后又拿出了王珣的《经酒垆下赋》展示给谢安，后者读过未发一字评论，而是告诉庾道季：“你也要学裴启吗？”实际上，庾道季本是想告诉谢安，裴启写的也未必都是无中生有，比如在《语林》中就记载了王珣作《经酒垆下赋》之事。但没想到，谢安更加不快了。
谢安之怒，在根儿上并不是因为裴启，只能说裴启当了替罪羊。谢安之所以拿《语林》发火，事实上与王珣交恶有关。王珣是王导之孙，东晋书法家，官至尚书令，封东亭侯。他长期为桓温部下，深得信赖。桓温去世后，王又做新钻营，谢安以其弄权术而恶之。及至执政，谢安有意打压包括王珣在内的琅邪王家，并支持弟弟谢万的女儿与王珣离婚。其实，王珣没有谢安想象的那么糟糕。说到王珣善于钻营，那不过是王家于仕途上的主动进取罢了。只允许你谢家有自己的门风，不允许王家有？谢安去世时，王珣正在会稽，但还是连夜奔赴建康吊唁，却为谢安属下所阻，告诉他：“我们的老领导谢丞相，生前从来不想见您这位客人！”话说得够绝。王珣不为所动，径直走去于灵前哭吊，然后竟自出门而去。由此可见王珣并非恶人。
在《语林》中，裴启用非常欣赏的笔调记叙了王珣作《经酒垆下赋》的事，并在文后附载了该文，称其“甚有才情”。《经酒垆下赋》记叙了竹林七贤之一的王戎位居高官后经黄公酒垆，追忆年轻时与阮籍、嵇康一起喝酒的故事。也就是说王珣的这篇作品是歌颂王家先人的。而且，谢安认为王戎的此条故事也不属实，是东晋好事者虚构的(未必如此)。这所有的一切，引起了谢安的不快，遂废其书。
即使谢安真的没说过那两句话，《语林》之罪也不至于被废。而因与王家交恶，而恨见《语林》中记载《经酒垆下赋》，已是无此雅量的问题了。封杀裴启的《语林》，成为谢安一生的瑕疵。《语林》虽被废，但并未完全散失，其中很多条目直接为《世说新语》所采用，也见于他人的引文中，让我们在今天仍能得窥其貌。我很欣慰。
