东汉以后，三家诗逐渐衰微，《毛诗》日盛，独尊天下，直至唐代人们皆依《诗序》解说诗义。
唐末成伯玙《毛诗指说》判定《小序》非一人之作后，启示后来学者敢于对《小序》首句之后的部分提出怀疑和指摘。到了宋代，疑古思辨之风兴起，并受诗歌创作与理论的影响，很多学者从涵咏《诗经》本文入手做进一步研究，发现《诗序》对诗义的解释，大多是牵强附会，不合诗人的本意。
因而掀起废序之风，重新解释诗义。
北宋的欧阳修和苏辙始疑《诗序》，欧阳修《诗本义》云：“后之学者，因迹前世之所传，而较其得失，或有之矣。若使徒抱焚余残脱之经怅怅然，于去圣千百年后，不见先儒中间之说，而欲特立一家之学者，果有能哉?吾未之信也。”苏辙《诗集传》则主张“存其一言”，“尽去其余”。南宋郑樵则明确提出废序，着《诗辨妄》六卷猛烈批驳《诗序》之谬误。王质《诗总闻》则“去序言诗”。朱熹初本毛郑，后受郑樵、王质的影响也主张废序，他说：“《小序》大无义理，皆是后人杜撰，多就《诗》中诗采摭言语，更不能发明《诗》之大旨，才见有‘汉之广矣’之句，便以为‘德广所及’；《行苇》之序，但见‘牛羊勿践’，便谓‘仁及草木’；但见‘戚戚兄弟’，便以为‘亲睦九族’；见‘黄耈台背’，便谓‘养老’；见‘以祈黄耈’，便谓‘乞言’；见‘介尔景福’，便谓‘成其福禄’。随文生义，无复论理。
”(《诗序辨说》)又说：“《诗序》实不足信，大率古人作诗，与今人作诗一般，其间亦自有感物道情，吟咏性情，几时尽是讥刺他人?只缘序者之例，篇篇要作美刺说，将诗人意思尽穿凿坏了。”(《朱子语类》)又说《诗序》“不知其时者，必强以为某王某公之时；不知其人者，必强以为某甲某乙之事。于是傅会书史，依托名谥，凿空妄语，以诳后人。”(《诗序辨说》)夏传才先生将朱熹所言《诗序》害处概括为三：一为后人杜撰，妄诞其说；二为乱诗本意，使人难解；三为有害于温柔敦厚之诗教。(《〈诗经〉研究史概要》)朱熹着《诗集传》便废序不录。朱熹是南宋儒学大师，地位尊崇，其说影响极大，使《诗序》的权威性产生动摇。
宋代有一些学者，如吕祖谦、陈傅良、叶适等则主张存序。吕祖谦说：“学诗而不求《序》，犹欲入室而不由户也。”(《吕氏家塾读诗记》)元人马端临对《诗序》考辨最为详尽，他说：“至于读《国风》诸篇，而后知《诗》之不可无序。盖风之为体，比兴之辞，多于叙述，风之谕意，浮于指斥，盖有反复咏叹，而无一言叙作之意者，而序者乃一言以蔽之曰：为某事也。苟非其传传授之有源，探索之无舛，则孰能臆料当时指意之所归，以示千载乎?夫《芣苢》之序，以妇人乐有子为后妃之美也，而其诗语，不过形容采掇茉苢之情状而已；《黍离》之序，以为闵周室宗庙之颠覆也，而其诗语，不过慨叹禾黍之苗穗而已。若舍序以求之，则其所以采掇者为何者，而慨叹者为何说乎?”(《文献通考·经籍考》)自宋之后，便形成存序、废序两大派，在经学时代，两派难分高下。主张废序派，仍旧是把《诗经》当作经书来解说，仍旧避免不了穿凿附会，并没有什么本质的变化。现代废序派居于绝对主导地位，主张存序的学者愈来愈少了。
张西堂先生列举了《毛诗序》十大谬妄：一曰杂取传记，二曰叠见重复，三曰随文生义，四曰附径为说，五曰更解诗意，六曰不合情理，七曰妄生美刺，八曰自相矛盾，九曰附会书史，十曰误解传记。(详见《诗经六论》)郑振铎说：“在这种重重叠叠，盖在《诗经》上面的注疏的瓦砾里，《毛诗序》算是一堆最沉重，最难扫除，而又必须最先扫除的瓦砾。”(《古史辨》第三册下编)我们以为不能一概而论，全盘否定。《诗大序》论述了诗歌的特征、内容、分类、表现方法和社会作用等，是先秦儒家诗论的总结，具有极高的学术价值。《雅》《颂》多直言其事，诗意显豁，《诗小序》所言也多合篇旨，不可尽去；《国风》部分多用比兴，诗义隐晦，《诗序》所言多为臆断，然也含有与诗意相合者，如《卫风·载驰》等，故不可言存俱存，言去尽去。要实事求是，具体问题具体分析，合于诗者则存，不合诗者则废，难以定夺者则暂时阙疑。