宋亡之后，文人士大夫阶层沦为底层，在这种情况下他们只能寄情于山水，通过绘画排遣内心的孤寂，借由创作找到人生的意义。在这种背景下，虽然由少数民族统治，但在艺术创作上却达到了不差于宋人的高度。有人形容宋画和元画是中国古代绘画史中的两座高峰，双峰并峙，难分伯仲。关于元代绘画的总结最早出现在明代中期。明代早期由于对元代统治者的迁怒，在绘画方面直接承袭了宋人院体风格，而跳过了元人画风。一直到吴门画派崛起，对灵秀自由的追求成为审美主流，人们才想起来从元人绘画中汲取营养。

最早提出元四家这个称谓的是明代中期文坛领袖王世贞。王世贞和嘉靖朝文官之首张居正理念不和，一度退隐山林。在这段时间王世贞开始着书立说，研究文学与绘画。他通过对元代绘画的总结，把赵孟、吴镇、黄公望、王蒙这四位画家称为元四家，进而阐述元代绘画的古意与意趣并存的风格。

王世贞关于元四家的提法仅仅存世四十余年，就被董其昌的观点所取代。在董其昌看来元代绘画成就最高的画家有四位这一点不容置喙，但到底是哪四人他不同意王世贞的观点。于是董其昌用倪瓒取代了赵孟，形成了流传至今的元四家排名——黄公望、王蒙、吴镇、倪瓒。

董其昌的观点能够取代王世贞的说法还是由于他在文艺方面的综合成就。王世贞是文坛领袖但是在画坛没有什么建树，董其昌则不然，他在书画创作方面引领了整个时代，以一己之力对抗吴门画派，重塑画坛的主流风格。在这种背景下，董其昌的说法能够流传下来也就不足为怪了。

赵孟号称元人冠冕，元代书画第一人，他不能入选元四家全因为董其昌的私心。董其昌这个人出身并不高贵，他没有强大的靠山，他只能勤学苦读、见风使舵、打造人设。董其昌走入仕途之后，回乡归隐的时间远大于出仕为官的时间，一有风吹草动董其昌就跑回家乡。这样的人内心或多或少都有一种自卑感，需要为他自己的“逃跑”寻找一个借口，倪瓒作品中孤寂出尘的风格就成了他归隐的潜台词。董其昌大力抬高倪瓒的地位就是想表达污浊的尘世容不下高洁的他，他的脱身不是逃离而是向往自由。

因为董其昌的私心，赵孟脱离了元四家这个排行榜。其实无论什么排行榜都是后人的说法，艺术成就的高低每个人心中自有公论。