其实要谈“文人画之精神”，更可上溯到两晋时期，如王廙的“画乃吾自画”和姚最的“不学为人，自娱而已”的艺术主张。
因文人画，更能体现画家独立人格的抒发，是中国画的一大进步。就官方来说，一个重要人物是宋徽宗，他设立的皇家画院不像现在的画院，他要求的是有诗情画意的画家，曾出题如“深山藏古寺”“竹锁桥边卖酒家”“踏花归去马蹄香”“野渡无人舟自横”等，要考考画家的思维，虽带有游戏性，但也给绘画增添了画外的难度。此后，不管是在朝的在野的，画中对文的重视是文人画家绕不过去的一个课题。
20世纪号召文艺须为工农兵服务，为政治服务，文人画“自娱”的优势就不能发挥了。在画上题字题不好就会被上纲上线。傅抱石、李可染等一批画家只敢在画上题毛主席诗词或“泰山顶上一青松”“芙蓉国里尽朝晖”等口号式的内容，我想他们不是不会题而是不敢题。改革开放以后，又受到西方文化的冲击，中国画形成了混乱的局面，吴冠中说：“画就是画，文字是文学的事。”一时重形式之风影响了很多年轻人。