距離杭州市中心30多公里處的邊郊地區，名叫富陽。富陽過境有富春江。1347年，78歲的占卜佬黃公望開始在這里潑墨繪制《富春山居圖》。據說畫了將近7年，完成此畫后不久便駕鶴西去。

《富春山居圖》以長卷的形式，描繪了富春江兩岸初秋的秀麗景色，峰巒疊翠、松石挺秀、云山煙樹、沙汀村舍，布局疏密有致，變幻無窮，以清潤的筆墨、簡遠的意境，把浩渺連綿的江南山水表現得淋漓盡致，達到了“山川渾厚，草木華滋”的境界。

黃公望與同時代的王蒙、倪瓚、吳鎮交往密切，詩畫互贈，常以合作山水畫為樂。他們創造了自己的獨特繪畫風格，并致力于意境章法及詩文與繪畫的有機結合，共同把中國文人畫推進到嶄新境地，因此被譽作“元四家”。而黃公望尤以卓越的成就最受推崇，對后世畫壇產生巨大影響，被稱為“元四家之首”，《富春山居圖》作為其代表作，被視作文人畫的典范。

黃公望本姓陸，6歲時被過繼給一90歲黃姓老翁，因“黃公望子久矣”而得名黃公望，字子久，晚年取號一峰，“大癡道人”。其前半生為吏卻被牽連入獄，出獄后寄情山水，50多歲才開始習畫，憑借人生況味冷暖感受良多和天生悟性，黃公望書畫才情在晚年時流露出耀人光彩。與之形成鮮明對照的是其清苦的生活，靠卜卦維生。據載，周遭農人、漁民看到他經常住在山洞、泉水邊，經常用瓦盆喝酒，經常沒有由來地狂笑。他的大笑在旁人聽來如仙人的聲音，八十多歲還是一副“童子臉”。

其人癡癲，其畫淡雅，謂畫者傳奇。而被稱作“畫中蘭亭”的《富春山居圖》也如《蘭亭序》一般，命運多舛。

《富春山居圖》畫成后便贈與同門師友鄭樗(無用師)。明成化年間沈周藏此圖，請人在此圖上題字，卻被兒子將畫藏匿。后來此圖在市上高價出售，沈周無力購買，憑借記憶遂背臨一卷以慰情思。之后又經樊舜、談志伊、董其昌、吳正志之手。明末收藏此畫的吳洪裕深愛此畫，臨死前囑家人焚其陪葬。在畫卷被投入火中后，吳老爺閉眼，全家婦孺撲上痛哭之際，一旁的侄子吳子文箭步上前迅疾將畫卷揀出，拍滅燃火，并抄起一替代品投入火盆。

被燒后的畫卷斷成兩段。短的約占原畫的八分之一弱，上有一山一水一丘一壑，構圖亦獨立完整，自成一畫，稱“剩山圖”。長的約占八分之七弱，保留了原畫的大部分內容，從中可見原畫之風雅玄妙，稱《富春山居圖·無用師卷》。在無用師卷和剩山圖的邊緣各有一半印章，合在一起是“吳之矩”，就是燒化之人吳洪裕的父親。研究者猜測，吳家將燒斷的兩幅畫合在一起，蓋了吳之矩的騎縫章，這一枚印章，成為日后兩畫相認的憑據。

其后兩段畫作命運迥異。《剩山圖》流落民間，長年無蹤。而《無用師卷》在乾隆年間登堂入室，但因乾隆皇帝早先拿到仿本而認贗為真，《無用師卷》被埋沒在乾清宮西暖閣中。

20世紀40年代中國內戰爆發，國民黨政府派遣專家鑒別篩選，將《無用師卷》與其他50多萬件(包括檔案)故宮文物一起帶往臺灣。《剩山圖》則在民間流轉數載后，被集繪畫、鑒賞、收藏于一身的顯赫人物吳湖帆識得。據說吳湖帆當時正在南京路剃頭，頭剃了一半，聽說此畫，便抓著賣畫人之手，傾家蕩產十萬大洋買下。1956年，在浙江省文物管理委員會兼職的沙孟海先生經過反復勸說，花了三五千元，從吳湖帆處征集到了《富春山居圖》(剩山圖)，后轉為浙江省博物館收藏。