殘粒園建于光緒十年（1884）左右，原為揚州姚姓鹽商所有，稱為東園，后歸姚大賚。

民國16年（1927）后歸畫家吳待秋（1878-1949）所有，吳待秋取杜甫《秋興》“紅豆啄殘鸚鵡粒”之意，改名為殘粒園。吳歿后為其子吳?木繼承。

1980年被列為蘇州古典園林修復規劃項目和保護對象。目前殘粒園屬于私人管理，暫不對外開放。

原宅園占地共約3350平方米，分中、東、西三路。中路依次為門廳、轎廳、大廳、樓廳、堂樓五進。

大廳面闊三間，上面有“春谷堂”。西路花廳“來鷺草堂”，為卷棚式旱船建筑。東路建筑南部為西式平房，是吳待秋的畫室、臥室和會客室。東路的中部花園就是殘粒園了。住宅北部原辟有較大之后園，以栽竹植果樹為主，已廢。

整個園子占地400平方米，花園僅140多平方米。園在花廳東側。由住宅經從園北側錦窠磚額洞門入園，前置湖石峰屏障，水池居中，池岸湖石疊砌，花木樹叢隨園而植。池西北墻角處疊湖石假山，中有山洞，循石階盤旋而上，有半亭名栝蒼亭，名取浙江栝蒼山。亭內有壁龕書櫥，側門西通花廳，從內宅樓層可通花園，屬蘇州園林中獨見。

園中種有榆樹、桂花、天竺、蠟梅、薜荔、廣玉蘭、爬山虎等?；◤d庭院中有湖石疊成的小天池泉眼，高出地面0.6米而終年不涸。壁間嵌有書條石5方。

殘粒園兼有蘇州園林和揚州園林的風味，在蘇州私家花園中別具一格。