1860年,清漪园遭到英法联军的野蛮焚掠,除了一块乾隆皇帝御题的石碑外,耕织图景区荡然无存。据1864年陈设清册推断,建筑仅残余澄鲜堂、络丝房、织机房三处,其余皆毁。1886年慈禧修颐和园时,海军衙门为使挪用海军经费堂而皇之,在耕织图景区废墟上修建昆明湖水操学堂,其中内学堂建房119间,外学堂103间。1887年“耕织图”改为“水操内学堂”。1891年昆明湖周围增设大墙,耕织图景区被分隔在园外。1925年耕织图出租给香山慈幼院二分校使用,1938年6月归还颐和园管理。1945年出租给迦南孤儿院使用,1948年北平解放时由中央军委总参三部接管。1951年后耕织图由“劳动大学”使用,档案中有“该院有房156间,为劳大使用”的记载。1958年总参三部在耕织图区域建设前哨造纸厂和海淀区三利机械厂两家生产企业,除留存古建一百三十多间外,又添建了厂房、锅炉房和家属宿舍等。造纸厂的造纸污水排入昆明湖中造成湖水污染,曾造成池鱼死亡事件。
20世纪70-90年代耕织图周边泉水日渐稀少,园外周边的稻作生产逐渐退出,玉泉山下昆明湖畔的千顷水田湿地也相继消失,大量的土地被改为苗圃和园林绿化带。核心景区上的河道湖沼被填塞怠尽,景区建筑除了耕织图石碑外全都隐没在历史的尘埃之下,厂房、花房、锅炉房、宿舍、仓库和垃圾场挤满了景区的土地,用于取暖做饭的明火、老化的线路、供气的煤气库成为颐和园西部最大的安全隐患,烟囱和杂乱的房屋破坏了颐和园西部的借景空间,耕织图赖以借景的周边人文环境消亡怠尽,江南田园景观不复存在。
1998年联合国教科文组织国际古迹遗址理事会主席罗兰?席尔瓦考察颐和园申报世界文化遗产工作,为保持颐和园的完整性,在上级各部门的大力支持下,把握部队企业转交地方的契机,1998年年底颐和园管理处收回耕织图旧址。1999年颐和园派人进驻耕织图,协助原职工管理两厂。2001年2月耕织图两家企业正式宣布停产,3月1日颐和园管理处完成所有91名在职职工和123名离退休员工的转岗分流工作,搬迁居民住户143户,拆迁厂房、住宅、园艺温室等各类建筑超过22000平方米。颐和园在统一了对该区域的管理和使用权后,着手进行景区治理方案的可行性研究,经多方专家论证,将其定位为“耕织图景区环境整治工程”,并正式立项。规划后的耕织图景区南起颐和园团城湖北岸,东临玉带桥至界湖桥一线,西北以颐和园外围大墙为界,整个景区占地154190平方米,其中修缮水操学堂古建筑1680平方米,复建延赏斋、蚕神庙、澄鲜堂等清漪园时期建筑800平方米。疏浚、扩修水面80000平方米,栽植各类造景植物75000余株,良好的展现了乾隆时期“耕织图”的意境和内涵。2004年9月,历时四年的耕织图景区整治工程圆满结束,消逝了140多年的耕织图景区以桑柳夹岸、烟波浩淼的江南水乡风貌重获新生,耕织图景区正式对游客开放,每年游客数量达到40余万人。