張故居建成後,只在這裏住了幾年。自辛亥革命後,張世明隨家人遷至上海中央租界區無錫南路162號,只有母親桂太夫人在南潯居住,直至1922去世。從那以後基本就空了。2001,南潯張舊居建築群被國務院列為第五批全國重點文物保護單位。
1925年8月,張世明在上海被歹徒綁架了十多天,家人只有在綁匪的要求下送來巨款才得以獲救,但他的肩膀上留下了槍傷。但此後,張世明壹直情緒低落,患有心臟病和中風,於1927年底去世,享年56歲。