張九義升任布政司元老院後不久，就因流言蜚語而辭職。他在家鄉的紅河畔建起了“綠波樓”，藏書千萬冊。他經常和他的堂兄曹亨談論過去和現在，曹亨是南京工業部的高級部長，他辭去了他的職務，回到了家鄉。
張九義家世十年，復任涼州副使。剛上任，就遇到莊浪兵變。張九義奉命分兵擊之，荀被平定。因為工作，所以提拔士兵，準備副使節。輪換甘州(今甘肅張掖)，以恩威遏制安達之罪，提升參政權，密雲為判官，轉權山西。萬歷十壹年，張九義升任寧夏都察院右都督。當地饑餓時，饑腸轆轆，道路壹片荒涼。他到達地方後，從大陸收集了兩萬五千塊石頭來幫助災民。後來，各地的官員和百姓奉命開渠造橋，挖河修堰，以防水旱災害；並且招募難民，開墾荒地，修建城堡，囤積軍事資產，壹壹上報朝廷。它還在武星建立了城堡和許多營地，連續數百英裏，使敵人不敢再騷擾邊境。朝廷賞賜黃金、絲綢和連續勞役。但由於朝廷內部的派系鬥爭，他沒有得到重用，反而在萬歷十四年(1586)二月，以莫須有的入黨之罪，被不公正地罷官。新建議後，張九義於次年復職為貴州巡撫，但不必如此。張九義很生氣，決定再次回國。