不久，袁被罷官，從松江回到湖南，帶著幾十艘船載著書。回到長沙後，袁收拾了圖書館，但直到臨終時才準備就緒。
袁家的書是李勝鐸買的，有壹部分是曾國藩的後人曾紀綱得到的。
元在江浙做官時，不幸去世。他的妻子在東南珍本中收藏了她的丈夫袁。“長巨輪裝於湘中，故珍寶幸免，功德無量。”此後，號稱“天下第壹”的袁世凱暫時定居省會長沙。
但“全國第壹”藏書落戶長沙後，袁之子袁裕生“嫌棄舊書雅錄，合書於五樓，不曾問年”。
光緒初年，壹個巡察員到袁家去查他們家從江浙收集的《東南文學精粹》，卻看到“兩層樓自下而上擺滿了書，不是按書排的。壹步都不要動，把書庫豎著橫著放滿書，就算動了也不能全部看完，隨便翻壹翻就可以了。最惡心的人可以看到有白蟻。我覺得書蝕已經發生了。
袁家不看書，人家就來出謀劃策。袁雨生有喝酒賭博的嗜好，於是有人邀請他喝酒賭博。他欠錢後，就用書作為補償。玉笙發現了他家的書的價值。第二年，他幹脆請了壹條船，載了幾百箱書，運到武漢去賣。袁家收藏的書出來後，李勝多買了十分之壹。後來這些書被北京大學收藏，北大圖書館因收藏了湘潭袁嘉的多本善本，已被視為全國善本之壹。
袁雨生在長沙去世後，袁家在長沙更是吃不消，於是袁從省會長沙搬回湘潭老家。那時候袁家的圖書館裏還有幾個櫃子。袁家第三代對這最後的善本珍藏至深，不允許任何人進入圖書館。但是老房子年久失修，雨水灌進書櫃，很久才發現。直到農歷六月初六，袁家才發現書頁粘粘的，打不開，就把這些書都燒了。
與袁的《睡雪亭》相媲美的是方的《嶽陽書集》，精美絕倫。1898年8月，畢圖書館之孫方將畢的全部藏書從廣州海運至天津，再轉運至北京，然後在北京琉璃廠附近租房出售，“滿樓數十架”。八國聯軍進犯北京時，方棄書回湘，在北京留下了許多賣不出去的書。方回京後，幹脆將大部分藏書賣給琉璃廠舊書店的老板，許多精美的書籍流向國外。
道州何藏書散見於長沙第五代。繼何淩晗之後，何嵇紹聞名全國。何和何都是藏書家，但到何的曾孫(第五代)和何的曾孫(第四代)時，道縣的何藏書開始消失。何有個玄孫叫何啟，嗜鴉片成癮，就把何家五世的藏書賣給長沙舊書店買鴉片解癮。此人，在古玩界又被稱為“何六哈”，不僅是善本，更是名人字畫和珍貴拓片。
袁在的藏書，嶽陽的《美書集》，道縣何的藏書，都是全盛時期，尤其是前兩者，到了第二、三代就全部消失了，令人惋惜。