1、排外風潮
首先，元朝末年，泉州發生叛亂，當地的色目人互相攻殺，波及福建省的大部分地區。直至至正二十六年，這埸色目武裝集團的叛亂才被平定。這場戰亂，使泉州的社會經濟更遭受到嚴重破壞。泉州港跟亞非國家的貿易活動亦無法進行。戰亂中，本土居民對地位日高的外來者十分不滿，故此又發生了排外風潮，許多外國商賈紛紛航海離去。這埸戰亂使泉州海外交通遭到嚴重破壞，它直接導致泉州港的衰落。
2、市舶司南遷
其次，泉州市舶司遷移亦跟泉州港的衰落有著密切關系。宋元時期，統治階級重視海外貿易，泉州市舶司員的認真執行對外開放政策，積極招徠外商來華通商，加強對出入港船舶和外商的管理。因此，市舶司促進了泉州港的發展，使它成為全國最大的貿易港繼而成為世界最大的貿易港之壹。明代時市舶司隸於布政司。福建布政司設於福州，主管市舶司的官員常往福州，由於琉球貢使到福州比泉州更為方便。又因為琉球辦理朝貢和貿易的多數是福州人，乘朝貢之機，回鄉探親訪友。所以到了明成化八年，福建市舶司從泉州遷往福州，市舶司的設立，見證了泉州港的繁榮昌盛，而它的遷移則標誌著泉州港的衰落。
3、倭寇為患
此外，明代初年，由於東南沿海倭寇、海盜為患，明太祖壹方面為維持治安，壹方面想改變元代的重商政策、恢復為傳統的重農政策，實施了海禁。至清初，清政府從經濟上封銷鄭成功，下令「遷界」，強迫沿海居民內遷，規定「片板不許下水，粒米不許越疆。」明清實行上述政策，破壞了泉州的社會經濟和海外交通。所謂「靠山吃山，靠海吃海」，海上貿易是泉州人生活所依。可是，到明清時，這個國際性貿易大港卻變成私商貿易港，可見海禁政策對泉州港產生的負面的影響。
到了十五世紀，歐洲的葡萄牙、西班牙、荷蘭、意大利等國，先後發展成為殖民主義國家。他們的東侵，使東西海上貿易受到幹擾，阻礙了泉州的海外交通發展，加上倭寇對泉州地區的騷擾及破壞，泉州港遂逐步走向衰落的道路。
4、地理的變遷
最後，泉州港衰落的另壹個不可忽視的原因就是地理的變遷。由於晉江流域植被的破壞，水土流失嚴重，大量泥沙流到下流出海口，不斷淤積。泉州港是快沈積區，每年平均沈積度為四點六毫米，使泉州港失去作為優良港口的天然條件。現今泉州沿海的部分地區，想當年便是萬國旗幟飄揚的繁榮大商港。如今，港口依舊，卻風光不再。想起來，真令人唏噓不已。