祠堂位於東北至西南方向。占地面積約1876平方米。建築面積458平方米，前面是壹個半圓形的水池和壹個寬闊的球場，球場用鵝卵石鋪成。山墻用磚砌，裙邊用安蘇面石，下面放草紋矽腳石。開間是雙面門，門兩邊青磚形成格子圖案，上面做了石雕窗花和石柵欄窗。門前有壹對鼓石，上面有人物、動物和花卉的浮雕。門楣上方寫著“楊氏宗祠”，兩側各有壹件鑲有“乾隆龍鳳”的景德鎮彩瓷。內墻抹灰。主樓寬三間，大門外觀如六柱三層牌樓。第二間和略間，幾何連續花紋青磚砌成，青石虎妞窗，青石高浮雕螺旋門鼓，裏面是三開間門廳，入口很深。六角石柱，四條檁條，卷棚屋頂，天井花崗巖板。前廳深入兩個房間；正廳深入三個房間。前堂九檁，正殿十五檁，二房三梁；水廊五檁；梁間雕有花草紋和香草龍紋，梁上留有彩畫，五顏六色，裝飾復雜。正殿的金柱都是用木柱連接的花崗巖石柱，石柱基礎放在下面；柱子雕刻精美，有雕鳥紋的方形柱子，有浮雕雜寶獸紋的八角形柱子，有腰平面瓜形圓柱。梁架為跨鬥吊梁混合型，梁為月亮梁，拱為肥梁拱，坐鬥有花籃鬥，瓜鬥為荷花方雕鬥，方鬥開海棠線，為梅花鬥；前殿和正殿的內外檐都用鬥拱裝飾。祠堂屋頂的隔板瓦，飛檐高，挑檐深，升降曲線柔和；主脊為燕尾脊，主脊用花、草脊遮擋，工藝也細膩。天井鋪花崗巖條，室內地面鋪八角菱形紅磚和方形紅磚。正殿庭院兩側由廊坊相連。祠堂的前廳是鋪的，正殿是用方形紅磚鋪的。寺內還有清乾隆年間重修的碑刻。
楊祖上讀三公，明朝洪武年間(約1390)從福建寧化縣石壁村來到這裏。以為是福地，所以蓋了房子。明嘉靖年間，重修為“福山寺”。清雍正年間(1728)，擴建命名為“追來殿”。清乾隆年間(1742)將門樓加高，變為三落、長降、雙龍、奪珠，為兩落、壹天井、兩廂、前堤、半圓池、後花臺、半圓圍。護舷左右兩側有兩個小的四邊形堤岸。太平天國後期，前殿和正殿毀於大火，只有門樓幸存。清光緒年間(約1880)，楊的祖先按原樣重建了前殿和正殿。
追來堂是廣東省雲霄縣、潮陽縣、饒平縣及臺灣省臺北、高雄、臺中、屏東、雲林、臺南等地的平和九峰鎮、長樂鄉、七嶺鄉、下河鄉及楊後裔的大型祠堂，與閩臺淵源頗深。
“追遠堂是兩岸楊氏宗祠之壹，也是兩岸血緣關系的重要見證。”鄭陽說，有成千上萬的追來堂後裔被送到了臺灣省。兩岸三通後，臺灣省楊氏宗親紛紛回鄉祭祖。因此，文物部門將對追來堂進行保護和修繕，以吸引更多的臺灣同胞回鄉尋根。
據史料記載，明朝洪武年間，楊厝坪的創始人楊從福建寧化縣遷居平和，定居九峰鎮楊厝坪。他的房子叫“浮山公館”。明嘉靖年間，楊的後代楊氏建造了楊氏宗祠，原名“浮山祠”。清雍正六年，在孫若主持下，祠堂擴建至現有建築規模，命名為“追來堂”。乾隆七年後，祠堂門樓升級改造成現在的樣子。