《臺州府志·名宦傳》載：“沈作賓，字賓王，歸安（今浙江吳興）人。淳熙十六年二月以承議郎知臺州。首訪民疾苦，馳鹽禁，寬祖期，均徭役，更酒政，決滯獄，五十日間，盡除前政之不便民者，邦人胥悅，而前守嫉其勝己，巧媒蘗之，罷去。民請于朝，借留不遂，為立留賢碑�！碑�?shù)匕傩諡榧o念沈作賓專門在留賢碑畔建造了一座橋，橋名“留賢橋”�！冻喑侵尽份d，西留賢橋“在縣西二十里，淳熙十六年（1189）為沈守作賓建。”后來這里居人漸多，形成了一個村莊，村以橋名。

據(jù)《畢氏宗譜》記載，過去村西有座小山名田山頭，山頭上建有一座打更報時用的樓，故村名為更樓下，后減字得名。

因村莊坐落在始豐溪、永安溪匯合為靈江之處得名。

村由浦王、渡頭葉自然村組成，各取一字。

《臺臨吳氏宗譜》記載，吳氏世家，自周泰伯受封于吳，其后代夸行公避權奸隱居臺城，轉遷臨西保成寥之浦下生聚，故名下吳。

村莊位于更樓村北邊，村民姓郭。

相傳此地舊時有十園三十六塘，村莊圍繞其中一塘名“下塘”建造。

以前南北各有河道，中間是沙墩，村莊建于沙墩上。

據(jù)《郭氏宗譜》載，唐玄宗時，刺史郭肇基從太原汾陽遷至浙江金華，其第六兄弟又遷至臨海更樓上郭，后分支到白毛大山郭，再分支到小嶺下，最后分支到該地，故名后郭村。

《臨�？h志稿》載為羊肚。后群眾認為此名不雅，遂以諧音稱作楊杜。

村莊處于始豐溪西岸，過去長滿辣蓼草。

在一片墳莊前面，故名莊前，后改稱坊前。

因村莊為四村合并而成，名四村，后因重名更名為新四村。

因村邊有江溪流過，村以溪名。

村地處山岙，曾有潘姓人始居。