俞氏宗祠坐落于富春江镇俞赵村，坐北朝南，占地面积527平方米。五间二进，双坡硬山顶，阴阳合瓦。一进地面低于二进0.43米，面宽17米，进深33米。门厅为七檩，明间无法判断，天井两侧过廊二柱四檩。建筑门厅楼上牛腿等木雕刻精美。今之宗祠为民国间重修，但其前后进的风格有所不同，第二进保留了一些明代建筑的构件与风格。粗大的立柱、磉磴磉板、肥厚的月梁是明代的遗物，整个二进显得简洁、稳重，自有一种威严。而重修后的一进，则是清代和民国间的风格，梁架略显单薄，讲究雕刻装饰。一进明间设一戏台，大门为排式大门，置前檐廊，廊顶为卷棚顶，6支檐柱上人物古诗牛腿保存完好。
俞氏宗祠的建造，据说与历史上的明朝大臣俞都堂有关。
俞都堂名俞谏（1455—1524），孝泉乡（今富春江镇俞赵村）人。他自幼聪颖，刻苦好学，博览群书，贯通经史。明弘治三年（1490）登进士，授山东长清知县。吏部考评，誉为“东藩第一令”。不久升任南京监察御史、河南佥事、广东副使、大理少卿、右佥都御史、右副都御史、右都御史等职；嘉靖二年（1523）执掌总都察院事，诏赠太子太保。俞谏为官20余年，由七品知县跃居一品高位，可谓仕途亨通。然而，他在任上时，正值皇帝昏庸、臣官刘谨擅权、朝政日非之时，天下流民四起造反，俞谏站在尊王忠君的立场上，南北剿抚，为大明王朝立下了汗马功劳。《两浙名贤录》称：“俞谏博古通今，才兼文武，虽古代之名将良相，亦不能超出其右。”总观俞谏一生，经学淹贯，敏达过人，刚毅敢为，在当时的历史条件下，称得上是一位好官，而他不畏权势，与宁王作坚决斗争的精神，更是值得称道。
俞都堂巡抚江西任上时，南昌宁王朱宸濠反叛之心渐露。俞谏四次上疏揭露，因宸濠贿赂权奸，奏疏不得报，险被罢职。正德十二年（1517），俞谏应召还京。不久他便托病辞归乡里，闭门不出长达6年。据说就在这期间，他建造了俞氏宗祠。
在俞赵村，“俞都堂私造金銮殿”的传说可谓家喻户晓。传说俞都堂在家乡曾私造金銮殿，后有一位朝廷官员将此事举报给了皇上。皇帝为查清事实，暗派官员到俞赵调查真相，幸有一太监将此消息密告俞都堂。俞即暗派亲信，马不停蹄地赶到俞赵报告给他家人，仅一夜之间所有建筑拆为平地，并种上荞麦。等皇帝派来的调查人从京城赶到俞赵村时，只看到一片绿油油的麦苗。
另一传说是俞都堂在京为官，捞了不少银子。但是要把银子运回家里，一时想不出好办法。就在这时，俞都堂的赵姓亲家上京看望他。他就把赵亲家带到金銮殿，并叫他击鼓。皇上见有人击鼓，就问什么人什么事。俞都堂就上殿启奏，说是他亲家上殿击鼓要奉献白银十万。皇上听了很高兴，就当殿封他为赵十万。可赵十万发愁了，他在京城里根本就没有银子，银子都在家里。俞都堂就跟赵十万说：我这里先给你垫上，你回到家里后，再把银子还给我家吧。
就这样，俞都堂不费吹灰之力，把十万两银子运回到了老家。后来俞都堂便服回到家里，圈了土地动工造金銮殿，家中母亲问他当的什么官，俞都堂一直都没有说。俞都堂来家时，坐的船停在螺蛳库码头，桅杆上有标记，来往官员就相约来访。俞都堂把一支金批箭挂在止车门口，大小官员来到止车门见了金批箭就跪在地上。这时俞都堂在家里对母亲说，你到止车门去看一看，叫他们都起来。母亲来到止车门口，大小官员跪了一地，母亲叫他们起来。其中有一位兰溪的官，是混在当中来查俞都堂的，终于得知俞都堂造金銮殿一事，就赶紧回京启奏皇帝去了。大小官员离去之后，俞都堂感到事情不妙，就赶快把未造好的金銮殿夷为平地，并撒下荞麦种子。等到皇帝派人来察访时已经是一片荞麦了，启奏俞都堂造金銮殿的官员，受到了皇帝的惩罚。
当俞谏辞官归里后，宁王对他一直耿耿于怀，一直想置他于死地，因此就派人监视他，暗查他归里的情况，这是历史的真相。俞谏归里后曾大兴土木建造房子也是真实的，如今还有两只雕刻的石花缸保存了下来。俞谏辞官不久后，宁王果然反叛，朝廷就认为俞谏是忠臣，又重新重用。
俞氏宗祠内庄严而沉稳，在梁柱的对联里，渗透着对村民的道德指引和教诲。祠堂墙壁上挂着一幅幅图文并茂的版图，写着俞都堂蓄发明志苦读成才的故事，是村民教育孩子的经典范本。
俞氏宗祠于解放初期重修，2011年被列为桐庐县第四批县级文物保护单位。
