胡铨的孙子有10余人。胡槻，胡泳长子、胡铨长孙，宋宁宗嘉定十二年以右文殿修撰经略安抚使知静江，在任4年，有政绩。胡榘，字仲方，胡泳次子。曾任枢密院编修官，累官至工部、兵部尚书，出知福州。宝庆二年，被任命为焕章阁学士、知庆元府兼沿海制置使，以龙图阁直学士致仕。其他孙子有胡代、胡桯、胡杋、胡楛、胡梃、胡3*、胡机、胡校、胡价、胡构、胡桦、胡檖、胡椅等。

在胡铨家族中，他的叔祖父胡谅一派也较为显赫。胡谅有2个儿子：胡登臣、胡方中。登臣字正平，在其家族同辈中排行第十九，故胡铨称呼他为十九叔。登臣从学于宋代著名学者刘龠门下，后来因生病和父母亲去世，便归家闲居，把教子力学作为自己的追求，而不去参加科举。儿子胡汾，字兼美，3岁丧母。以孝顺继母而为时人称道。

宋徽宗重和元年(公元11 18年)，释褐授临江军刑曹，有循吏之称。在任澧州教授期间，大力发展学校，使原本只有十多个生员的澧州学宫，成为四方求学者辐凑、闻名远近的地方。后任靖州通判，转官秩为奉议郎。他采取安民政策，使靖州边境安宁，百姓安居乐业。绍兴二十一年(公元1151年)去世，终年70岁。著有《书解》、《文集》共80卷。有4子，次子胡昌时曾考中进士，季子胡昌言，官右迪功郎、澧州石门县主簿。

胡方中为乡贡进士，娶欧阳氏，生有2子，即胡宗左、胡仔。胡仔字承之，为胡铨族兄。为人坦诚，好善嫉恶，不阿权贵。子胡昌龄，字彦长，曾师从萧楚学习《春秋》。乾道五年(公元1169年)以特奏名进宫静州司户，为政廉洁，受到帅守张拭的赏识。胡宗左有子胡箕，字南斗。年少时便卓尔不群，学贯经史，尤精于《春秋》之学。为文有神，下笔往往数千言，文思如泉涌，曾任迪功郎监南岳庙。著有《春秋三传会例》30卷。

此外，胡铨还有两位侄子胡季怀、胡之武以文学闻于当时。胡季怀，年幼而孤，但能发奋苦读，学业有成，著述十分丰富，有《训子书》(号《明儒方》)、《左氏类编》、《周官类编》、《春秋类例》、《诗集》、《文集》等。胡公武，字莫彦，约生活在南宋高宗、孝宗时期，13岁时即成为《春秋》弟子员，成绩名列前茅。他嗜好文学，尤其擅长作诗，晚号学林居士。著有《论语集解》。

宋以后，胡铨的子孙不断繁衍迁徙，散居四方。五世孙胡存与，元初为吉水州判，遂家居吉水东门，自辟一房，称吉水东门胡氏。湖南汝城县三塘胡氏，始迁祖胡国仕，为胡铨的十世孙。先是宋朝末年，胡铨的七世孙胡深斋，从吉安芗城徙居郴州沤东草塘。深斋传3世至胡国仕，再迁居桂阳汇头湖上宅。国仕又3传至觐玉。觐玉有6子，除第3子早夭外，其余5子各为支派，散居邑内各地。

胡关一郎徙三塘，关二郎徙石泉，关四郎徙秀溪，关五郎徙奖溪，关六郎徙星岸。从宋末至民国600余年中，胡氏共传34世，丁口达5000余人，为汝城大族。明清及民国，三塘胡氏家族涌现出了不少人才，明代有举人胡源、胡廷芳，有拔贡和岁贡生胡孔易、胡元蒿、胡仕通等。官至教谕、训导一级的有胡天秩、胡满清、胡友文、胡孔相等，担任过知府、府知事一级官职的有胡垲、胡璇。清代比明代更盛，至民国，则出了不少军事、科技人才，如有中将军官胡风璋，少将军官胡湘，有毕业于日本大学的胡昭林，北京大学的胡昭洛，法国政法大学的胡宗腾。三塘胡氏家族是一个耕读、仕宦相结合的典型。