语罕家在明末清初是一个大地主家庭。据高氏家谱所载，明末大饥，语罕的祖先曾经捐纳过三千担粮食放赈，明廷御赐“尚义门”的匾额予以褒奖。语罕家引以为荣，常以此自夸。小时候，语罕看见自家祠堂的对联仍是：先人助麦三千担，圣祖恩颁尚义门。
到了曾祖的时代，语罕家中仍是鼎盛之秋，一面拥有上千亩的田地，一面又是大盐商、大行商。直至语罕五六岁时，家中仍气派得很：“大门是很高的石台坡、石门槛，前后一起有百十间瓦屋，中有五间大厅，可以坐四五十桌席。不料正阳一场大火，把它们烧的干净，只有三间瓦屋，硕果仅存。”【注释1】
咸丰、同治之交，寿县、凤阳农民革命的领袖苗沛霖征集民工，将还是土围子的正阳关建成城池。外曾祖太爷就在苗沛霖那里做“大旗杆子”，这是苗手下最高将领的职名。据说，祖母嫁到正阳关的时候，全镇百姓没有一家不送礼的。
祖母常常带着语罕到外曾祖太爷家去看“堂戏”，也给他讲家世，讲故事。小语罕最喜欢听祖母讲长毛、捻子的故事，更爱听她讲苗沛霖起兵围寿州城及治军临民的逸事。祖母亲见亲闻，所以讲得有趣。冬天的时候，祖母常躺在一张靠椅上，两手缩在袖子里，两脚放在一个铜脚炉上，白发垂垂，闭着眼睛讲故事，这是语罕小时候印象非常深的一件事情。
祖母也常常向语罕回忆高家昔日的繁华，“二十年前，我们盐店巷子高家，谁人不知，谁人不晓！家里那时又是盐店，又是钱庄，又是油坊，又是炒货行，粮食收的成仓的。”紧接着她又慨叹，“我们这一门子，现在穷了，再没有从前那种兴旺气象喽”【注释2】。按祖母的话说，“龙多四靠”，事情没人管。因为语罕的祖父弟兄八个，大都习于安逸，不理家务，不治生产，家道渐渐中落了。
语罕外祖父也是个大盐商，住在离正阳关十里的李家台子集镇。小时候语罕常常随着母亲去外祖家，在河道上老远地望着一片黑沉沉的森林。这个地方是湖湾，地势低洼，每逢发大水，门外便是一片汪洋，所以家家都筑起高高的土台以防水患。
外祖父是老行伍的军官出身，平生好客爱士，颇有侠气，素以严正出名。李家台子的姑娘或者媳妇，若是抛头露面，在村外被他看见了，不但要受严重的责备，连她们的“家主”都要遭其斥责。
外祖父的原配妻子姓黄，生了一个儿子。这个儿子才30岁便死了，黄氏外祖母在儿子死后不久也去世了。外祖父在河南办军务时，因为兼祧（在封建宗法制度下，一个男子不脱离原来家庭的裔系，兼做所继承家庭的嗣子）的缘故，又与河南凌氏，也就是语罕的外祖母订婚。外祖父在由河南到安徽的船上遇着一个小孩子，看着非常忠厚诚实，又无父母，就把他带到家来收为义子，这就是语罕的舅舅。
在语罕的童年记忆里，到外祖母家和舅舅一起玩耍，是最快乐的事情。每到黄昏将近，片片云霞，映着河水，太阳返照，穿过长林，直照到庄上的一带房屋。飞鸟喳喳地叫着，投入树丛里。牧童骑在牛背上，在霭霭晚烟中归来。
后来，外祖父、外祖母相继去世，合葬在一起。每逢清明时节，语罕小兄弟姊妹都会随着母亲去上坟。
【注释1】高语罕：《九死一生记》第82期，载成都《新民报》日刊1945年11月5日第4版“雄辩”专栏。
【注释2】高语罕：《百花亭畔》，第39页。