语罕家累世忠厚，在正阳关享有令名。祖父那时已经六十多岁了，在税关上管理账目，为人清廉，但精神有些不济。
正阳关盐务总局在语罕家中设立了义塾，父亲平日就在自己家中教书，学生大小有十几个。有时他也到正阳税关上帮忙算账，经理款项。父亲“尊重科名，不过考了多次，也没有进学。他为人讲道理又极厚道老实，人人可以欺负，他受了委屈，一句话也说不出来”【注释1】。
母亲从小就聪明，能读能写，说话有条理，遇事敢担当，未出嫁前，李家台子的人通以“小姑”呼之。母亲对语罕读书非常注意，平日不许他出大门。
语罕弟兄姊妹五个，他是长子，其中最小的弟弟得瘟疫夭折了。母亲亲自教语罕认字，教督非常严格。她常常教训：“你伯伯（皖北称呼父亲）考了几考，没有进学，姥姥（皖北称呼外祖母）气坏了。就指望你争这口气咧！你再同你伯伯一样，我怎样抬头见人！”
5岁时，语罕进父亲的义塾读书。语罕那时聪明俊秀，又得严格督促，没一两年便读了好几部书，又写得一笔好字。有时盐务总局派人来义塾考查，语罕分数很高，总得些纸墨笔砚的奖品，父母都很欢喜。语罕在义塾里念书，最盼望的是来客人。因为一来客人，学生们就放假。
有时他跟着母亲到外祖家里去，也要把字块儿和《三字经》、《千字文》、《龙文鞭影》、《唐诗三百首》等带着。在外祖家，母亲规定他必须完成这样的功课：早起，温习《孟子》三遍才许吃饭；午前，写仿两张（大小字各一）；温习《大学》、《中庸》各两遍，才许吃午饭；午后，温习《诗经》两遍，才许吃晚饭。
父亲对语罕极疼爱，有时母亲自己回娘家，父亲早上替语罕穿衣服，晚上又替他脱。吃饭的时候，父亲替他添菜、夹菜；他渴了，父亲替他斟茶。有一次快念完书的时候，语罕走到父亲面前，不做声，先把头一昂。父亲便知道小语罕要吃绿豆糕。父亲从抽屉里拿了30个铜钱，语罕并不要他叫人去买，他自己会找人。同学都因为语罕是先生的儿子，对他平常的功课和一笔好字也很仰慕，自然抢着替他去买绿豆糕。
从小到大，在糕饼当中，语罕冬天喜欢吃的是庞聚兴的酥糖，夏天喜欢吃的是庞聚兴的绿豆糕。这个习惯同学都晓得。就连成家后，夫人每逢语罕暑假回家，总要买绿豆糕放在瓷罐子里，晚上拿给他吃。
【注释1】高语罕：《白话书信》，上海亚东图书馆1929年版，第221页。