数据太大无法传输怎么办?

保罗·巴兰的“分布式通信系统”将互联网中计算机连接的形式确定为“渔网状”,这种类“渔网”的技术设想,如同修好了互联网数据传输的通道。虽然通道有了,但是如何将数据放在通道上传输,传输的形式是什么,依旧是待解问题。目前主流观点中解决这个问题的最优方案,是由伦纳德·克兰罗克提出的“分组交换”。

20世纪信息时代初期,基于物理数据传输线昂贵且承载力不高的现实,以及以可执行性不高等重要考量因素,克兰罗克提出:既然大数据传输有困难,而我们又不可避免地要传输大数据,那就将其拆分成多份小数据,然后再通过通道快速地送出去。克兰罗克对这一操作流程给出的定义名为“分组”。

克兰罗克出生于1934年6月13日,他是纽约犹太人,是纽约传统精英学校布朗士科学高中(Bronx High School of Science)的学生。他在中学时就表现出了卓越的思维能力,以及对未知世界的积极探索之心,赢得了老师和同学们的赞誉。

布朗士科学高中始建于1938年,区别于普通高中做好基础文化普及的教育宗旨,该校奉行“为那些有独特天赋和才华的学生提供教育机会,为使他们成为对科学和社会有用之才而准备”的精英教学理念,因而在学生选拔上极其严格,被誉为美国最难考的高中之一。

通过2014年该校副校长丽莎·罗奇奥(Lisa Rocchio)公布的布朗士科学高中的录取数据可知,其录取率为24∶1,这种严格的录取比为其带来大量思维能力高于常人的优秀在读生。老师们得以有机会引导学生用学术研究的思维去学习,并参与一些一线科技的探索研究。若学生天赋极好,学校还会不遗余力地提供专业的学术指导,支持其完成科研实验。

正因布朗士科学高中对学术研究持鼓励的姿态,它培育出了8名诺贝尔奖得主、6名普利策奖获奖者,以及大量影响历史进程的“巨人”。其中就包括在互联网基础建设中有过卓越贡献的克兰罗克。

1957年,克兰罗克高中毕业,考入美国理工科的最高学府——麻省理工学院。在这里,他除了继续自己电气工程学科的深造,还毅然投入了当时前途未知的计算机科学研究,先后拿到了该学科的硕士和博士学位。

毕业之后,出于对计算机科学的喜爱,克兰罗克放弃了电气工程博士身份带来的高薪机会,毅然选择了离计算机科学研究氛围更浓厚的加州大学洛杉矶分校计算机科学系教员的职位。加州大学洛杉矶分校也没有亏待克兰罗克,它帮助克兰罗克建立了博士研究所,为他此后疯狂探索最前沿的计算机科学提供了物质基础。事后回忆在研究所的日子时,克兰罗克是这样说的:基本上,我在1961至1962年间为我的博士研究所做的是建立一个分组网络的数学理论……

分组网络中最重要的核心点,是为网络传输提供解决方案“分组交换”。该方案摒弃了传统电话点对点整体传输的方式,开始使用多点对点的设计。即信息在从A节点传输到B节点时,在A出发的瞬间分裂成一定数量的“块”,并在块上打上“从哪里来”“到哪里去”的标签。然后不同的“块”分别通过链接AB节点的N条链路直冲B点,最后在B点完成组装。

如此一来便痛快地解除了点对点整体传输对传输硬件造成的负担,让数据传输变得“廉价”起来。虽然克兰罗克带来的分组交换解决了数据传输过程中所用传输线的负担,但对正处于起步阶段的终端接口计算机来说,他们的运算能力同样很难满足大规模数据传输的需要。为了解决这个困难,在阿帕网总策划罗伯茨的领导下,阿帕网项目组大胆提出了“接口信息处理机”的想法,在每台被操作的计算机和传输线网络之间插入接口信息处理机(IMP)作为数据分配中心。

1969年,美国BBN公司正式接受阿帕网的委托,将IMP由理论变为实物。为了顺利完成任务,该公司特意组建了一个叫“小家伙”的攻坚小组。按照“小家伙”的讨论结果,IMP被具象地定位成了计算机在互联网中的影子替身,为其负担在分布式网络中该履行的责任。假如将互联网类比成以前的邮电网络,那IMP就是该网络中遍布各地的邮局,负责邮件(数据)的存储和转发。

若一个数据到达某个IMP,目的地又是该IMP连接的计算机,那么数据就会直接输送至目的地;反之,IMP会将数据转发至新的IMP传递,履行分布式网络节点传输的“中转”职能,是当今互联网不可或缺的硬件路由器的前身。

“小家伙”的IMP解决了终端接口计算机计算能力不足的问题,克兰罗克的“分组交换”则解决了传输线路数据承载能力不足的问题,两者合二为一奠定了当今互联网数据传输的基础形式。