1.1 互联网流量的发展历程

互联网诞生于20世纪60年代,其雏形是由美国国防部构建的一个小型网络——阿帕网(Advanced Research Projects Agency Network,ARPANET),刚开始网络中的节点比较少,主要包含加利福尼亚大学洛杉矶分校、斯坦福研究院、犹他大学等节点,通过网络中节点之间的数据交换和共享,实现军方、科研机构等之间的信息互通。

由于最初的互联网是小型网络,用户量很有限,因此流量很小。但随着互联网技术的不断革新,互联网逐渐发展成为拥有巨大规模的“万物互联”的全球性共享网络,连接的终端已经不局限于PC、平板电脑和手机,甚至智能手表、智能眼镜等智能穿戴设备也可以连接上网。全球海量用户共同加入互联网,并互动和共享信息,导致互联网流量呈现爆发式增长。互联网流量爆发不是一蹴而就的,而是经历了漫长的发展历程,这里主要从中国互联网流量发展的角度进行具体阐述。根据中国互联网流量规模的不断扩大,可以将中国互联网流量的发展历程分为PC互联网时代、移动互联网时代、云计算和大数据时代3个阶段,中国互联网流量的发展历程如图1.1所示。

中国互联网流量发展的3个阶段具有不同的特点。

PC互联网时代:流量的载体以网站、PC客户端软件为主,交互模式主要是用户搜索和浏览,整体数据量相对较小。PC互联网时代的流量欺诈问题主要集中在传统的基础安全上,如恶意软件、漏洞挖掘和钓鱼木马等。

移动互联网时代:流量的载体以网站、App为主,交互模式更多是用户参与互动,所以数据量呈现爆发式增长。移动互联网时代的业务形态多种多样,业务场景也非常丰富,所以流量欺诈问题层出不穷,如推广结算欺诈、“薅羊毛”欺诈、电信诈骗等。

云计算和大数据时代:出现了公众号和小程序等新型流量载体,更有短视频等应用的快速发展,给用户更多参与互动和创作的入口和更低的门槛,致使数据量持续快速增长。同时在流量欺诈中,也出现了更便利的云端黑产工具,如云挂机、云控等。

图1.1 中国互联网流量的发展历程

下文将详细阐述中国互联网流量发展历程中3个重要阶段的流量特点和流量安全问题。

1.1.1 PC互联网时代

互联网流量发展的第一个重要阶段是PC互联网时代。该阶段的主要流量载体是各类门户网站,如腾讯、百度、搜狐和网易等。用户主要通过搜索和浏览获取信息、进行单向互动,PC互联网时代的交互模式如图1.2所示,这种交互模式降低了信息的获取门槛,提升了信息传播的效率。但该阶段用户的互动程度还不高,用户很少能深度参与到互联网内容的创作中,产生的数据形态主要以文本数据为主,也有少量的图像数据。另外,这个阶段中国互联网的普及度不高,因此流量的整体规模也比较小。该阶段的流量欺诈问题,主要是恶意软件、漏洞挖掘等基础安全问题。

图1.2 PC互联网时代的交互模式

从高用户渗透率的变化来看,PC互联网时代的互联网产品演变主要经历了3个关键节点,如图1.3所示。搜索引擎是PC互联网时代的基础设施,连接了人与信息,所以率先达到高用户渗透率的产品是百度等搜索引擎门户网站,这类产品成为互联网流量的第一入口;然后在基础设施比较完善后,开始进入连接人与人的关键节点,微博、QQ等社交娱乐产品进入了高用户渗透率产品的行列;最后是连接人与商品的关键节点,以淘宝和京东等为代表的电子商务门户网站,开始进入高用户渗透率产品的行列。

图1.3 PC互联网时代的互联网产品演变的3个关键节点

1.1.2 移动互联网时代

随着3G(第三代移动通信技术)网络和智能手机的普及,数据高速传输有了更好的支撑,互联网流量发展迎来了第二个重要阶段——移动互联网时代。该阶段出现的重要产品,有些是从PC端迁移到了移动端,如QQ、淘宝、京东、百度等。随着时代的进步,一些具有代表性的新产品应运而生,如微信、美团、拼多多和抖音等。流量载体相比第一阶段新增了移动端App,用户不再是与平台进行单向互动,用户可以根据个人喜好,随时随地分享自己的生活和工作,与平台形成了双向互动。移动互联网时代的交互模式如图1.4所示,用户在互动中产生大量的用户生成内容(user generated content,UGC)和专业生产内容(professionally generated content,PGC),互联网流量呈现爆炸式增长。该阶段的用户产生的数据形态主要以图文数据为主,还有少量的语音和视频数据。该阶段的流量欺诈问题主要是推广结算欺诈、“薅羊毛”欺诈、电信诈骗和支付欺诈等业务欺诈问题。

图1.4 移动互联网时代的交互模式

从高用户渗透率的变化来看,移动互联网时代的互联网产品演变主要经历了3个关键节点,如图1.5所示。区别于PC互联网时代,该阶段率先达到高用户渗透率的产品是社交、长视频、音乐和游戏等社交娱乐产品,其中社交产品取代了搜索引擎,成为移动互联网时代流量的第一入口;然后,电子商务从PC端迁移到移动端,也得到了进一步发展,进入了高用户渗透率产品的行列,其中具有代表性的是淘宝、京东、拼多多等产品;最后是在社交娱乐和电子商务这两大板块之外的其他细分领域,如外卖、导航和旅行等细分领域产品,也进入了高用户渗透率产品的行列。

图1.5 移动互联网时代的互联网产品演变的3个关键节点

1.1.3 云计算和大数据时代

随着云计算等相关技术的发展,互联网业务海量数据的存储、计算和应用成为可能,互联网流量发展迎来了第三个重要阶段——云计算和大数据时代。云计算和大数据时代的互联网产品演变主要经历了3个关键节点,如图1.6所示。该阶段各关键节点主要出现了直播、短视频、线上会议、在线教育等领域的产品,流量载体相比前两个阶段新增了小程序和公众号。该阶段的用户不只是简单的互动,而是根据个人爱好或者出于盈利目的,用户通过自主创作内容,深度参与到互联网的互动中,从而产生海量数据,数据规模持续增长。该阶段产生的数据形态除了图文数据,还有语音和视频数据,而语音和视频数据规模也达到了前所未有的高度,真正迎来了互联网的大数据时代。该阶段的流量欺诈问题除了有推广结算欺诈、“薅羊毛”欺诈和电信诈骗等移动互联网时代已有的业务欺诈问题,伴随着云业务的发展,还出现了云挂机和云控等新型欺诈问题,下文详细介绍大数据时代的流量欺诈问题。

图1.6 云计算和大数据时代的互联网产品演变的3个关键节点