搜索引擎的动力引擎
搜索引擎的动力引
互联网行业竞争激烈,能否得到更多用户的认可是企业生存的根本,而认可的关键就在于
服务是否及时、优质、准确。搜狗是搜狐于 2005 年推出的全球首个第三代互动式中文搜
索引擎,在搜狐的整体发展战略中占据十分重要的地位。搜狗的产品线包括了网页应用和
桌面应用两大部分。如何在强手如林的搜索引擎市场占据有利地形,是一个必须回答的重
要“命题”。
海量数据检索带来的挑战
搜索引擎的最大难题是正确理解和满足用户的需求,而这一切,都必须基于一个强大的
数据中心来完成。提升数据中心的效能,是提升用户满意度的关键要素。基于这种考虑,搜
狐特别启动了搜狗新一代数据中心项目的建设,希望通过技术创新,提升搜狗的服务品质,从
而赢得用户的青睐。
“搜狐追求新技术应用是有传统的,搜狗引擎就是搜狐在搜索技术领域追求创新的一个
结果。我们希望能利用各种领先的技术与设备,让我们的产品与服务为用户带来更好的感
受。尤其对于搜狗数据中心,我们更希望规避传统数据中心的‘短板’,进一步提升数据中心网
络的性能、效率与可靠性,让用户访问起来感觉更加良好。”搜狐网络运维部某负责人解释
了采用新一代数据中心解决方案的初衷。
此外,搜狐在数据中心网络建设上不断“求新”是形势使然,从 2007 年搜狐正式推出搜狗
网页搜索 版本之后,搜狗搜索引擎的中文网页收录量已超过 100 亿,每天的网页更新量
则有 5 亿之多,激增的海量数据对搜狗数据中心带来了前所未有的压力。新的搜狗业务应
用要求数据中心网络平台能支撑百亿海量网页收录、及时更新网页和网页评级体系,满足
高密度服务器集群的高性能并行抓取工作,同时网络系统要具备后期灵活的扩展能力。面
对超高的网络流量与数量庞大的服务器集群,原有的搜狗数据中心网络架构与设备性能已
无法满足这一要求,采用新一代数据中心架构来建设搜狗 IDC 新机房成为必然的选择。
根据这一需求,2009 年初,搜狐公司征集了业内多家厂商的设备,进行了全方位考察和
比较。最终, H3C 公司集 S12508 数据中心级核心交换机、S75E 高端多业务路由交换机
、S5800 万兆交换机、iMC 智能管理中心等软硬件设备为一体的统一交换架构数据中心解
决方案获得了该项目的全部份额,搜狗新一代数据中心网络建设的大幕也由此拉开。
让大流量不再是问题
据记者了解,在搜狗数据中心网络体系中,部署了两台 H3C S12500 交换机作为整个网
络的核心,同时,两台
S75E 高端多业务路由交换机承担起数据传输网的重任,而数十台 S5800 交换机则作
为接入交换机,将 2000 多台服务器连成了一个大的网络。
据 H3C 网络产品线副总裁孙德和介绍,S12500 的设计瞄准的就是数据中心高密度、
大流量和大缓存的特点,其单台设备容量已达到 ,而且能支持多达 576 个万兆端口,能
够充分满足搜狗数据中心高密度万兆应用的需求,这也是传统的万兆交换机很难做到的一
点。
众所周知,网页搜索最重要的就是搜索速度与结果准确性,这也是搜狗引擎持续不断优
化改进的目标,它依托的是系统在瞬间对海量网页数据进行挖掘、分析、显示的结果。在
这一过程中,数据中心网络承担的带宽压力非常大。为了保证用户能够得到及时、准确的
搜索结果,当搜狗引擎接收到一个网页搜索请求时,往往会向高密度服务器群同时发起检索
需求,并在非常短的时间内接收几百台服务器几乎同时发回的搜索结果,巨大的数据流量如
果不能及时吸收,那么很容易出现网络拥塞的现象。
而 S12500 的大缓存能力很好地解决了这个问题,不仅每个端口拥有 256M 的大缓存
能力,更重要的是它支持分布式缓存机制,当搜索数据浪涌到来时,一部分报文被缓存在接入
交换机 S5800 的 8M 缓存中,另一些则缓存在 S12500 的更大缓存中,有效地利用了各级设
备的端口缓存能力,最大限度地吸收突发流量,这样,就减少了丢包的可能性,尽可能地减少了
对业务的影响。先期开展的实地测试结果表明,每次浪涌的收敛时间都控制在几十毫秒之
内。
搜狐网络运维部负责人表示,通过建设新一代数据中心网络,解决了搜索引擎业务普遍
感到头疼的浪涌问题,对普通用户来说,意味着搜索结果中的死链接会更少。可以说,H3C
S12500 核心交换机起到了非常关键的作用。
创新架构带来新价值
在搜狗数据中心的网络架构中,数十台作为接入交换机的 S5800 并非是简单的并列关
系,而是每四台虚拟成一台虚拟交换机,然后并列着接入核心交换机 S125000。对此,该负
责人解释道,这里采用的是 H3C 推出的 IRF2(第二代智能弹性架构,Intelligent Resilient
Framework 2)技术,这也正是搜狐最终选择 H3C 新一代数据中心解决方案来构建搜狗网络
的另一个重要因素。
智能弹性架构技术简单的说,是把多台物理设备互相连接起来,使其成为一台统一的逻
辑设备。也就是说,用户可以将多台设备真正当作一台设备进行管理和使用,从而为用户带
来简化管理、简化网络业务、弹性扩展、1∶N 可靠、性能加倍提升和增值业务扩展等多方
面的网络使用新体验。目前,H3C 的众多网络设备都支持这一技术。
在 H3C 提出的搜狗数据中心网络解决方案中,这一创新技术也在多处得以体现。上面
提到的 S5800 堆叠就是其中之一。在实际应用中,四台 S5800 通过 IRF2 实现 40G 互联,
然后 10 组 S5800 堆叠接入双机互备的 S12500,也就是说,S12500 只需要 10 个端口,就
可实现 40 个万兆互联。这使得搜狗数据中心网络具有了良好的可扩展性,日后网络扩容时
,可直接利用其他多余端口,而无须额外投资。
两台核心交换机 S12500 双机互联同样采用了 IRF2 架构,它所带来的价值同样十分明
显。以往搜狗数据中心网络采用的是传统的环路设计,这样有一半的网络带宽必须让道给
环路,带宽利用率低,而且容易出现环路堵塞链路,在维护上也容易出现问题。采用 IRF2 技
术则可以有效避免这些问题。现在的搜狗数据中心网络采用 MSTP+VRRP+BFD 的方式构
建,去掉了令人烦恼的环路。这不仅意味着网络运维更为简单,不会出现环路故障,而且,也意
味着整个网络在论文联盟 不增加投资的情况下,可利用的带宽相比以前增
加了一倍。
在搜狐对 IRF2 性能实际测试中,搜狐数据中心网络的稳定性表现得十分突出,无论是
S12500 内部双引擎的主备倒换,还是链路级的倒换,系统的恢复时间都小于 30 毫秒。也就
是说,即使对网络连续性要求高达 50 毫秒的延迟敏感型应用,网络的稳定性也不会对业务
造成不良影响,也有利于搜狗业务的进一步发展。
“正是因为 IRF2 技术可以让整个网络的扩展性更好,而且 ROI 投资回报率更高,为搜狗
业务的未来提供了坚实的基础,所以我们对 H3C 提出的解决方案更为满意。”该负责人表示
。
在数据中心应用领域,互联网企业由于其业务特点,一直走在应用的前列,他们的选择往
往代表着市场的风向标。从实际效果来看,H3C 新一代数据中心解决方案,不仅保障了搜狐
现有业务的连续性,可满足搜狐不断增长的业务带宽需求,同时面向未来可以承载更多不断
涌现的新业务
