浅议基于RSS技术的博客搜索引擎文/肖离离摘 要:本文首先对RSS技术进行了概述,然后简要介绍国Framework)Site Summary(RDF站点摘要RSS , RSS 内外的结合了RSS技术的博客搜索引擎并阐述了其相对传统的版本),Rich Site Summary(丰富站点摘要RSS and )。搜索引擎的优点,最后提出了现有的博客搜索引擎在检索功能简而言之,RSS是一种消息来源格式规范,用以发布经常更新上的不足之处,以期对博客搜索引擎的改进提供借鉴。资料的网站,例如部落格文章、新闻、音讯或视讯的网摘。如关键词:RSS技术;博客搜索引擎;果从RSS阅读者的角度来看,RSS获取信息的模式与加入邮件列表获取信息有一定的相似之处,也就是可以不必登录各个提供信息的网站而通过客户端浏览方式即RSS阅读器或者在线引言RSS阅读这些内容。例如,通过一个RSS阅读器,在已经订阅“什么是博客”成为近年来的几大搜索引擎最热门的搜索关的情况下可以同时浏览新浪新闻和网易新闻最近更新的内容。键词之一,同时博客(BLOG)也被众多机构和媒体评为近年来 RSS的特点与功能最热门的互联网现象。BLOG也就是WEB LOG的缩写,简单RSS通常用在时效性比较强的内容上,这样能够让用户及来说就是网络日记,是一种通常由个人管理、不定期张贴新的时获取网站内容的最新更新。用户在RSS客户端的支持下可文章的网站。由于博客方便个人的自由表达、知识过滤与积累、以阅读自己订阅的感兴趣的内容和网站最新内容。RSS的特点深度交流沟通等作用使得越来越多的人使用博客。现在,人们包括:来源多样的个性化聚合特性,因为RSS采用XML标准以博客来共享思想与资源,并且相互学习的行为已经变得越来定义内容的包装和发布格式,使得任何内容源都可以采用这种[1]越流行,博客已经成为一个技术交流的场所。博客之所以公方式来发布信息,而对用户来说,用户可以有选择性的订阅自开在网络上,就是因为它不等同于私人日记,博客的概念要比己喜欢的新闻、博客等等;信息发布的时效性和低成本,由于日记大很多,它不仅仅记录关于自己的点点滴滴,还注重于给RSS技术是“推”模式,在信息内容被发布者发布的第一时间他人提供帮助。因此基于博客的共享与分享性,以专门搜索博就可以被送至用户的RSS阅读器中,极大的提高了信息的时效客的搜索引擎应运而生。博客搜索引擎是一种专业搜索引擎,性和价值,同时,信息内容在服务器上的RSS包装十分简单,可以扫描互联网上数千万个较常更新的个人博客,以帮助用户使得成本低廉;无垃圾信息和便利的本地内容管理,RSS的工通过浏览或关键词检索来查询自己所需要的信息。作机制是只推送用户订阅的信息内容,而不是推送所有信息,尽管搜索引擎给用户查找信息带来了巨大的方便,然而,用户完全可以根据自身喜好来订阅信息,所以没有垃圾信息、随着网络信息爆炸式地增长以及信息发布速度迅猛地提高,人弹出广告之类的等等。对下载到阅读器的信息,用户也可以进[4]们查找所需信息越来越困难。尤其是对于新闻和博客这类更新行存档、分类等操作方便的实现本地管理。频繁的数据源。在这种情况下,RSS技术应运而生,RSS是与目前的RSS应用主要在订阅新闻和订阅博客上,使用RSS[2]传统的“拉”模式相对的“推”模式的信息获取方式,在这服务,用户不必再每天登陆各个网站去浏览寻找自己想要的信种模式下,信息提供者直接将最新信息的标题和摘要发布给已息,只需将那些感兴趣的订阅源添加到RSS客户端中就可以,[3]经订阅的用户,然后用户根据自己的需要点击链接获取信息。也不需要不停的刷新网页来获取最新信息,因为在最新信息出因此,由于RSS技术的出现,更多的博客提供商也提供了RSS现后,RSS阅读器马上就会获取到,这样可以节省用户的大量聚合服务,目前,新浪博客、搜狐博客、网易博客、百度空间时间。等都有提供RSS内容服务。由于博客提供网站加入了RSS的服务,博客搜索引擎自然跟进,通过博客搜索引擎不仅可以搜索2 国内外的基于RSS的博客搜索引擎博客,而且,用户可以在博客搜索引擎收录网站中添加自己的博客RSS地址来达到被搜索引擎收录的目的。通过对RSS技术博客搜索引擎是在国内外博客用户急剧增加,提供博客的支持,博客搜索引擎的优势达到更大的发挥。服务的网站也大量增加的基础上产生的。基本上,国外的基于RSS技术的博客搜索引擎的出现要早于国内,不过在近来年初国内也出现了一些由个人或小团体开发的专业的中文博客搜索1 RSS概述引擎。 国外著名的博客搜索引擎RSS的含义由于RSS版本开发的复杂性,对RSS的英文全称还没有事实证明,博客可以提供大部分RSS内容。此外,新闻网统一的认识,存在三种说法,Really Simple Syndication(真站也同样可以通过RSS实现内容聚合,而且国外的大部分新闻正简易聚合RSS 版本),RDF(Resource Description 站点已经实现了这一功能,因此,国外的博客搜索引擎并不仅55
仅局限于搜索博客,也同时可以搜索新闻以及一些公共信息等。3 基于RSS的博客搜索引擎的原理及优点下面列举一些著名的博客搜索引擎。(1)Bloglines Bloglines是搜 博客搜索引擎的RSS利用原理索引擎Ask Jeeves旗下的一个产品,它既是一个聚合搜索工博客搜索引擎同RSS技术的联合过程是,博客搜索引擎所具,又是一款聚合阅读器。Bloglines除了提供关键词搜索外还搜索的直接就是RSS FEED 即RSS 种子也就是RSS链接,在提供高级搜索功能。Bloglines网站上公布了其已经被收录文章搜索到RSS FEED后对其进行解析和建立索引并通过与查询进的总量,截至2005年9月8日为701,667,885。但是目前,行相关性匹配等等来完成搜索过程。其组成部分为:①RSS种Bloglines的站点已经无法打开。子搜集器(RSS Spider),它负责站点爬行,并收集RSS种子;(2)BlogPulse BlogPulse网②RSS解析器(RSS Parser),它负责解析RSS种子,并提取站上目前公布的索引量为,可确认博客网页15,870,290个。<Channel><Item>中的<Link><Title><Description>等信息;BlogPulse的高级搜索页面提供有短语搜索,分别按照”包含全③文档解析器(Document Processor),它解析原始数据,建部关键字”、”包含任意一个关键字”和”精确关键字”三个选立文档模型,并将文档存储在数据库中;④索引器(Indexer),项,此外用户还可以在这里创建自己的布尔算子搜索请求。另外,它提取文档的特征向量,对文档进行索引,包括正向索引和逆用户还可以按照指定时间范围限制搜索结果,以时间或相关性向索引,并将索引存储在数据库中;⑤搜索器(Searcher),它排列搜索结果。对查询进行分析,生成查询向量、搜索结果,并对相关文档按[5](3)Daypop Daypop是第一代博照向量相似度进行排序。同时,博客搜索引擎通常提供由用客/聚合搜索引擎之一,曾在2001年和2002年荣获Search 户提交自己博客的RSS源地址来主动抓取其博客地址这样的服Engine Watch最佳提名。Daypop搜索框底部显示了其当前搜务。严格的说,上述的博客搜索引擎可以分为两类,一类是严索范围,涉及59000个新闻网站、博客网站及RSS 聚合。格的按照上面5个组成部分构建的博客搜索引擎,如Bloglines、(4)Feedster Feedster主页顶BlogPulse、八方、看天下等;而另一类是可能既有传统的博客部显示其当前搜索量达到14,000,569个feeds。目前站点无搜索引擎架构同时也包含或不包含RSS技术架构的,但是整合法打开。了一系列的RSS服务,如百度博客搜索、谷歌博客搜索等。在(5)Findory Blogory Findory 是一本文中,这两种均作为基于RSS技术的搜索引擎。相对传统的款新闻搜索工具,同时具有独立的博客搜索功能。目前网站已搜索引擎基于RSS技术的博客搜索引擎具有以下优点。无法打开。检索的准确度高和过滤垃圾信息(6)PubSub PubSub的存储量超由于RSS是一种描述网络内容的基于XML的一种格式,过1600万博客,50,000多个互联网新闻组及所有SEC美国RSS种子一般包含标题、日期、链接和内容,由这些标签来实证监会(EDGAR,电子数据集中与报告系统)文件。PubSub现信息的结构化描述。在每一个RSS种子中都包含<channel>不提供直接搜索。用户必须首先为某个自己感兴趣的关键字创标签,它可以表示RSS种子的所有信息,一个<channel>标签建订阅,然后PubSub将把随时找到的相匹配的最新内容通过包含很多个<item>标签。对于博客网站来说,一个<item>标预警方式通知用户。签就表示一篇最近的博文,<item>标签中又包含<title>标签(7)Technorati ,。Technorati表示博文的标题、<link>标签表示博文的链接、<description>网络搜索当前可跟踪1,680万网站和15亿链接;标签搜索可标签表示文章的摘要以及<pubdate>标签表示发表日期,因此,跟踪实时更新的200万个网络标签;博客搜索目前还是测试版,传统搜索引擎搜索到的是一个个WEB网页,而博客搜索引擎搜[6]而且是按照主题组织的博客目录进行搜索。索的是一篇篇日志。同时,由于博客本身的链接指向特征和(8)Google博客搜索 http://wwww/ 同步跟踪4582562个中文取信息的,而后建立索引,再通过检索器根据用户的搜索词检博客。但是目前网站无法打开。索索引库,最后输出结果。其抓取的页面是没有专指的所有网(2)博客中国人 可以搜索页,而现在的大多数博客搜索引擎都提供了用户提交自己的博5939个博客。客链接或RSS地址的功能,通过这种功能可以使博客搜索引擎(3)八方 目前追踪24625个博客。的RSS Spider主动地抓取用户的博客地址,并建立索引。因此,目前网站无法打开。博客搜索引擎的这种功能是其搜索范围的专指度更加高,同时,(4)看天下 可以搜索也使其索引库更新的更为及时。339,301篇RSS文章检索的信息的时效性强(5)百度博客搜索 号称全球信息具有时效性,而传统搜索引擎在网页抓取的更新上往最大的中文博客搜索引擎,全面覆盖全球中文博客。目前还是往不尽人意,目前大部分主流搜索引擎如谷歌、百度等只能收测试版。录网络资源中不到30%的信息,而且收录的信息往往延迟2-3(6)爱问博客搜索 可以进行博客全文、天,同时,在网络信息急速增长情况下,有相当一部分动态网[7]博客文章标题、博客名(作者名)的检索;页是爬虫抓取不到的。而通过RSS技术可以自动浏览和监视(7)搜狗博客搜索 指定网站的内容,当指定的RSS地址的博客网页有新的信息发56
布后,可以通过RSS Spider可以很快的抓取到更新内容然后建Technorati和Google博客搜索引擎是提供了按主题分类浏览立索引以方便用户的检索。同时,如果用户需要更快的收录其检索的服务,同时也有一些如Blogpulse、daypop、Google提博客更新内容,还可以使用Ping服务,通过输入博客RSS地址供了最热门、点击率最高以及最新的博客供用户浏览以满足用通知搜索引擎马上去抓取更新内容,这往往只需要花5-10分钟。户的浏览要求。相对其他的博客搜索引擎仅仅提供关键词检索,分类浏览检索更能满足那些对自己要检索的问题比较模糊或找不到关键词的用户的需求。同时,基于RSS的“推”模式技术,4 现有博客搜索引擎需要的改进博客搜索引擎可以提供更加能满足用户需求的个性化服务,目尽管基于RSS技术的博客搜索引擎相比传统搜索引擎的上前,Yahoo即利用RSS技术通过my yahoo方式实现了个性化述的一些优点,但是就其本身而言,尤其是在检索功能上,众服务,大概的做法是要求用户注册后填写一份兴趣爱好调查表,多的博客搜索引擎在用户体验上存在相当多不一致的地方。检通过分析用户的兴趣,将用户感兴趣的信息推送给用户。博客索功能是反映一个搜索引擎质量的重要因素,同时,良好的用搜索引擎也完全可以提供此类服务,通过分析用户的兴趣所在,户体验才更加能够吸引用户的使用。下面提出几点博客搜索引利用RSS技术推送最近的用户可能感兴趣的博客,这样省去了擎需要关注的方面。用户花时间浏览和检索,同时满足了用户的个性化服务要求。实施搜索的多元化及时更新服务的完善在网络信息日益增长的今天,图像、视频、音频等多媒体目前的大部分博客搜索引擎都提供了收录博客地址或RSS信息也在不断的增多,而且特别是在博客中还有专门的相册、源地址的服务以使用户的博客被收录到搜搜引擎中,同时也有音乐盒、视频栏等,传统的搜索引擎如百度、谷歌已经有了这一些博客搜索引擎提供了ping服务,也称更新通知服务,是搜种针对特定格式的多媒体信息的搜索,但是在博客搜索引擎中,索引擎发现网友博客更新的一种方式,而ping服务包括手动目前还没有专门针对博客中的多媒体信息进行检索的服务提供。ping和自动ping,手动ping服务要求在用户更新博客后向搜索然而,有一个叫 Jamespot的RSS多媒体信息搜索引擎提供了引擎提交博客地址或RSS地址,而自动ping服务是把博客搜索多媒体信息检索,因此将多媒体信息采用RSS技术进行搜索是引擎的ping服务地址配置到博客发布后台或者客户端程序中,可行的,而且随着人们的搜索兴趣的扩大,针对博客内部的多就可以实现自动通知的功能。然而现在并不是所有的博客搜索媒体信息检索肯定会受到用户的欢迎。引擎提供ping服务,但是,用户在写完博文后通常是希望得到提供高级搜索功能更多人的关注,因此,博客搜索引擎需要完善自动ping服务以纵观国内外的博客搜索引擎,有一些提供了除关键词搜索满足用户需求。之外的高级搜索功能,但是也不尽完善,有的仅仅提供按照作者和按照时间的检索方式,同时,相当多的博客搜索引擎只提5 结束语供关键词搜索功能。如百度博客搜索引擎、Blogory等都没有提供高级搜索功能。但是,高级搜索功能可以提供更多的选项供将RSS技术引入到博客搜索引擎中,对互联网来讲是一场用户完善搜索条件,可以使搜索更加精确并获得更多有用的结新的革命。通过RSS技术的引入,博客搜索引擎在检索范围的果。因此,发展高级搜索功能是完善博客搜索引擎检索功能的专指度、检索的准确性以及垃圾信息的过滤和信息的时效性上一个重要方面。等相比传统搜索引擎都有所提高,国内外的博客搜索引擎近年提供个性化服务来的涌现正是这些优点的体现。同时,基于RSS技术的博客搜在提供个性化的服务的博客搜索引擎中,目前只有索引擎在检索功能以及用户体验上都有继续改善提升的空间,因此,相信在以后,基于RSS技术的博客搜索引擎一定会有更好的发展。参考文献:[1]王娜.博客搜索引擎与传统搜索引擎的比较研究[J].图书情报工 作,2006,(2):54-57.[2]彭祯艺.RSS带来“个性化搜索”[J].互联网周刊,2004,(8): 56-57.[3]柯青.基于RSS技术的个性化信息服务新方式——由雅虎看RSS 在搜索引擎中的应用[J].情报理论与实践,2005,(5)537-541.[4] RSS工作详解(2)rss的特点. 20060125/,2006-1-25.[5]封硕,等.基于RSS的分布式博客搜索引擎的研究[J].情报杂志, 2007,(8):96-97.[6]张立彬,杨军花,翟春,王璐,等. 基于RSS的搜索引擎技术 及其发展趋向探析[J]. 情报科学,2009,27,(2),183-189.[7]江泽文.RSS:即将到来的互联网新革命[J].传媒观察,2005, (9):46-47.作者简介:肖离离,现任广东农工商职业技术学院商务系电子商务专业教师。主要研究方向:电子商务网站建设、网络营销、网络信息调研。57