基于网页采集的校园新闻移动网站设计及实现
第一章 绪 论
移动互联网究竟是什么？有人认为，移动互联网就是把现有网络技
术，完完全全的从普通 PC
机搬到移动设备上，使用移动设备来进行网络交互；而有另外一部分人认
为，移动互联网不是简单的置换了网络访问终端，而且在原来传统互联网
上进行了技术的创新[1]。不过无论哪一种理解，移动互联网本身的价值
，都不仅仅停留在网络技术革新的方面，而是在于它对人们的日常的生活
，带来了非常深远的影响。移动互联网技术最大的特点就在于“移动”两
个字。它不同于传统的互联网，只能在固定地点（需要有 PC
环境，需要有网络环境）才可以上网，它是可移动的。移动互联网技术大
部分都是用在智能手机平板电脑等新兴的智能移动设备上，它可以最大化
的利用起一些平时看来非常零碎的时间，比如出行时搭公交的时间，聚会
之前等人的时间，甚至上洗手间、吃饭这些时间。在这些空闲的小时间中
，移动互联网发挥出它随时随地访问网络的特点，大家可以通过移动设备
浏览新闻、查看视频、网络聊天，满足自己上网的需要。
.........
第二章 相关技术理论简介
WEB 开发
PHP 语言得到了 IBM 和 Oracle 等公司的认可和支持，数以百万的
Web 战斗使用PHP
开发，说明了它的流行程度和易用性[8]。PHP适用于很多操作系统的平台
。不过最为常见的安装方式，就是将PHP作为一台Unix机器上Apache
Web服务器的一个模块。由于Unix和Apache都是开源软件，因此，使用该
开发平台的基本不需要付出任何的软件费用，只需要有可以支持软件跑起
来的服务器就可以。另外在该项目的研发当中，还需要存储数据的软件，
在这里本系统也使用开源免费的数据库 MySQL。MySQL
数据库是使用最为广泛的开源数据库系统，PHP+MySQL结合的 Web
应用解决方案正被越来越多的网站所采用。而且 PHP 语言天生对
MySQL数据库做了支持，提供多种方便使用的类库调用 MySQL 中的数据。
DOM 介绍
当文档被解析并转换成 DOM 树后，程序代码可以直接使用 DOM
接口来操作这个树结构[9]。这种和平台无关的技术使得程序可以动态的
改变网页上的任何内容，比如触发一个事件时候增加一段信息，到某个时
刻自动隐藏一些区域，或者是通过增加ID和Class属性改变页面上的样式
，这样使得网页的交互得到了很大的提升。DOM 是针对 XML 的基于树的
API。所谓基于树的 API，是指谈论 DOM
树的时候，实际上谈论的是节点NODE的层次。HTML文档会根据DOM的规范
把自身每一个成分都当作是一个节点[10]。HTML 文档在 DOM
的规定下被划分成以下的内容，整个HTML
会被认为是一个文档节点，而里面的每一个标签被划分为独立的元素节点
，每个标签之中的内容则是一个文本节点，而标签中的属性则是属性节点
，最后还有注释部分，为一个注释节点[11]。每个节点之间都存在关系。
上图当中，head 和 body都被认为是 html
的子节点，因为在这个树当中它们直接在html
节点下面。同样的我们也认为 html 是 body 和 head 的父节点。
第三章
校园新闻移动网站需求和设计..................................13
系统需求分析
...........................................13 第四章
校园新闻移动网站实现...........................30
新闻采集模块 ........................................30
数据处理模块 .................................39 第五章
系统测试.......................50 测试环境
................................50 功能测试
................................50
第五章 系统测试
测试环境
硬件：安装有 Linux 64 位系统 PC 机一台，磁盘空间为
1G，内存大小 2G。安卓系统手机一台，型号为 LG Neux 4。ipad
平板电脑一台。手机与笔记本电脑连接的USB
数据线一根。安装安卓应用测试时需要在手机设置内的开发人员选项中将
USB 调试打开，同时允许手机链接电脑。软件：Tomcat ，MySQL
版本: ，PHP 版本：，Android DevelopmentTools ADT
22，，手机端 Chrome 浏览器，ipad 版 safari 浏览器。
功能测试
进入采集系统后设置需要采集的页面，设置需要采集的页面信息。
本系统的目前的项目对接是广州城市职业技术学院，所以用城市学院的学
院新闻为测试进行数据采集。增加需要采集的页面的记录之后，可以开始
添加页面采集规则。首先开始分析页面。使用浏览器的 html
辅助插件查看列表的结构。在此本文介绍一下系统的采集规则。系统采集
规则类似于 JQuery 的筛选器。通过筛选标签，id 和
class，获得准确的页面位置。标签的规则是直接填写，比如 ul
标签，规则写作“ul”，。id的规则是前端加“#”号，比如“#main_con
”。class的规则是前端加“.”号,比如“.red”。当然页面中有可能会
出现重复的标签和
class，这时候需要增加数字表示，并用“|”隔开，比如是第三个 li
标签，写作“li|3”，如果是第一个则可以缺省数字不写。id、class、
标签的规则可以叠加使用，叠加时表示在前面一个规则的里面。比如第一
个 id 为 content 的标签里面的第三个 li，可以写作“#content
li|3”。由此可以知道列表页的规则为“#paging
ul”。通过相同的方法，可以分析出标题的规则为“#content
h2”，日期规则为“.info .fontVlaue”,日期格式为“Y 年 m 月 d
日H:i:s”，作者规则为空，正文规则为“.content”。得到规则之后通
过后台录入到系统当中。
...........
第六章 总结与展望
本文主要设计和实现了校园新闻网站的移动化方案。文章首先从移
动互联网的背景出发，分析了移动互联网的发展现状及其表现出来的巨大
潜力，并以此为前提阐述了校园移动化的意义所在，并且简单介绍实现该
方案所需要了解的软件技术。然后通过需求分析，结合系统所需要的环境
，设计出一个适合大部分学校新闻网站移动化的系统，最后详细的阐述了
整个系统的实现的方法。由于学校新闻网站系统的多样化，使得网站的移
动化也是复杂多变的。本系统利用网页的 DOM
技术进行数据采集，在一定的程度上统一了新闻网站的数据。另外使用中
间程序对数据进行管理和输出，也能最大限度的集中管理所有的移动数据
，使得系统由多变为单，由复杂变为简单。最后系统提供 web app
形式和原生应用
api，在移动端通过浏览器和原生应用两种方式来接收新闻数据，最大化
的适应了各种层次的需求。
............ 参考文献（略）
