- 1 -
中国科技论文在线
娱乐网站识别技术的研究
张霄龙1，杨林2**
作者简介：张霄龙，（1989-），男，本科在读，计算机网络
通信联系人：杨林，（1961-），男，副教授，计算机网络
（1. 中国矿业大学（北京）机电与信息工程学院，北京 100083；
2. 中国矿业大学（北京）现代教育技术中心，北京 100083） 5
摘要：网站数量的过于庞大，人们在对于信息选择过程中会面对被动的局面，所以有一些工
作人员去做了一些网络识别的工作，旨在为人们营造一个好的网络信息获取环境，同时进行
较好的网络信息的管理。在此过程中，作为网络异军突起的娱乐类型的网络逐渐获得人们的
重视。本课题的主要研究内容集中在娱乐网站的特征的识别，不同于以往，本课题研究的特
征识别技术将建立分类数据库，最终结果以关系数据库的方式呈现，对于单一的传统的识别10
技术和独创的协议分析技术进行有效的整合。传统的技术是同数据库中的 URL 地址进行匹配
（是本课题的基本技术点之一），我们在 URL地址匹配后，会对网络地址再进行一个匹配分
类，记录入已经建好的分类数据库，分类依据网站的内容和应用方向，这个将作为一个表来
呈现直观的分类结果。
关键词：数据库检索；特征识别；娱乐网站识别；文件 I/O 15
中图分类号：
Research for Entertainment Site Recognition Technology
Zhang Xiaolong1, Yang Lin2
(1. China University of Mining and Technology (Beijing) Institute of Electrical and Information 20
Engineering, Beijing 100083;
2. China University of Mining and Technology (Beijing) Center of Modern Education Technology,
Beijing 100083)
Abstract: The excessively large number of websites, people will face a passive situation in the
process for selecting the information, so some experts have done something in website 25
identification, intended to create a good way to aquire network information, at the same time, the
obvious information will support management in network .Running with the time, the sudden
emergence of the entertainment type of network gradually get more main topic of
this research focused on the identification of the characteristics of entertainment sites, unlike the
past, the feature recognition technology research classification database will be established, the 30
final results are presented in a way with relational database, This is effective integration for a
single identification technology and the traditional original protocol analysis techniques .The
traditional technique is to match the same URL address in the database (which is the subject of
one of the basic technical points), we matched in the URL address, and then will conduct a
matching category to network address. The classification of records will be put into the database 35
which has been completed. Those will classified according to the direction of the site content and
applications, this will serve as a table to show the results of visual classification.
Keywords: database searching; feature recognition; entertainment site identification; file I/O
0 引言 40
娱乐网站遍布人们生活的各个角落，娱乐类型的广泛程度跟其根本属性是分不开的。各
个年龄段有着自己独特的娱乐方式，青少年通过娱乐网站来获取视觉和听觉的愉悦，享受从
中获得的乐趣；中青年同过娱乐网站来缓解工作压力，排遣生活的寂寞；老年人独守空巢，
娱乐网站是精神的一大寄托。本课题的主要工作是放在座位青年的大学校园中，关于娱乐网
站的的识别技术的研究。 45
大学生不同于义务教育下的学生，有很多可以自己支配的时间，而很大一部分可支配时
- 2 -
中国科技论文在线
间都放在了娱乐网站上，在娱乐自己的同时可以获取实时信息、增加社会阅历。网络站点有
的属于网通有的属于电信；每个网站主要经营的类型也不同如：视频、音频、文本、安装文
件等。所以，搞清楚被访问网站的类别所述类别，对于有效的管理校园网络，提高网络资源
的利用率有导向性的作用。 50
通过研究娱乐网站识别技术，将网络上捕获的信息进行数据库匹配，同时建立关系数据
库，将匹配的信息输出呈现给网络管理员，对于校园网络线路的租赁和学生的主要生活动态
有直观的了解。
1 网站识别现状分析
网站识别随着网络在人们生活中比重不断增大，越来越受到业内人士的重视。计算机网55
络带来了信息联通和共享的重大突破，当今世界是信息的世界，作为人们传送信息的桥梁，
Internet 起到了极大的作用。在过去的十几年中，Internet 得到了飞速的发展，已经成为了当
今世界上最大的通讯系统，拥有成千上万的数据库。提供的信息包括文字、数据、图像、声
音等形式，信息属性的有软件、图书、报纸、杂志、档案等，其门类涉及政治、经济、体育、
传媒、娱乐、教育、法律、生活等生活的各个领域。作为信息的承载体，网络站点的数量巨60
大的惊人，2010 年保守估计，世界上注册的网络站点数目达 7690 万，并且数目在不断的增
加中。
作为信息时代发展迅猛的网络工具，是新时代的一柄双刃剑，在人们进行工作学习的同
时，一些非法的网站也逐渐渗透网络的各个角落，针对此种情况，业内人士开始研究网络的
特性，希望能对网络通信加以控制。现在的网管软件可以监控在路由器、交换机、防火墙等65
任何 SNMP 网络设备的端口流量、带宽、吞吐量、IP 地址、丢包率、错误包、运行状况、
端口状态等关键指标。
人们在解决了温饱问题之后，便有了精神上的娱乐追求，网络中娱乐网站的比重在逐年
增大，并且带来越来越多的经济效益。大学校园中的在校生更是娱乐网站的访问主力军，无
论是何种形式的娱乐网站，对于好奇的大学生都有着致命的吸引力，人人网、中国娱乐网、70
4399 小游戏、uuu9、优酷、酷我、魔兽客服等各种形式的娱乐网站频频上镜。
然而在特征识别领域，人们却忽视了娱乐网站的巨大影响，目标过于单一导致网站识别
分类过于笼统，进行识别的特征过于底层，我们需要更为细致的分类，更为有效的分类。
目前网络监控中对于网站识别的主要技术点在于：
从提取规则角度讲,Web信息提取方法可分为两大类:基于标识规则和基于内容规则的方75
法.一些研究者把这两种规则融合在一起来研究 Web 信息提取方法,以求充分利用两种提取
规则的特点来提高提取效率。
基于标识规则的是在向服务器发送请求后，服务器将页面呈现给用户所使用的 HTML
语言的语法规则，对其中的语法标识进行提取。
基于内容的是使用文本相似度判别，相当准确，但是计算速度慢，提高的方法无非是先80
索引进行预处理，或者用 SVD 来降维减少矩阵运算时间。也可以将文本摘要作为文本特征，
进行特征重复判别。而抽取文本关键词，构成比较小的文本向量作为特征进行判别可以有效
的提高识别效率。
这些识别方法无法达到为网络资源的管理提供方向性的建议，我们希望做的是以一种量
化的观点去指导，在校园访问娱乐网站方面有具体的统计信息，包括访问网络站点统计，流85
统计，落实用户访问的网络类型是不是我们已经识别的站点和类型，整体分析起到导向性的
- 3 -
中国科技论文在线
作用，而我们现在做的也只是底层的工作，在进行了娱乐网站特征识别分类以后，可以在此
基础上再有所建树，目前阶段任务就是根据网络应用对娱乐网站分类。
2 娱乐网站的类型
娱乐网站目前主要的分类有：游戏，视频，音频，图片，小说等。 90
这些形式的文件概括来说主要类型有：音频文件、视频文件、图片文件、文本文件、安
装文件等
3 查询匹配数据库的建立
娱乐网站主要从两个方面去建立数据库，一方面是网站的主营内容，另一方面是网站在
进行通信的时候用到的主要协议类型[1]。 95
抓取数据包，在分析数据包以后会首先将捕捉的信息存放在一个临时建立的表 sublist，
同时可以将不重复的信息查询出来并存储到 mainlist 中。对于 sublist 中的信息可以将同本地
局域网有关的数据进行显示，然后根据模糊查询从 local 和 content、protocol 中区进行相关
数据的查询。数据库的基本内容如下图所示：
100
图 1 数据库的映射关系
对于娱乐网站的类型进行有效的整理以后，针对不同类型的网站，建立娱乐网站识别的
基础内容匹配数据库。有效的字段，包括类型号，网站主营类型，网站 URL 地址，网站中105
文名，网站的 IP，站点的网络类型等。建立的 content 效果图如下所示：
图 2 content表
- 4 -
中国科技论文在线
在协议层面上还可以根据访问网站在各层用到的网络协议的不同建立一个协议匹配的110
数据库。有效字段有 ID，URL 地址，网站中文名称，应用层主要协议，运输层的主要协议，
网络层得主要协议，数据链路层的主要协议。建立的 protocol 效果图如下：
图 3 protocol 表 115
临时表格 sublist 用于存储从网络上捕获到的数据包分析出来的相关信息，包括数据包
的捕获时间，目的 IP，源 IP 等，捕获的 sublist 效果图如下所示：
图 4 sublist表 120
4 娱乐网站识别研究思路
网络数据包的抓取
利用 WinPcap 开发包对网络上的数据包进行抓取，利用回调函数循环抓包，在回调函
数中对数据包的信息进行操作和输出[2]。 125
在控制台应用程序中实现的抓包效果如下：
- 5 -
中国科技论文在线
图 5 IP数据包的相关信息
数据包中信息的提取和存储 130
抓取数据包以后，可以实现分析应用层 TCP 协议、UDP 协议，网络层 IP 协议、ICMP
协议、IGMP 协议、ARP 协议、RARP 协议，数据链路层中分析 MAC 地址等功能。
在回调函数中，对于捕捉到的数据包处理的同时，将相关信息存入 TXT 文件。fstream
之于文件 I/O 具有独特的优势[3]。利用 fstream 可以非常方便的对与流的出入进行有效控制，
通常 TXT 文件作为历史数据的备份。信息存入 TXT 文件以后，利用 ADO 技术对于外部建135
立好的 ACCESS 数据库进行连接，打开数据库存入信息[4]。ADO 技术使用之前，需要在
头文件中将 引入，对数据库的操作可以利用 ADO 智能指针中对应的方法，
连接数据库成功后即可进行相关操作[5]。
最初捕获到的数据包的信息都存放在 sublist 表中，效果见图 4。
查询设计的建立 140
前面已经讲过模糊查询，对于本次试验，以优酷网为例，查询实现的语句：
SELECT _time, _IP, _IP, , _Address,
, _Name, _Type
FROM [local],[content]
WHERE _IP="" and _IP like '*' and 145
IP="";
这样可以把捕获数据包中的信息同 content 的表建立联系，可以查看访问网站的内容类
别的信息，效果图如下所示：
150
图 6 查询设计（1）
通过模糊查询，同样可以建立在 local 和 protocol 之间的数据联系，这样对于网站访问
应用到的主要协议有直观的展示，查询实现语句：
SELECT _time, _IP, _IP, _Address, protocol. 155
Chinese_Name, protocol.应用层, protocol.运输层, protocol.网络层, protocol.数据链路层
- 6 -
中国科技论文在线
FROM [local], [protocol]
WHERE _IP="" and _IP like '*' and
_Address=(select URL_Address from content where ip="");
查询效果图如下所示： 160
图 7 查询设计（2）
5 结束语 165
至此已经能够实现的功能包括：捕获数据包，分析包头信息，去匹配数据库中已有的基
本表，输出对应的内容类别信息和协议类别信息，从而实现娱乐网站的识别。
通过扩展阅读，本课题还可以往以下更深的方向去做，那就是数据库的自学习方法和从
数据包的数据部分进行网络类型的识别：
1) 网络站点信息日新月异，仅仅是考静态的数据库去进行匹配显示是难以满足现实条170
件的。所以想利用智能的方法让数据库进行陌生 IP 地址自学习技术，对于数据库
中没有的 IP 地址，数据库要自动学习跟 IP 相关的类别的信息，然后添加进入总表。
这个想法的基本技术点是，连接网络 IP 地址查询的数据库，将信息自动添加入数
据库。
2) 在网络七层结构中，对于文件进行格式化在表示层进行，我们可以试着去还原数据175
包中数据部分的信息，这样达到更为细致的分类的目的。
6 致谢
首先感谢我的导师杨林老师给予我方向上的指导和提供的技术支持，杨老师教给我的不
只是知识，还有进行学术研究的格物致知的方法。
还要感谢网络《网络安全开发包详解》的作者刘文涛老师，这本书深入浅出的讲解了如180
何捕获数据包；感谢《计算机网络（第 5 版）》的作者谢希仁老师，提供基础技术的支持。
感谢我的同学冯泽权对于我在 ADO 的应用中对我的指导和帮助。
[参考文献] (References)
[1] 谢希仁.计算机网络（第 5 版）[M].北京：电子工业出版社，2009 185
[2] 刘文涛.网络安全开发包详解[M].北京：电子工业出版社，2005
[3] Chuck C++ 学习指南[M].前导工作室.北京：机械工业出版社，2000
[4] 周治平.ADO 数据存取技术[J].中国期刊方阵 CJFD 收录刊.1999 年.07 期.1-5 页
[5] 卢云 .ADO 技术在文献信息检索中的应用[OL].[2002-3-20].
190
