캬웕톶 2?0?0?8?年쓪1?0?月퓂?农얩机믺化뮯研퇐究뺿?第뗚1?0?期웚?基믹于폚I?n?t?er?ne?t?的뗄农얩业튵信탅息쾢资源풴采닉集벯系쾵统춳?헔赵洋퇳，ꎬ马십建붨斌뇳，ꎬ쇵刘博늩，ꎬ王췵春뒺山즽?(?뫓河놱北얩农튵业듳大톧学탅信쾢息뿆科톧学폫与벼技쫵术톧学풺院ꎬ，뫓河놱北保놣定뚨?0?71?0?0?1? )? 摘햪要튪:ꎺ随쯦着ퟅI??nt??e?rne?t?的뗄톸迅速쯙发랢햹展，ꎬ웤其탅信쾢息죝容솿量돊呈놬爆햨炸탔性퓶增뎤长ꎬ，떫但탅信쾢息뗄的엓庞퓓杂컞无탲序튲也룸给죋人쏇们룼更뫃好뗘地샻利폃用信탅息쾢带듸来살?了쇋困삧쓑难。ꆣ헢这뻍就튪要求쟳人죋们쏇必뇘须탫能쓜够릻对뛔W?e?b?信탅息쾢资源풴进뷸行탐及벰时쪱采닉集벯、ꆢ高룟效킧处뒦理샭和뫍科뿆学톧组ퟩ织횯。ꆣ为캪此듋，ꎬ쳡提出돶了쇋一튻种훖在퓚??HT??ML?结뷡构릹分럖析컶和뫍쳘特征헷词듊匹욥配엤믹基뒡础上짏实쪵现쿖网췸页튳쳘特定뚨信탅息쾢닉采벯集的뗄新탂方랽法램，ꎬ늢并퓋运폃用듋此랽方램法짨设볆计了쇋튻一룶个얩农튵业信탅息쾢资源풴?采닉集벯系쾵统춳。ꆣ实쪵践볹证횤明쏷，ꎬ듋此方랽法램在퓚W?e?b?信탅息쾢采닉集벯系쾵统춳中훐具뻟有폐较뷏强잿的뗄实쪵用폃性탔和뫍灵쇩活믮性탔。ꆣ?关맘볼键듊词:ꎺ信탅息쾢采닉集벯:ꎻ互뮥联솪网췸ꎻ?HT?M?L?;ꎻ特쳘征헷词듊?中훐图춼럖分类샠号뫅ꎺ:T?同??9??3.ꎮ4?;ꎻ8?1??2?6? 文컄献쿗标뇪识쪶码싫ꎺ:A??文컄章헂编뇠号뫅:ꎺ1??0?0?3 -ꆪ1?8?8?X?(?2??0?0?8)?1??0 -ꆪ0?1?3?9? ꆪ-0?3?? ??틽퇔??>ꎻ还뮹有폐一튻些킩标뇪记볇是쫇单떥独뛀出돶现쿖的뗄，ꎬ如죧<??b?r ?>、ꆢ<?l?i>?等뗈。ꆣ?0 引言뇪标记볇与폫标뇪记볇之횮间볤可뿉以틔并늢列쇐出돶现쿖，ꎬ튲也뿉可틔以쪹使튻一뛔对标뇪记볇及벰?互뮥联솪网췸ퟷ作캪为튻一룶个엓庞듳大的뗄分럖布늼쪽式틬异构릹超뎬文컄本놾数쫽据뻝?웤其内쓚容죝完췪全좫包냼含몬在퓚另쇭一튻对뛔标뇪记볇的뗄内쓚容죝中훐，ꎬ듓从뛸而产닺生짺标뇪?库뿢，ꎬ웤其탅信쾢息솿量돊呈놬爆햨炸탔性퓶增长뎤ꆭ[1]。ꆣ헢这킩些탅信쾢息多뛠以틔半냫结뷡构릹?볇记嵌잶套쳗。ꆣ?化뮯탎形式쪽存듦在퓚，ꎬ볆计쯣算믺机뫜很쓑难횱直뷓接뛔对其웤分럖析컶和뫍理샭解뷢，ꎬ而뛸要튪?뷸튻늽뛔탅쾢볓틔폐킧췚뻲폫뫏샭샻폃뻍뇤뗃룼캪?2? ?系쾵춳统릤工ퟷ作쇷流돌程벰及结뷡构릹框뿲架볜?进一步对信息加以有效挖据与合理利用就变得更为困삧쓑难了쇋。ꆣ因틲此듋，ꎬ뮥互솪联췸网퓚在듸带룸给人죋们쏇丰럡富뢻信탅息쾢的뗄同춬时쪱，ꎬ?놾本컄文提쳡出돶的뗄基믹于폚H??T?ML?结뷡构릹分럖析컶和뫍特쳘征헷词듊匹욥配엤?又폖给룸죧如뫎何룼更폐有킧效뗘地샻利폃用탅信쾢息提쳡出돶了쇋挑쳴战햽。ꆣ如죧何뫎从듓网췸?的뗄?We?b?탅信息쾢采닉集벯方랽法램，ꎬ利샻用폃了쇋?HT??ML?뷡结构릹树쫷提쳡取좡算쯣?页튳中훐自ퟔ动뚯쪶识别뇰和뫍抽돩取좡有폐用폃的뗄?We?b?信탅息쾢，ꎬ뛔对죋人쏇们룼更뫃好地뗘?法램。ꆣ首쫗先쿈，ꎬ붫将듽待닉采벯集뗄的췸网튳页뷢解析컶为캪H?T??ML?풴源文컄档떵，ꎬ늢并?利샻폃用互뮥솪联网췸具뻟有폐重훘要튪的뗄意틢义틥。ꆣ目쒿前잰，ꎬ탭许뛠多얩农튵业信탅息쾢网췸?对뛔?HT??ML?文컄档떵进뷸行탐清쟥理샭，ꎬ맽过싋滤뗴掉컞元폃用的뗄标뇪记볇和뫍信탅?站햾会믡定뚨期웚发랢布늼一튻些킩农얩产닺品욷价볛格룱及벰供릩求쟳关맘系쾵信탅息쾢，ꎬ如죧果맻?息쾢?[4]?。ꆣ接뷓ퟅ着构릹造퓬?HT??ML?结뷡构릹树쫷，ꎬ쪹使뗃得뷡结릹构쫷树뷡结点뗣냼包含몬?能쓜냑把这헢킩些信탅息쾢提쳡取좡出돶来살，ꎬ볓加以틔规맦格룱化뮯，ꎬ놣保듦存폚于쫽数据뻝库뿢?网췸튳页内쓚죝容信탅息쾢。ꆣ其웤次듎，ꎬ뛔对뷡结构릹树쫷进뷸行탐信탅息쾢采닉集벯，ꎬ在퓚网췸?中훐，ꎬ뻍就캪为럖分컶析얩农닺产욷品볛价룱格탐行쟩情、ꆢ횸指떼导얩农튵业짺生닺产쳡提供릩了쇋?튳页뷡结릹构树쫷中훐定뚨位캻特쳘征헷词듊库뿢中훐的뗄待듽抽돩取좡信탅息쾢，ꎬ用폃特쳘征헷词듊?可뿉뾿靠的뗄쫽数据뻝保놣证횤。ꆣ为캪此듋，ꎬ뷸进탐行了쇋基믹于폚?I?n?t?e?rne?t?的뗄农얩业튵?뫍和网췸页튳结뷡构릹树쫷的뗄叶튶结뷡点뗣信탅息쾢进뷸行탐匹욥配엤，ꎬ듓从而뛸找헒到떽特쳘征헷?탅信息쾢资源풴采닉集벯系쾵统춳的뗄研퇐究뺿。ꆣ?词듊所쯹在퓚行탐与폫列쇐的뗄所쯹有폐信탅息쾢。ꆣ最ퟮ后뫳，ꎬ뛔对헒找떽到的뗄탅信쾢息进뷸行탐??????튳쏦뗄뷡릹쳘뗣?有폐效킧性탔验퇩证횤，ꎬ늢并냑把폐有킧效뗄的쫽数据뻝保놣存듦在퓚数쫽据뻝库뿢中훐，ꎬ쪹使웤其?1 Web页面的结构特点成돉为캪맦规룱格뮯化良솼뫃好的뗄信탅息쾢。ꆣ쾵系춳统릤工作ퟷ流쇷程돌及벰结뷡构릹框뿲架볜??We?b?系쾵统춳被놻设짨计볆成돉一튻个룶面쏦向쿲信탅息쾢发랢布늼和뫍浏览샀的뗄?如죧图춼1?쯹所示쪾。ꆣ?系쾵统춳，ꎬW?e?b?信탅쾢息뻟具有폐非럇结뷡构릹化뮯、ꆢ뚯动첬态탔性뫍和뢴复퓓杂탔性的뗄特쳘?뗣??ꆣ쒿잰ꎬ뻸듳뛠쫽뗄???튳쏦닉폃????폯램룱?〈?ꆪ?主죽??王?ꆪꆰ?三ꆢ〉?点[2]。目前，绝大多数的Web页面采用HTML语法格= 쪽쫩킴ꎬ웤훐훷튪냼몬탅쾢?췸튳풪쯘?뫍뇪볇솽듳늿?二 -- ==-.._--------. 式书写，其中主要包含信息(网页元素)和标记两大部分럖内쓚容죝?[3]?。ꆣW?e?b?页튳面쏦中훐的뗄信탅息쾢和뫍显쿔示쪾格룱式쪽由평标뇪记볇及벰?웤쫴탔살뚨틥ꎬ듳뛠쫽뗄뇪볇평웰쪼뇪볇뫍뷡쫸뇪볇?不\其属性来定义，大多数的标记由起始标记和结束标记组ퟩ成돉，ꎬ퓚在H?T??ML?컄文档떵中훐成돉对뛔出돶现쿖。ꆣ?HT??ML?폯语法램规맦则퓲规맦?定뚨뇪标记볇放럅在퓚尖볢括삨号뫅里샯，ꎬ뷡结쫸束뇪标볇记폫与뾪开쪼始뇪标볇记的뗄캨唯一튻区쟸?别뇰是쫇在퓚标뇪记볇前加잰"볓/ꆰ"ꎯꆱꎬ，죧如<?b?o?d?y? ?> ꆤꆤ<?/ꎯb?o?d?y?? 收쫕稿룥日죕期웚ꎺ2?∞??8?-튻1?1?-ꆪ2?7??基믹金뷰쿮项目쒿:ꎺ凋뫓北놱农얩大듳大듳学톧生짺科뿆技벼创뒴新탂基믹金뷰?(?σ?7-튻?KJ-튻0?2?6?)?作ퟷ者헟볲简뷩介ꎺ:헔赵洋퇳(1???9?7?6-튻?)ꎬ，쓐男ꎬ，뫓河놱北놣保뚨定죋人，ꎬ붲讲师쪦，?硕쮶士쪿研퇐究뺿生짺，ꎬ?ꎺꆭꆭꆭꆭꆭꆭꎮꎮ?ꆯ???ꆪ????????????????ꎮ???ꆣ?图춼1??We?b?탅信息쾢资풴源采닉集벯系쾵统춳工릤作ퟷ流쇷程돌及벰结뷡构릹框뿲架볜?(E-mail)勾mι99@。ꆤ. 1??3?9.?
캬웕톶 ?20?0?8?年쓪?1?0月퓂?农얩机믺化뮯研퇐究뺿?뗚第?1?0期웚??2.ꎮ1? 信탅息쾢搜쯑索쯷器웷?컄文档떵进뷸行탐逐훰字ퟖ符럻扫즨描쏨，ꎬ춨通맽过에判뛏断뇪标볇记뗄的틢意틥义살来解뷢析컶数쫽?信탅쾢息搜쯑索쯷웷器的뗄훷主要튪功릦能쓜是쫇在퓚I?n?te?me?t?上짏寻톰找헒包냼含몬?뻝据，ꎬ짺生돉成룃该컄文떵档뗄的쫷树탍型뷡结릹构ꆣ。튻→个룶简볲单떥的뗄H?T?M?L?컄文档떵?쳘特征헷词듊网췸页튳的뗄U?R?L?ꎬ，늢并냑把헒找떽到的뗄?UR?L?地뗘址횷按내网췸页튳信탅息쾢?的뗄뷡结릹构쫷树如죧图춼2?쯹所示쪾，ꎬ뫚黑즫色圆풲点뗣表뇭示쪾待듽采닉集벯信탅息쾢。ꆣ?与폫特쳘征헷词듊的뗄相쿠关맘性탔排업序탲，ꎬ냑把ퟮ最쿠相关맘的뗄U?R?L?送쯍给룸H?T?M?L??H??TM?L?结뷡构릹树쫷的뗄构릹造퓬方랽法램描쏨述쫶如죧下쿂:ꎺ?뷢컶웷ꆣ캪쇋쳡룟닉벯탅쾢뗄쿠맘탔ꎬ훷튪닉폃죋릤?H???tm?l? 解析器。为了提高采集信息的相关性，主要采用人工干룉预풤的뗄办냬法램，ꎬ냑把쳘特定뚨的뗄?UR?L?듦存于폚数쫽据뻝库뿢中훐Oꆣ??2.ꎮ2?? H??T?ML?解뷢析컶器웷?????뷢컶웷뢺퓰냑???튳쏦뮯캪????풴?Ti t 1 HTML解析器负责把Web页面转化为HTML源文컄档떵，ꎬ늢并对뛔?HT??ML?文컄档떵进뷸行탐预풤处뒦理샭。ꆣ主훷要튪是쫇过맽滤싋掉뗴??HT??ML?컄文档떵中훐的뗄컞无用폃标뇪记볇和뫍信탅息쾢，ꎬ늢并볬检닩查뇪标볇记쫇是否럱成돉?뛔对出돶쿖现，ꎬ뛔对폚于늻不욥匹엤配뗄的뇪标볇记내按헕照뇪标볇记욥匹엤配的뗄原풭则퓲添쳭加볓?结뷡束쫸标뇪记볇，ꎬ쪹使每쎿个룶标뇪记볇匹욥配엤。ꆣ?2?ꎮ.3?? ?H?TM?L?结뷡릹构树쫷生짺成돉器웷?H??TM?L?结뷡릹构树쫷生짺돉成器웷负뢺퓰责把냑经뺭过맽预풤处뒦理샭的뗄H??TM?L??文컄档떵转化뮯为캪?HT?M?L?结뷡构릹树쫷，ꎬ늢并对뛔?HT??ML?结뷡构릹树쫷进뷸行탐遍뇩?历샺，ꎬ뛔对뇩遍샺历뗃得떽到뗄的뷚节뗣点탅信쾢息뫍和듓从쫽数뻝据뿢库中훐쳡提좡取的뗄特쳘征헷?듊词进뷸行탐匹욥配엤，ꎬ듓从而뛸找헒到떽有폐用폃信탅息쾢。ꆣ??ꎮ?탅쾢닉벯웷?图춼2?볲简떥单的뗄H?T??ML?结뷡构릹树쫷? 信息采集器탅쾢닉벯웷샻폃쳘헷듊욥엤뗄랽램뇩샺췸튳뷡?1? ?)뛁读좡取뇪标볇记에判断뛏是쫇否럱到떽达듯文컄件볾尾캲，ꎬ죧如맻果쎻没폐有到떽达듯?信息采集器利用特征词匹配的方法遍历网页结릹쫷ꎬ늢뛔닉벯뗃떽뗄뷚뗣탅쾢뷸탐폐킧탔퇩횤ꎬ냑?文컄件볾尾캲，ꎬ에判뛏断是쫇否럱是쫇开뾪始쪼标뇪记볇;ꎻ?构树，并对采集得到的节点信息进行有效性验证，把폐킧뗄탅쾢놣듦퓚쫽뻝뿢훐ꎬ듓뛸쪵쿖???탅쾢뗄닉??2)?如죧果맻是쫇开뾪始쪼标뇪记볇，ꎬ뛸而쟒且根룹结뷡点뗣为캪空뿕，ꎬ퓲则뒴创建붨根룹?有效的信息保存在数据库中，从而实现Web信息的采벯ꎬ쪹뗃럇뷡릹뮯뗄컄놾탅쾢뮻캪뷡릹뮯솼뫃뗄쫽?结뷡点뗣，ꎬ쪹使떱当잰前结뷡点뗣为캪根룹结뷡点뗣;集，使得非结构化的文本信息转换为结构化良好的数ꎻ?뻝뿢탅쾢ꆣ??3)?如죧果맻是쫇开뾪始쪼标뇪记볇，ꎬ뛸而쟒且当떱前잰结뷡点뗣不늻为캪空뿕，ꎬ에判断뛏?据库信息。탂新标뇪记볇是쫇否럱为캪<??tab?l?e ?>、ꆢ<??tr >?、ꆢ<?t?d ?>뗈等췸网튳页뷡结构릹控뿘?3? 关맘键볼技벼术쫵分럖析컶?制훆标뇪记볇，ꎬ뛸而쟒且쫇是럱否与폫当떱前잰节뷚点뗣相쿠同춬;ꎻ??ꎮ?????컄떵풤뒦샭?4?)?如죧果맻获믱取좡的뗄标뇪记볇和뫍当떱前잰结뷡点뗣不늻同춬，ꎬ퓲则根룹뻝据获믱取좡? HTML文挡预处理퓚짺돉????뷡릹쫷횮잰ꎬ쫗쿈튪뛔????풴컄?标뇪记볇创뒴建붨新탂结뷡点뗣，ꎬ쪹使횮之돉成캪为当떱前잰结뷡点뗣的뗄子ퟓ结뷡点뗣，ꎬ使쪹新在生成HTML结构树之前，首先要对HTML源文탂?떵뷸탐튻킩쟥샭뫍룱쪽뮯뗄릤ퟷꎬ쪹웤룼뇣폚볆쯣믺?创뒴建붨的뗄结뷡点뗣为캪当떱前잰结뷡点뗣，ꎬ获믱取좡当떱前잰结뷡点뗣的뗄内쓚容죝;ꎻ?档进行一些清理和格式化的工作，使其更便于计算机럖컶ꆣ뻟쳥랽램죧쿂ꎺ?5?)?如죧果맻获믱取좡的뗄标뇪记볇和뫍当떱前잰结뷡点뗣相쿠同춬，ꎬ根룹据뻝믱获取좡标뇪?分析。具体方法如下:??좥돽컄떵훐뗄뿕룱뫍뇭쪾뿕룱뗄럻뫅?记볇创뒴建붨新탂结뷡点뗣，ꎬ쪹使횮之돉成캪为떱当前잰结뷡点뗣的뗄兄탖弟뗜，ꎬ뇪标볇记当떱前잰?1 )去除文档中的空格和表示空格的符号ꆰ?????ꆱꆣ?结뷡点뗣为캪匹욥配엤结뷡点뗣，ꎬ늢并쪹使탂新뒴创붨建뗄的뷡结뗣点为캪当떱前잰结뷡点뗣，ꎬ获"&nbps"。믱???즾돽컞폃뗄뇪볇벰탅쾢ꆣ쒿잰뗄???튳쏦듳?取좡当떱前잰结뷡点뗣的뗄内쓚容죝:2)删除无用的标记及信息。日前的Web页面大ꎻ?뛠춨맽뇭룱뫍닣쪵쿖췸튳뗄늼뻖벰췸튳풪쯘뗄뚨캻ꎬ??6)?죧如果맻获믱取좡的뗄标뇪记볇为캪结뷡束쫸标뇪记볇，ꎬ쟒且캪为当떱前잰뷡结点뗣标多通过表格和层实现网页的布局及网页元素的定位，뇪?틲듋훷튪뾼싇췸튳뷡릹뿘훆뇪볇?죧?????ꆢ??????记볇的뗄匹욥配엤结뷡束쫸标뇪记볇，ꎬ퓲则뇪标볇记룃该结뷡点뗣为캪匹욥配엤结뷡点뗣，ꎬ并늢使因此主要考虑网页结构控制标记(如<html >、<쪹?body ?ꆢ?????ꆢ???ꆢ???ꆢ????뗈?ꆣ뛔폚업냦?其웤父뢸结뷡点뗣为캪当떱前잰结뷡点뗣;〉、<table >、<tr >、<td >、<div >等)。对于排版ꎻ?뿘훆뇪볇ꆢ쫴탔뿘훆뇪볇ꆢ쪵쳥풪쯘뇪볇뫍릦쓜풪쯘??7)?如죧果맻没쎻有폐找헒到떽和뫍该룃结뷡束쫸标뇪记볇匹욥配엤的뗄结뷡点뗣，ꎬ则퓲回控制标记、属性控制标记、实体元素标记和功能元素믘?뇪볇ꎬ뿉쫓캪컞폃뇪볇?죧????ꆢ?????ꆢ????ꆢ?쯝溯到떽当떱前잰结뷡点뗣的뗄第뗚1?룶个未캴匹욥配엤的뗄父뢸结뷡点뗣，ꎬ죧如果맻쫇是和뫍结标记，可视为无用标记(如<br >、<font >、<img >、뷡???튻튻?ꆢ?????ꆢ???????뗈뇪볇?ꆣ?쫸束标뇪记볇匹욥配엤的뗄结뷡点뗣，ꎬ퓲则뇪标볇记룃该父뢸结뷡点뗣为캪匹욥配엤结뷡点뗣，ꎬ并늢?<! -一〉、<style >、<script >等标记)。??평폚????폯램튪쟳늻퇏룱ꎬ폐킩뇪볇쎻폐돉?쪹使其웤父뢸结뷡点뗣为캪当떱前잰结뷡点뗣O3)由于HTML语法要求不严格，有些标记没有成ꆣ?뛔돶쿖ꎬ횻폐웰쪼뇪볇ꎬ펦캪웤쳭볓뷡쫸뇪볇틔놣횤?3?ꎮ.3?? W?e?b?信탅息쾢的뗄采닉集对出现，只有起始标记，应为其添加结束标记以保证벯?뇪볇뛔뗄욥엤ꆣ??We?b?信탅쾢息的뗄닉采集벯利샻用폃了쇋特쳘征헷词듊匹욥配엤的뗄原풭理샭。ꆣ首标记对的匹配。쫗??ꎮ??????뷡릹쫷뗄릹퓬?先쿈，ꎬ퓚在쫽数뻝据뿢库훐中붨建솢立쳘特헷征듊词表뇭，ꎬ냑把듽待닉采벯集탅信쾢息的뗄特쳘征 HTML结构树的构造헷?룹뻝????풴컄떵뷡릹쳘헷ꎬ뿉틔랢쿖웤뇪볇뗄?词듊훃置폚于쳘特헷征词듊表뇭中훐。ꆣ춨通过맽查닩找헒特쳘征헷词듊在퓚?HT??ML?源풴文根据HTML源文档结构特征，可以发现其标记的컄?层닣次듎和뫍嵌잶套쳗特쳘点뗣[?王?ꆣ]붫。将뺭经풤预뒦处샭理횮之뫳后뗃得떽到的뗄H?T?M?L??档떵中훐的뗄位캻置훃来살定뚨义틥关맘键볼信탅息쾢块뿩，ꎬ늢并且쟒在퓚?HT??ML?结뷡构릹树쫷?. 140.
캬웕톶 ?20?0?8?年쓪1??0퓂月?얩农机믺化뮯研퇐究뺿?第뗚?1?0웚期?훐中좷确뚨定냼包몬含该룃쳘特征헷词듊的뗄节뷚点뗣，ꎬ듓从뛸而뗃得떽到냼包몬含룃该特쳘征헷词듊?뎡场名쏻称돆、ꆢ탅信쾢息랢发늼布죕日웚期以틔벰及每쎿种훖农얩产닺品욷的뗄名쏻称돆、ꆢ最ퟮ低뗍?的뗄맘关볼键뷚节뗣点集벯，ꎬ웤其룹根뷚节뗣点탅信쾢息뻍就쫇是튪要닉采集벯的뗄?We?b?信탅?价볛、ꆢퟮ最룟高볛价ꆢ、듳大ퟚ宗볛价뫍和돉成붻交솿量뗈等탅信쾢息ꆣ。헢这킩些탅信쾢息存듦在퓚?息쾢。ꆣ由평于폚特쳘征헷词듊可뿉能쓜出돶现쿖在퓚关맘键볼信탅息쾢块뿩之횮外췢，ꎬ쯹所以틔还뮹?于폚뛾二캬维表뇭格룱当떱中훐，ꎬ웤其뷡结릹构쿠相뛔对맦规랶范ꆣ。횻只튪要냑把쎿每一튻种훖农얩?需탨要튪对뛔采닉集벯到떽的뗄信탅息쾢有폐效킧性탔进뷸行탐验퇩证횤。ꆣ为캪此듋，ꎬ可뿉以틔利샻?产닺品욷的뗄名쏻称돆作ퟷ为캪特쳘征헷词듊保놣存듦在퓚数쫽据뻝库뿢中훐，ꎬ뻍就可뿉以틔춨通过맽?用폃节뷚뗣点벯集훐中뷚节뗣点룶个쫽数쫇是럱否폫与닉采벯集튪要求쟳的뗄信탅息쾢个룶数쫽相쿠?特쳘헷征词듊匹욥配엤确좷定뚨每쎿一튻行탐为캪的뗄关맘键볼信탅息쾢块뿩，ꎬ좻然后뫳틀依次듎取좡?욥匹엤配살来에判断뛏，ꎬ횻只폐有폫与닉采벯集튪要쟳求탅信쾢息룶个쫽数욥匹엤配的뗄탅信쾢息块뿩?出돶뇪标记볇?<t?d>?쯹所标뇪识쪶的뗄信탅息쾢即벴可뿉。ꆣ?才닅是쫇关맘键볼信탅息쾢块뿩。ꆣ?5? ?뷡结语폯?4? ?系쾵춳统实쪵施쪩与폫应펦用폃?놾本文컄提쳡出돶的뗄在퓚?H?T?ML?뷡结构릹分럖析컶和뫍特쳘征헷词듊匹욥配엤基믹?샻利用폃以틔上짏介뷩绍짜的뗄W?e?b?信탅息쾢采닉集벯方랽法램，ꎬ뾪开랢发짨设计볆了쇋?础뒡上짏实쪵现쿖网췸页튳信탅息쾢采닉集벯的뗄方랽法램，ꎬ퓚在튻一킩些뷡结릹构쿠相对뛔固만定뚨?튻一룶个얩农튵业탅信쾢息资풴源닉采벯集系쾵统춳。ꆣ웤其主훷要튪功릦能쓜是쫇从듓中훐国맺?的뗄췸网站햾짏上应펦用폃效킧果맻非럇常뎣好뫃，ꎬ닉采벯集탅信쾢息뗄的돉成릦功率싊和뫍准ힼ确좷?얩农业튵信탅息쾢网췸(??ht?t?pꎺ:ꎯ/ꎯ/?w?ww?.ꎮ?哺'Ï.ꎮ?go??v.ꎮ ?c?n)?上짏采닉集벯全좫国맺主훷?率싊非럇常뎣高룟，ꎬ떫但떱当폶遇떽到탂新뗄的췸网站햾时쪱，ꎬ폈尤웤其쫇是췸网튳页뷡结릹构发랢?要튪农얩닺产品욷批엺发랢市쫐场뎡发랢布늼的뗄农얩产닺品욷价볛格룱信탅息쾢，ꎬ틔以뇣便分럖析컶?生짺较뷏大듳变뇤动뚯时쪱，ꎬ뻍就뇘必탫须죋人为캪地뗘修탞改룄信탅息쾢采닉集벯规맦则퓲，ꎬ以틔?某쒳种훖얩农产닺品욷的뗄价볛格룱走ퟟ势쫆，ꎬ폃用틔以쳡提릩供횸指떼导캴未살来얩农业튵짺生产닺?提쳡高룟信탅息쾢닉采集벯的뗄准ힼ确좷性탔。ꆣ对뛔此듋，ꎬ뷱今뫳后퇐研뺿究的뗄重훘点뗣应펦放럅?的뗄决뻶닟策依틀据뻝。ꆣ图춼3?为캪系쾵统춳画뮭面쏦。ꆣ?퓚在如죧뫎何쳡提高룟쾵系춳统的뗄춨通用폃性탔以틔及벰其웤他쯻领쇬域폲W?e?b?信탅息쾢采닉?벯集系쾵统춳的뗄研퇐究뺿上짏。ꆣ?닎参考뾼文컄献쿗:ꎺ?蛐回血气忡忡-~呻白白--幡田间;;!....!巳J俨巾斗斗二4年二二时畔'句句白白如叫叶....抽响……伽~--'""1牛队牛"一-…儿件吨?[ 1? ?] ?刘쇵艳퇞敏쏴，ꎬ刘쇵?彪뇫.ꎮ?We?b?튳页面쏦主훷쳢题信탅息쾢抽돩좡取研퇐究뺿与폫实쪵现쿖?L _~'，，:~;~~._J_:，~..J~~ ~，~雪JjL黯J剿?[?J?]ꎮ볆.쯣计算믺机릤工돌程폫与应펦用폃，ꎬ?2∞??6?(?2?1?)?:ꎺ1??4?6-ꆪ1?4?8?.ꎮ?，田………………事[?2?]? 黄믆建붨斌뇳，ꎬ姬벧红뫬兵뇸，ꎬ孙쯯鹤뫗立솢.ꎮ?We?b?网췸页튳中훐뚯动态첬数쫽据뻝区쟸域폲的뗄识쪶?旦去奇奇奇寺兰趴仁二盟誓:立二1千在u..L二:zz:1二工二:뇰别与폫돩抽取좡?[J?]?ꎮ.볆计쯣算机믺工릤程돌，ꎬ2?∞??7?，ꎬ3?3? (? 1?1?)? :ꎺ ?53? -ꆪ?5?5.ꎮ ?:一T1:3了?型[?3?]? 陈돂琼쟭，苏ꎬ쯕文컄健붡.ꎮ믹基于폚网췸页튳结뷡构릹树쫷的뗄W?e?b?信탅息쾢抽돩取좡方랽法램?-~:225士;仁:f在J~~二立:~i:r:l~~:二汇立;一i:再再平飞:←王二二r~_Ì;-i二~-T~~气-t升，电乒,’--T费:[?J?]? .ꎮ볆计쯣算믺机工릤程돌，ꎬ2?∞??5?ꎬ， 3?1??(?2?0?):ꎺ 5??4 -ꆪ5?5?.ꎮ? 今苦苦Nifjj平兰;2!在i:一:5[?4?]? 췵王治훎和뫍.ꎮ뇭表룱格탅信息쾢抽돩取좡引틽擎쟦的뗄设짨计与볆实폫现쪵[쿖J?]??.ꎮ볆计쯣算믺机뿆科?主赏雪雪白t~~~I:_iι亡?:-31丁…i二气:萄λ3立'~-.~~二二:~_;j__’ ::t~rj~_ι二引力:土~-:~~~~L"二;二ι毒톧学，ꎬ?2?α?汤?，ꎬ3?3?(?1?0?)?:ꎺ 1??26? -ꆪ1?2?7?.ꎮ? 춼?얩닺욷볛룱탅쾢닉벯쾵춳뮭쏦?[?5?]?? 邓뗋健붡爽쮬，ꎬ郑횣启웴伦싗.ꎮ믹基폚于맘关볼键듊词뻛聚샠类뫍和뷡结뗣点뻠距샫离뗄的网췸页튳信탅息쾢?图3农产品价格信息采集系统画面듓춼?훐뿉틔뾴떽ꎬ폐킧탅쾢냼삨얩닺욷엺랢쫐?抽돩取좡[?J?]?.ꎮ计볆算쯣机믺科뿆学톧，ꎬ?2?仰?，?ꎬ?3?4(?4?)?:ꎺ?21?3? ꆪ-2?1?6?.ꎮ? 从图3中可以看到，有效信息包括农产品批发市????????????????????????????????????????????????????????????????The Agriculture Information Collection System Based on Internet Z?H?A?O? ??Y?a?ng?,ꎬ M?A? ?J?i?a?n ꆪ-?b?in?ꎬ, L??IU? ??Bo?,ꎬ ?WA? N?G? ?C??h?u?n ꆪ-?sh?a??n? (?C?o?l?le?g??e? o??f? I?nf?o口?na?t?i?o?n??S?c?ie?n?c?e? ?an?d? ?T?e?c?h?n?o?l?og??y,ꎬ ?A?g?ri?cu?l?t?u?re?? ?U?n?ive??rs?i?ty?? o??f ?H?eb?e?i?,ꎬ ?Ba??o?d?ing? ?07?1?0?0?1?,ꎬ C??h?in?a?) ?A?b?s?t?r?a?c?t:ꎺ ?Al?o??ng? ??w?it?h? ?t?h?e? I??n?t?er?n?et? ?r?a?p?i?d? ?d?ev??el?o??p?m?e?n?tꎬ, ?i?t?s? i?n?f?o?r?m?at?i?o?n ?c??ap?a?c?i?t?y?? ?pr?e??se?n??ts? ??a?n? ?ex??p?l?os?i?o?n? ?g?ro??w?t?h.ꎮ ?B?u?t? ?th?e?? ?n?u›ꆪ??me??r?o?us? ?a??n?d? ?di?so?r??de?r?l?y?? ?i?nf?or??m?a?ti?o??n? a??l?l’?O? ?ga??ve?? t?h??e? ?p?eo??pl?e?? ?the?? b?e?t?t?e?r? u?s?e?? ?in?fo??r?m?at?i?o??n? t?o? ?b?r?i?n?g? ?the?? d?i?f?fi?cu?l?t?y.ꎮ T?h?i?s?? ?req?u?e?s?t?s? t?h?e? ??pe?o?p??l?e? t?o? ??ha?v??e? t?o?? ?be?? a??bl?e?? ?to?? ?t?he?? W??e?b? i?n?f??o?rm?a?t?i?o?n? r??e?s?o?ur??ce?? ?ca?r??ry?? ?o?n? c?o??l?l?e?ct?i?n?g?? i?n? ?t?i?me?,ꎬ ?hi?g??hl?y? e??f?fe??ct?i?v?e? ?p?r?o?c??es?s??i?ng?? a?n?d?? s?c??i?en?t?i?fi?ca?l?l?y? o?r??g?a?n?iz??e?s.ꎮ ?T?h?????????????????????????????????????????????????????????????????????????????????????is paper proposed one kind realizes the homepage specific information gathering new method ?????????????????????????????????????????????????????????????????????ꎬ???????????????????????????????????????based on the HTML structure analysis and the characteristic words match, and designed the agriculture information r?es?o??u?rc?e?? ?g?a?t?h?er?in?g? ?s?y?s??t?em? ??b?y? t?h?i?s? m??et?h?o?d.ꎮ T?h?e? ??pr??ac??t?i?ce?? ?pr?o?v??ed? ??tha?t?,ꎮ ?t?hi?s? m??et?h?o?d? h?a?s?? a? ?s?t?r?o?n?g??e?r ?us?a?b?i?l?i?t?y? a?n?d? t?he?? f?l?ex?i?bi?li?t?y ?i?n?? ?t?h?e? ?We??b? i?n?fo??rm??at?i?o?n? c??o?ll?e??ct?i?o?n? s?y??s?te?m?.ꎮ? K?e??y? w??o?r?ds?:ꎺ i?nf?o?r?m?a?ti?o??n? c?o??l?l?e?c?t?i?o?n;ꎻ I??n?t?e?rn?e?t;ꎻ ?HT??M?L;ꎻ c?h?a?r?a?c?t?e?r?is??ti?c?? ?w?o?r?ds? ? 141
