竞争情报系统的发展趋势、关键技术和应用
施水才 2006年
内容提要
国内CI软件的发展状况及面临的问题
国内外CI软件的发展趋势分析
CI软件中的关键技术和应用
—信息搜索技术
—内容管理技术
—文本挖掘技术
4. 总结
回顾国内CI软件的发展状况及面临的问题
国内CI软件发展状况
—市场稳步发展
—技术长足进步
—市场竞争激烈
—探索跨界合作
国内CI软件面临的问题
—国内CI软件面临的问题
—我们应该如何面对这些问题和挑战
市场稳步发展
—CI工具提供商已为近百家企业导入CI系统
中国网通
中国电信
普天集团
……
中石化
广州石化
烟台万华
燕山石化
……
上海宝钢
武汉钢铁
……
电信
石化
钢铁
索尼中国
佳能中国
海尔集团
……
电子制造
北京烟草
常德卷烟
昆明卷烟
……
烟草
中国银行
香港华润
海南航空
……
其他
上海大众
汇众汽车
……
汽车
……
这些企业大部分集中在电信、石化、汽车、钢铁、电子制造、烟草以及部分大型集团性企业。
技术长足进步
—国内CI系统技术水平逐步接近国外水平
国外知名CI工具提供商
Cipher Systems(Knowledge Works)
Comintell AB(Knowledge Xchange)
Novintel(Viva Intelligence Portal)
Traction Software (TeamPage)
……
国内知名CI工具提供商
TRS (TRS CIS)
Baidu(ECIS)
……
市场竞争激烈
—大浪淘沙，部分CI工具提供商淡出市场
2005年CI工具市场上的主要提供商
TRS
Baidu
天下互联
易地平方
赛迪数据
2006年CI工具市场上的主要提供商
TRS
Baidu
探索跨界合作
—CI工具提供商谋求提供综合性服务
提供竞争情报培训服务
与培训提供商合作
提供更加有价值的商业数据库资源
与内容提供商合作
提供CIS系统导入服务
与咨询提供商合作
国内CI软件面临的问题
对CIS系统的定位错误，认为CIS系统是万金油，可以完全代替人的工作。
企业竞争情报体系框架的缺失，导致CIS不能够真正发挥其作用。
由于技术的原因，CIS在情报分析方面的作用有待加强。
企业 CIS的建设过程也是一个企业情报资源规划的过程、是一个导入咨询的过程，目前CI软件提供商缺乏这方面的能力。
5. 竞争情报服务产业链处于初级阶段，工具提供商和内容提供商缺乏有效的合作，目前CIS系统大部分只实现了对互联网信息和企业内部信息的整合和搜索，缺乏对收费商业数据库的集成。
我们如何面对这些问题和挑战?
1. CIS的正确定位
完善企业竞争情报体系框架
推动情报分析技术的发展和应用
加强竞争情报的导入咨询力度
借鉴国外经验，推动厂商的合作
CIS系统的正确定位—应用架构
CIS系统的正确定位—应用价值
情报规划：建立统一的情报资源分类体系和信息资源库，消除情报信息孤岛
情报采集：提高情报工作的系统性和连续性，情报信息的及时性和有效性。
情报加工：改变情报人员的2/8漏斗工作状态，提高情报研究效率。
情报服务：拓展情报服务范围，提高情报服务水平。
5. 评估反馈：建立起情报需求和反馈机制，准确把握领导需求。
完善企业竞争情报框架体系—企业情报体系框架
竞争情报部门
竞争情报文化
建立KIT管理流程
竞争对手分析框架
使命远景
盈利模式
战略规划
确认竞争对手
建立竞争情报系统
竞争情报分析
商业秘密保护
完善企业竞争情报框架体系—情报工作组织保障
情报分析责任部门
战略决策部门
信息管理部门
营销管理部门
企业经营单位
企业财务部门
……………..
情报分析管理部门
竞争情报系统管理部门
竞争情报内容管理部门
情报管理专员
完善企业竞争情报框架体系—KIT管理组织保障
企业高层决策团队
企业中层管理人员
KIT工作管理部门
情报总管理员
职
能
部
门
情
报
工
作
员
职
能
部
门
情
报
工
作
员
职
能
部
门
情
报
工
作
员
业
务
单
位
情
报
工
作
员
业
务
单
位
情
报
工
作
员
业
务
单
位
情
报
工
作
员
跨部门小组
完善企业竞争情报框架体系—KIT管理制度
竞争情报主管
部门
高层决策团队
竞争情报参与
部门
情报课题确认
及KIT立项
2
情报子课题信息收集及研究
4
高层、中层提出情报需求
1
情报课题分解
成多个KIQ并分发
3
情报需求表单
情报子课题研究报告撰写提交
5
根据子课题报告形成项目结题报告
6
KIQ研究报告
项目结题报告审阅
7
KIT项目结题报告
推动情报分析技术的发展和应用
第一个方面：在企业的运营和市场竞争中可能要用到各种各样的结构化数据分析方法。但是把这些分析技术集成在一个竞争情报系统中几乎是不可能的。所以系统应具有良好的开放性，提供和专业统计分析软件结合的接口。
第二个方面：针对于非结构化数据，提供基于文本挖掘的可视化分析技术，提升 CIS对海量非结构化数据的文献分析能力。
推动情报分析技术的发展和应用
加强竞争情报系统的导入咨询力度
企业竞争情报供需调研
对企业各职能部门工作时需要的情报信息种类、内容、需求时间、信息来源等作详细的了解。通过权衡企业各职能部门的情报供需关系，确定企业竞争情报系统中应包含的情报信息，以及信息的内容、种类、格式和来源。
企业情报信息统一规划
在确定好企业竞争情报系统中应包含的情报信息的基础上，建立情报分类体系，对每个分类进行明确的定义，避免分类之间的重叠性；在情报分类体系的基础上规划情报产品，然后进一步确定情报的服务形式。
企业竞争情报系统安装和内容加载
安装企业竞争情报软件系统，导入情报分类体系和情报采集体系，建立分类体系和采集体系之间的关系，定制情报产品的格式和情报服务门户，并将当前企业已经具有的有效信息导入到系统中，进行内容加载。
企业竞争情报系统的推行
主要包括两个方面的内容：对竞争情报系统的使用管理进行培训；建立竞争情报系统管理制度，明确各个部门的责任、义务和权限，包括：KIT制度、用户管理制度和信息提供制度等等。
企业竞争情报系统的运行、评价、调整。
竞争情报系统的运行，并根据各个部门的反馈，结合企业的竞争情报的工作目标对系统进行客观评价，对情报分类体系、情报采集渠道、情报产品、情报服务方式、情报反馈机制等进行调整，以便更加适合企业的实际需要。
加强竞争情报系统的导入咨询力度
借鉴国外经验，推动厂商间的合作
国外内容提供商的商业数据库通过插件和CIS系统进行绑定,提供多个商业数据库、互联网信息和企业内部信息的联合检索，大大提高了CIS的价值，并实现了内容提供商和工具提供商的利益共享。
国内外CI系统的发展趋势分析
国内外CI软件的发展趋势分析
产品架构：更注重产品的开放性和标准化
服务模式：ASP模式和平台模式的结合
情报规划：集成完善的行业分类体系
情报服务：体现个性化的情报服务理念
情报安全：更加注重情报安全和权限控制
情报加工：情报的智能处理功能进一步增强
情报分析：可视化文献分析技术将得到应用
产品架构：更注重产品的开放性和标准化
CIS软件不但需要获取企业内外部的数据，同时还
需要和企业购买的商业数据库、企业信息门户、企业
OA、企业KM系统 、企业资源计划（ERP）、客户
关系管理（ CRM）、企业供应链管理（SCM） 等等
进行紧密地结合。这就要求CI提供商更加注重产品的
开放性、标准化和扩展性。
国内外CIS对标准协议的支持
HTTP等
Baidu ECIS
HTTP、POP3、OCR以及通过SOAP协议轻松的将情报发送到企业门户上
TRS CIS
HTTP 、XML等
Viva Intelligence Portal
HTTP 、 LDAP、POP3等
TeamPage
HTTP、FTP、LDAP、POP3
以及通过PlugIN的方式和商业数据库相连，实现多个商业数据库的跨库检索
Knowledge Works
HTTP、FTP、LDAP、POP3等
Knowledge Xchange
服务模式：ASP模式和平台模式的结合
平台模式
Baidu ECIS
平台模式
TRS CIS
ASP模式和平台模式
Viva Intelligence Portal
ASP模式和平台模式
TeamPage
ASP模式和平台模式
Knowledge Works
平台模式
Knowledge Xchange
情报规划：集成完善的行业分类体系
从目前的竞争情报系统实施经验来看，绝大多数
企业对情报信息都采用分类的形式进行组织和管理，
分类体系的准确性和完善程度会影响到软件的使用效
果。
相同行业的分类体系具有相似性和通用性，CI软
件通过集成完善的行业分类体系，可以提高系统的应
用效果和应用价值。
情报规划：集成完善的行业分类体系
情报服务：体现个性化的情报服务理念
企业情报
信息库
网媒监测
简报服务
定期报告
信息检索
KIT建立
情报论坛
服务种类
全体员工
决策层/管理层
决策层/管理层
全体员工（权限）
KIT建立（情报分析员）
全体员工
对象
信息主管
信息主管
情报分析员
信息主管
情报分析员
信息主管
管理者
个性定制
全体员工
用户个人
情报服务：体现个性化的情报服务理念
支持专业的竞争情报门户，并可以为不同角色的用户，提供不同内容。同时也支持个性化的信息推送服务。
TRS CIS
个性化的信息推送服务，允许用户订阅感兴趣的情报分类和情报文档，系统会将信息推送到用户的Email中或者移动电话中。
Viva Intelligence Portal
以群组管理为核心的情报服务方式，为不同的服务对象提供不同服务界面和情报信息。
TeamPage
情报安全：更加注重情报安全和权限控制
安全机制：用户权限管理、用户组管理、加密设置以及每条情报的访问级别控制。
认证方式：支持LDAP、支持包含客户证书的SSL.
情报加工：情报的智能处理功能进一步增强
国外知名CI工具提供商
Knowledge Works 支持自动文摘等
Knowledge Xchange 内嵌自动分类引擎。
国内知名CI工具提供商
TRS CIS以TRS CKM为基础，集成了自动分类、自动文摘、自动排重等文本挖掘技术。
情报分析：可视化文献分析技术将得到应用
情报分析和文献分析有很多类似的地方，将文献
分析技术融入到CIS软件中，对竞争情报的分析会有
很大的帮助，特别是随着文本挖掘技术的发展，可以
实现可视化的文献分析，将类似的信息聚集在一起，
从而发现潜在行业、企业、产品的发展趋势。
CI系统中的关键技术和应用
CI软件的三大关键技术引擎
信息搜索：CI软件的基础引擎
—实现情报资源的整合和搜索
文本挖掘：CI软件的智能引擎
—实现情报资源的智能加工
内容管理：CI软件的应用引擎
—实现情报资源的分发和利用
CI软件的三大关键技术引擎
信息搜索技术
文本挖掘技术
内容管理技术
内容
管理
技术
信息搜索（搜索引擎）分类
综合企业级搜索和互联网搜索主要功能和特点
满足特定业务为核心需求，必须剔出无关信息。
信息的整合、关联和挖掘要求高
和业务系统结合，实现整个信息生命周期管理
行业/垂直
搜索引擎
Vertical Search Engine
以互联网信息为主,不涉及企业内信息资源
更新周期较长，很难满足实时性要求
主要以PageRank、 Top N 的预算和预估技术
信息具有公开性，无需和业务系统紧密集成
主要面向个人用户
互联网
搜索引擎
Web Search Engine
各种异构资源和数据库
严格的安全和权限管理，和业务系统的集成
数据实时更新
对查询的准确性和全面性要求高
结构化和非结构化联合查询，复杂的排序要求
企业级
搜索引擎
Enterprise
Search
Engine
实践证明：
CI软件多采用企业搜索引擎来提供搜索服务
Knowledge Work
内嵌Verity K2 企业搜索引擎
Knowledge Xchange
自主开发企业级信息搜索引擎和分类引擎
TRS CIS
以TRS Server为核心的企业级搜索引擎
企业级搜索引擎应用于竞争情报系统的四大特点
异构化数据的统一搜索，实现企业内外部资源的整合
实时的检索和索引，保证情报信息的及时和有效性
安全的检索和权限控制，保证情报信息的安全性
查准率和查全率的最优化，提供更加准确的情报信息。
TRS 企业搜索引擎
异构数据统一管理，非结构化和结构化数据联合检索
Oracle, DB2, SQL Server…
Notes,
邮件服务器
File System：Word,PDF, EXL
Web: HTML, XML
Mail,
News
Audio, Video
Flash
结构化数据：SQL查询
非结构化数据：全文检索和搜索引擎
但用户的数据在很多情况下是结构化数据+非结构化数据+半结构化数据
解决方案：TRS Database企业级搜索引擎
Verity K2所支持的部分异构数据源
实时索引和检索
增量索引
数据和索引同步
支持数据的实时增删改
查准率和查全率的最优化
互联网搜索在查准率和查全率方面难以计算，主要追求前几页的相关性。
PageRank, TOP N 等
企业级搜索需要满足用户在查询和查全方面的需求。
绝大多数情况下CIS中需要精确检索(特别是结构化和非结构化数据联合查询情况下）
企业级搜索的索引和搜索技术确保查准率和查准率
只有下一页，没有最后一页
严格的安全检索和信息访问控制
TRS 企业搜索引擎的安全机制
系统级、数据库级、记录级和字段级四级安全控制机制
加密和压缩传输
联机和脱机备份
完善的日志管理
系统提供多种权限级别的用户管理
支持用户组的概念，以及Group DBA的概念，适应大型应用中复杂的系统管理和应用
严格的安全检索和信息访问控制
Verity 搜索引擎的安全机制
Verity 可以使客户和合作伙伴安全的访问受权限限制的内容和增值内容，用户可以获得文档级的访问权限，并可以丛搜索结果或目录列表中去掉受限制的项目。同时Verity K2集成了所有标准的安全模式，包括：LDAP、NT Domain、Lotus Notes 、Microsoft Exchange、ODBC等单一登陆解决方案。
内容管理技术的定义
实现对异构环境下以各类非结构化和半结构化数据为主的内容的全面管理，提供内容采集、创建、加工、存储、传递、组织、服务和反馈等内容全生命周期过程中所需各项功能，以及元数据管理、智能检索和分析、数字版权和内容安全等专项技术，使内容得到高效利用和增值，给内容所有者和消费者带来效益。
全生命周期的内容管理技术
采集和创建
存贮和管理
版本控制
先进工作流
模版设计和管理
内容复制
出版
分发
个性化
自动归类
检索和导航
安全控制
用户管理
内容电子商务
内容管理技术应用于竞争情报系统
构建企业竞争情报门户
规范企业情报加工流程
实现情报信息的多渠道分发和个性化服务
提供评估反馈机制，把握情报用户需求
构建企业竞争情报门户
—可视化模版，随心所欲的驾驭展示内容
模板编辑置标向导
设定最终生成的页面为HTML、SHTML、ASP、JSP等
模板分类管理
通过模板粘贴可以选择将现有站点下的模板文件粘贴至当前模板编辑窗口中
构建企业竞争情报门户
—灵活的发布策略，为不同的人群提供不同的情报门户服务
规范企业情报加工流程
—可视化工作流技术，规范企业情报加工流程
多渠道分发和个性化服务
—拓展情报服务范围，提高情报服务水平
提供评估反馈机制，把握情报需求
文本挖掘技术在CIS中的应用现状
作用：目前主要是实现情报信息的粗加工，目前在CIS中应用的文本挖掘技术
文本分类（自动分类、规则分类和混合分类）
自动排重
自动摘要和关键词提取
随着文本挖掘技术的发展和CIS的深入应用，以下两种技术在CIS中也将大有用武之地
自动聚类（用于可视化的文献分析）
信息抽取（用于文本信息中事实信息的抽取）
目前文本分类技术的发展现状（TRS）
为用户提供个性化的服务：
允许用户根据自己的分类需求和数据特点设定分类，支持多层分类结构
支持自动分类和规则分类的混合分类机制:
分类法，分类算法的问题引起的。比如，支持多种分类标准：内容分类体系，地区分类体系
对文本的类别结果智能给出类别的准确度值
便于用户进行人工干预。用户可集中对准确度值低的文本进行监测。
支持中英文混合自动分类，可以实现跨语言分类。
具有反馈学习功能
补充训练机制
产品成熟。经受了千万计数据的压力测试.
分类速度快，每秒50篇以上
分类精度高: 自动分类的准确率达到86%~90%，规则分类准确率达到95%以上
自动分类技术的应用
新华社采集入库项目，待编稿项目，报刊数据库项目等。
遵循的分类标准是：《新华社新闻分类法》。
该分类法包括两种分类机制：信息分类、地区分类，均为四层分类结构。
信息分类总类目数为770个，地区分类总类目数为280个。
信息分类采用自动分类+规则分类，地区分类采用规则分类。
统计分类的准确率为85%。
自动摘要和关键词提取（自动标引）
现状：自动摘要技术目前不是十分成熟。
基本思想：对文章中的所有句子进行权值运算，对所有的句子按权值排列，提取出权值大的作为关键句，进而形成摘要。
功能：
摘要的句数或字数可按用户的要求，随机的产生。
根据用户提供的关键词，来形成摘要。便于更好的人机交户。（偏重摘要）
形成摘要的同时，可同时提供精确的关键词标引。
提供包括行业主题词或自由主题词标引功能。
自动分类和自动提取关键词
基于内容的去重
自动聚类
基本思想：自动对大量无类别的文档进行归类，把内容相近的文档归为一类，并自动为该类生成主题词，为用户确定类目名称提供方便。
基本方法：采用相似度的方法，首先将文本聚成一个个小簇，然后合并这些原子簇为越来越大的簇，直到簇的数目满足聚类要求。
应用：新闻事件的实时跟踪。检索结果的聚合等
聚类的信息岛图
聚类的时间趋势图
信息抽取
新词的识别：人名、地名、组织机构名等命名实体识别
信息抽取：时间、电话号码、身份证号、护照号、email、车牌、案件名称等的抽取
采用的主要技术：
采用规则与统计相结合的策略。
基于已标注的语料库，进行知识学习。
找到内容和内容之间的关系，从中发现内容的新价值！
信息抽取演示
总结
企业竞争情报系统在企业的成功应用离不开：
—企业竞争情报框架体系的建立。
—离不开CI工具提供商、内容提供商和咨询提供商的合作，为企业提供CI综合服务。
企业搜索技术、内容管理技术和文本挖掘技术是搭建企业竞争情报系统的核心技术基础。
—随着技术的发展和应用的深入，文本挖掘技术在情报分析上将会发挥作用。
谢谢！
@
MSN：shi_shuicai@
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
投标的故事。
进行实际演示
进行实际演示
进行实际公安行业信息抽取演示，需要1-2分钟。
