新闻传播学院社会网络分析与传播研究方法理论、方法、工具与应用主讲教师:沈浩中国传媒大学新闻传播学院教授中国传媒大学调查统计研究所副所长中国传媒大学数据挖掘研发中心主任Journalism & Communication School
新闻传播学院洞察力——Insight2
新闻传播学院数据挖掘的价值Data MiningTimes麻省理工学院时代杂志预测:科技评论预测:Data Mining将未来会改变世界的十大新兴科技中是21世纪最热门Data Mining 名五大新兴行业。列前矛。3
新闻传播学院多带来不同!•三年前在google搜索,键入「Data Mining」,可找到1,260,000项查询结果•一年前在google搜索,键入「Data Mining」,可找到4,320,000项查询结果•今天在google搜索,键入「Data Mining」,可找到8,710,000项查询结果4
新闻传播学院线性思维5
新闻传播学院理论与应用工具——创新扩散曲线6
新闻传播学院构想未来的工具Time7
新闻传播学院理论与应用工具——幂律分布8
新闻传播学院多带来不同!普通问题都是线性问题,线性问题就是直线问题,直线问题就是简单问题,简单问题是因果成比例。9
新闻传播学院社会科学研究转折点显然是非线性问题,就这方面来说,社会科学的研究才刚刚开始!如果能够了解造成转折点的原因,很多社会问题便会迎刃而解!10
新闻传播学院关系数据——幂律——社会科学11
新闻传播学院随机抽样是社会科学的绞肉机哥伦比亚大学的一位社会学家艾伦·巴顿曾经写过这样一段话来描述社会科学的主流研究情况。“在过去的30年里,经验性的社会研究被抽样调查所主导。从一般的情况而言,通过对个人的随机抽样,调查变成了一个社会学的绞肉机——将个人从他的社会背景中撕裂出来并确保研究中没有任何人之间会产生互动。如果我们的目的是理解人类的行为,我们就需要了解群体、邻里、组织、社交圈、社区,以及互动、沟通、角色、地位、社会控制、信息利益等。”巴顿写下的这段话在传播研究中也是正确的,主流的研究总是关注人们的个体行为,而不考虑行为的社会方面,也就是人们之间的互动和对彼此的影响。社会是关系!12
新闻传播学院从数据到决策今天关注:数据知识管理DataPattern Management社会网络分析信息Social Network AnalysisInformation传播Communication知识Knowledge13
新闻传播学院社会科学研究不同学科研究的不是不同问题,而是从不同角度研究同一个问题!14
新闻传播学院复杂科学领域!•突变理论——Catastrophe theory•混沌理论——Chaos theory•复杂性理论——Complexity theory尽管我们目前对于人类行为方式的了解极为有限,却仍能掌握预知其集体行事结果的一定能力。只要实现定量化,在看起来似乎混乱不堪的表现中,为什么会出现因规律性而产生能有所预知的统计行为!15
新闻传播学院数据——洞察力数据并不是人们最终需要的东西,他们需要的是信息,是对未来发展的洞察能力。16
新闻传播学院转折点变革点智能最佳时间点——仪式点17
新闻传播学院创新扩散理论早期采用者晚期跟随者%16%后期大多数早期大多数34%34%冒险者%采用者分类比例18
新闻传播学院挖挖双色球彩票交易数据集原始数据集19
新闻传播学院挖挖双色球彩票分析数据集20
新闻传播学院骇客帝国——矩阵-Matrix信息矩阵21
新闻传播学院社会网络分析SNA关系的2D呈现22
新闻传播学院关系——DNA关系的3D呈现23
新闻传播学院挖掘关联规则24
新闻传播学院关系——Web网络分析关系的强弱25
新闻传播学院关系——Web网络分析26
新闻传播学院自上而下——自下而上的方法论理论知识假设发现验证实证研究探索性研究27
新闻传播学院28
新闻传播学院29
新闻传播学院微博——重塑人的社会关系总和社会网络的力量来自于链接,即关系,使我们可以点击鼠标就可以在人际关系网中遨游。有了链接,我们就可以在微博上与人交流、看看别人的所思所想、分享自己的所见所闻、把信息集中在一起。这些链接将我们组织成了巨大的人际网络,仅需通过鼠标的点击联系在一起;链接就像是缝纫机的针脚,把信息社会的每个个体通过信息缝制成一片完整的围脖,寒冷的时候,可以让我们温暖,酷暑的时候,可以为我们擦去汗水;30
新闻传播学院社会关系埃米尔.涂尔干(Emile Durkheim,1879)说:“有一种观点认为,对于社会生活的解释,不应当靠参与者的观念进行,而应当根据尚未被自觉认识到的更深层的原因进行。我认为这样做会极富成就。我还认为,其中的原因主要应当在由个人形成的组群的方式中去寻找。”31
新闻传播学院32
新闻传播学院进入社会化媒体——微博时代33
新闻传播学院微博——媒介、互联网、移动通讯34
新闻传播学院关系——社会网络——社会结构派系、凝聚子群体、成分、孤立点35
新闻传播学院关系强度强关系带来信任,弱关系带来信息的传递!36
新闻传播学院越连接越强大,越强大越被连接!名可养名、名可扬名、名可恶名!37
新闻传播学院网络数据可视化看得见才能做得到、做得好!38
新闻传播学院社会计量图39
新闻传播学院早期的社会关系网——sociogram40
新闻传播学院Moreno’s sociomatrix…41
新闻传播学院七桥定量——图论哥尼斯堡问题:将问题看作是由点和连接起点的边组成的图,从图中无意中传达了一个非常简单的信息,图或网络具有自身的属性,这种属性隐藏在它们自身的结构中,可以限制或增强我们使用网络的能力!这里我们可以得到一个基本的观点:网络的结构是理解我们周围复杂世界的关键!42
新闻传播学院TED 网络分析视频
新闻传播学院互联网——万维网视图44
新闻传播学院9-11 Hijackers Network45
新闻传播学院追踪流行病的扩散黑色是传染源或临床确诊感染者,粉红色的潜在传染源,表示暴露在易感环境感染他人,是没有确诊的感染疾病、绿色代表暴露的人无感染和不是传染性的。感染状况是未知的为Source: Valdis Krebs,
新闻传播学院网络无处不在47
新闻传播学院小世界理论48
新闻传播学院无标度网络——幂律分布随机网络规则网络规则网络无标度网络49
新闻传播学院幂律分布许多现实世界中的复杂网络的连接度分布呈某种幂律(power-law)函数的形式。以k表示节点的度,p(k)表示度为k的概率密度,则幂律分布p(k)~k^(-a),其中k大于某个正常数。由于幂律分布没有明显的特征长度,该类网络也称为无标度(Scale-free)网络。50
新闻传播学院幂律分布服从幂律分布现象1)演员合作网2)奥斯卡奖项数11)生物物种数3)唱片或书籍销量12)地震强度4)论文数13)互联网网页点击5)论文引用次数14)手机话费6)计算机文件大小15)个人收入7)机场航班16)GDP大小8)战争规模17)微博粉丝数9)语言单词频率10)姓氏分布51
新闻传播学院社会关系图——幂律分布•增长性•优先情节52
新闻传播学院社会关系图——幂律分布•聚集群体•等级差异•细分群体53
新闻传播学院社会关系图——幂律分布•自组织性•鲁棒性•脆弱性54
新闻传播学院传播研究方法——视图55
新闻传播学院传播现象、传播机制、传播结构、传播模式56
新闻传播学院结构主义思想57
新闻传播学院编织围脖的时代58
新闻传播学院59
新闻传播学院Gephi分析60
新闻传播学院Gephi分析61
新闻传播学院Layout算法62
新闻传播学院GraphVizNodeXLTouchGraphGephiCytocape63
新闻传播学院社会网络分析的基本要素解决四个层面的问题:1-社会行动者的关系基础上,结构性研究2-系统的经验数据为基础3-关系可视化的图景和应用4-要有好的数据或计算机模型的应用64
新闻传播学院65
新闻传播学院社会网分析工具图解明星与粉丝的关系66
新闻传播学院图解明星与粉丝的关系67
新闻传播学院图解明星与粉丝的关系68
新闻传播学院图解明星与粉丝的关系69
新闻传播学院图解明星与粉丝的关系70
新闻传播学院71
新闻传播学院关系的可视化72
新闻传播学院关系的可量化73
新闻传播学院74
新闻传播学院Excel的SNA——NodeXL工具75
新闻传播学院关系就是条件概率——贝叶斯概率P(A)P(A|B)76
新闻传播学院Yed工具软件复杂网络——混沌77
新闻传播学院Yed工具生成树结构组织和树状结构78
新闻传播学院中心节点79
新闻传播学院80
新闻传播学院幂律分布81
新闻传播学院网络Layout结构分析82
新闻传播学院洞察网络的结构网络结构83
新闻传播学院Social Network Analysis Software——TouchGraph84
新闻传播学院Social Network Analysis Software——TouchGraph85
新闻传播学院Social Network Analysis Software——Ucinet86
新闻传播学院Social Network Analysis Software——Netdraw87
新闻传播学院88
新闻传播学院89
新闻传播学院90
新闻传播学院91
新闻传播学院92
新闻传播学院文本挖掘——意义的输出93
新闻传播学院94
新闻传播学院95
新闻传播学院96
新闻传播学院97
新闻传播学院主流社会科学数据观点透视观点In the past time98
新闻传播学院99
新闻传播学院100
新闻传播学院网络概念101
新闻传播学院网络概念102
新闻传播学院网络概念103
新闻传播学院网络数据——矩阵“样本×变量”矩阵X1X2X3X4Subj1Subj2Subj3Subj4Subj5X1X2X3X4Subj1Subj2Subj3Subj4Subj5Subj1X1Subj2X2Subj3X3Subj4X4Subj5“变量×变量”矩阵“样本×样本”矩阵104
新闻传播学院社会网络的基本概念节点或点Node or Vertex边Edge105
新闻传播学院基本概念:中心性测量度中心性Degrees: 表示节点的链接数量(出度与入度中心性)接近中心性Closeness: 有能力在最短路径到达其它点的节点度量中介中心性Betweenness: 在路径上能够到达其它节点的度量106
新闻传播学院基本概念:中心性测量107
新闻传播学院中心性测量:度中心性-Degree108
新闻传播学院中心性测量:中介中心性-Betweeness109
新闻传播学院中心性测量:接近中心性-Clossness110
新闻传播学院关系的形成行动者关键联系人间接联系人主要关系变更关系路径关系111
新闻传播学院信息的流动和传递过程STST112
新闻传播学院网络的拓扑结构——距离与路径Actor “a” is:1 step from 42 steps from 53 steps from 44 steps from 35 steps from 1a信息的扩散113
新闻传播学院网络的拓扑结构——距离与路径a和b之间有两条独立路径链接!ba同时也存在着多条非独立路径链接!114
新闻传播学院节点的中心性网络行动者的个体行为,从单个看与从整体网络角度看是完全不同的表现!115
新闻传播学院网络的动态演化过程•网络的结构•时间过程的演化116
新闻传播学院凝聚子群体的结构演化117
新闻传播学院网络的结构洞理论118
新闻传播学院结构同位理论Structural Equivalence119
新闻传播学院结构同位理论——规则同位120
新闻传播学院网络分析对象关系网络角色缺失小群体强弱路径自我121
新闻传播学院网络分析122
新闻传播学院123
新闻传播学院124
新闻传播学院125
新闻传播学院影响关系认知/感知从属关系126
新闻传播学院获得答案127
新闻传播学院再形成128
新闻传播学院复兴时代129
新闻传播学院董事从属于联合投资,签订合同,联盟控制谁130
新闻传播学院重叠-交迭131
新闻传播学院132
新闻传播学院133
新闻传播学院134
新闻传播学院主流社会科学数据观点透视观点In the past time135
新闻传播学院136
新闻传播学院137
新闻传播学院138
新闻传播学院相互依赖的本质成分非归纳,整体的,系统的139
新闻传播学院呈现与设计机会与制约更关注结果,而不是原因140
新闻传播学院141
新闻传播学院借给谁,贷款给谁推理性和经验性142
新闻传播学院143
新闻传播学院144
新闻传播学院145
新闻传播学院146
新闻传播学院可测量的147
新闻传播学院148
新闻传播学院成分149
新闻传播学院150
新闻传播学院分割点151
新闻传播学院桥152
新闻传播学院153
新闻传播学院强联结产生传递性相互熟悉强联结内含紧密的同质类154
新闻传播学院155
新闻传播学院凝聚力156
新闻传播学院连通性157
新闻传播学院网络碎片158
新闻传播学院网络密度159
新闻传播学院160
新闻传播学院161
新闻传播学院162
新闻传播学院中心性163
新闻传播学院传递性164
新闻传播学院核心/边缘依附者外围165
新闻传播学院166
新闻传播学院小群体-小派系小派系167
新闻传播学院小群体特性168
新闻传播学院169
新闻传播学院170
新闻传播学院171
新闻传播学院172
新闻传播学院中心性程度接近性中介性沉余/抑制173
新闻传播学院174
新闻传播学院175
新闻传播学院176
新闻传播学院177
新闻传播学院结构洞178
新闻传播学院179
新闻传播学院企业家稀疏180
新闻传播学院稠密的181
新闻传播学院结构相似性182
新闻传播学院网络邻居焦点角色183
新闻传播学院结构同位184
新闻传播学院不可分辩的区别替代性185
新闻传播学院捕捉机会186
新闻传播学院块187
新闻传播学院规则同位188
新闻传播学院189
新闻传播学院极相似的人或物相似阶层的人或物190
新闻传播学院191
新闻传播学院分层定位192
新闻传播学院193
新闻传播学院社会资本194
新闻传播学院Cytosacpe分析工具195
新闻传播学院学校硕士生的关系网196
新闻传播学院发现意见领袖网络分析197
新闻传播学院舆情监测与舆情控制机制198
新闻传播学院199
新闻传播学院人际传播大于大众传播WOMM POWER200
新闻传播学院口碑——口口相传10% INFLUENCEPURCHASING BEHAVIOR OF OTHER 90%91%LIKELY TO BUY ON RECOMMENDATION201
新闻传播学院信任——口口相传NODENETWORKNETWORKABTRUSTED CHANNEL202
新闻传播学院创新的扩散A NETWORK OF 100 PEOPLE = 4,950 POSSIBLE LINKSA NETWORK OF 1,000 PEOPLE = 500,000 POSSIBLE LINKSAVERAGE PERSON HAS …11 TO 12 INTIMATE CONTACTS150 SOCIAL CONTACTS500 TO 1,500 WEAK TIESSix degrees of separation concept (a/k/a small world phenomenon)203203
新闻传播学院挖掘的力量SPSS-Clementine13204
新闻传播学院数据挖掘解决方案信用等级评价预测模型:用过去的客户数据预测未来历史数据预测模型新申请者205
新闻传播学院主要数据挖掘技术分类Classification将您的顾客和客户分类决策树预测Prediction规则侦测预测未来的销量和欺诈,流失回归分析细分Segmentation聚类分析将市场、顾客细分神经网络关联Association序列模式发现那些商品会在一起销售或购买序列Sequence找出时间进程中的模式或趋势206
新闻传播学院数据挖掘的问题类型数据描述概念描述预测分类商业问题数据细分依赖型分析207
新闻传播学院神经网络线性回归Logistics回归多层神经网络细胞繁殖208
新闻传播学院数据挖掘的典型结果——交叉销售•问题描述:如何决定超市中商品的摆放来增加销售额•结果描述:(Web图)209
新闻传播学院数据挖掘的特点•数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。•数据挖掘所得到的信息应具有先前未知,有效和可实用三个特征。•先前未知的信息是指该信息是预先未曾预料到的。•数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识。•挖掘出的信息越是出乎意料,就可能越有价值.在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。210
新闻传播学院SPSS-Clementine211
新闻传播学院Clementine InterfaceStream canvasManagersData Stream 数据流ProjectsPalettesStatus windowReport window212
新闻传播学院Clementine的数据流213
新闻传播学院Clementine丰富的数据挖掘算法其他模型决策树模型聚类模型关联分析模型回归模型GeneralizedLinear214
新闻传播学院社会网络分析资料1.罗家德《社会网络分析讲义》社会科学文献出版社20052.刘军《社会网络分析导论》社会科学文献出版社20043.巴拉巴西《链接——网络新科学》湖南科学技术出版社20074.菲利普.鲍尔《预知社会-群体行为的内在法则》当代中国出版社://://://:// ://://:// ://
新闻传播学院216
新闻传播学院分析工具和软件•SPSS for Windows •WORD•AnswerTree •EXECL•PowerPoint•Decision Time and What If•Access•Clementine •Microsoft Visio•SAS •SmartDraw•Lisrel / •PCEDIT•Ucinet•EpiData•Crystal Xcelsius•SPSS Enter Station& Builder •Crystal Report计算机及数据处理软件、统计软件的发展使得我们做数据挖掘和统计分析成为简单而可能的事情。217
新闻传播学院本讲稿仅供大家学习使用!联系方法:中国传媒大学新闻传播学院中国传媒大学调查统计研究所28号信箱中国传媒大学数据挖掘研发中心信箱:shenhao@:henry_shen@博客:
新闻传播学院欢迎光临沈浩老师的博客219