第五章-新媒体数据分析之在线社交网络分析

e7d195523061f1c01da5a1f0837ac25283df40ff0a16bfd61AE6AB84AD7EB485CA8019BF267F2027DE2BF09650313B56A435BB3664F8B916CA3777391AC088C283181605E184D6D6879568EB73EB808A103F0784C8DFC3E9CDD14B61FDDA6A8A6237D2DFE3BBAEC8979D824A43E015648F6CB3D1F8D3E352A4BDC9925C075CFF312C4A0BE75FDF5C新媒体数据分析概述新媒体数据采集新媒体数据预处理新媒体数据分析之文本分析新媒体数据分析之在线社交网络分析新媒体数据可视化新媒体数据分析与应用实例目录/Contentse7d195523061f1c01da5a1f0837ac25283df40ff0a16bfd61AE6AB84AD7EB485CA8019BF267F2027DE2BF09650313B56A435BB3664F8B916CA3777391AC088C283181605E184D6D6879568EB73EB808A103F0784C8DFC3E9CDD14B61FDDA6A8A6237D2DFE3BBAEC8979D824A43E015648F6CB3D1F8D3E352A4BDC9925C075CFF312C4A0BE75FDF5C目录/Contents5.新媒体数据分析概述5.1在线社交网络分析概述5.1.1在线社交网络分析的含义与特征5.1.2在线社交网络分析的基本内容5.2在线社交网络结构特征与分析基础5.2.1在线社交网络的数学表达式5.2.2在线社交网络的统计特性5.2.3在线社交网络的网络特性5.3中心性分析5.3.1度中心性(DegreeCentrality)5.3.2中介中心度(Betweennesscentrality)5.3.3接近中心度(Closenesscentrality)5.4虚拟社区发现5.4.1在线社区5.4.2模块度5.5个体影响力分析5.5.1基于网络结构的个体影响力分析5.5.2基于行为的个体影响力分析5.5.3基于话题的个体影响力分析5.6SPSS社交网络分析概述5.6.1GA(GroupAnalysis)5.6.2DA(DiffusionAnalysis)e7d195523061f1c01da5a1f0837ac25283df40ff0a16bfd61AE6AB84AD7EB485CA8019BF267F2027DE2BF09650313B56A435BB3664F8B916CA3777391AC088C283181605E184D6D6879568EB73EB808A103F0784C8DFC3E9CDD14B61FDDA6A8A6237D2DFE3BBAEC8979D824A43E015648F6CB3D1F8D3E352A4BDC9925C075CFF312C4A0BE75FDF5Cxyma_mail@163.com新媒体数据分析之在线社交网络分析马晓悦第五章e7d195523061f1c01da5a1f0837ac25283df40ff0a16bfd61AE6AB84AD7EB485CA8019BF267F2027DE2BF09650313B56A435BB3664F8B916CA3777391AC088C283181605E184D6D6879568EB73EB808A103F0784C8DFC3E9CDD14B61FDDA6A8A6237D2DFE3BBAEC8979D824A43E015648F6CB3D1F8D3E352A4BDC9925C075CFF312C4A0BE75FDF5C本章学习目标了解新媒体在线社交网络分析的概念及其结构特征。了解新媒体在线社交网络分析的方法。掌握新媒体在线社交网络度量的指标。了解新媒体在线社交网络中虚拟社区发现的相关算法。了解基于新媒体在线社交网络分析的个体影响力度量方法。案例2019年1月，一篇发表在NatureHumanBehaviour上的论文发现，仅仅通过分析线上好友的推文数据，特别是其中的互动，就有可能预测一个人在社交媒体上未来的行为。论文作者Bagrow，Liu和Mitchell来自美国佛蒙特大学佛蒙特复杂系统中心。通过分析上万名Twitter用户及其好友的数据，研究者发现：对用户行为的预测准确率存在上限（64%），不过仅仅利用好友们的推文数据，就可以达到预测上限的95%。这意味着即使你从不发推文，但通过分析你的好友，就能预测出你是怎样的人。而且如果朋友在推文中@了你，或者你在朋友推文下面有互动留言，那么预测会更准确！甚至，只需要使用9个好友的推文数据来做分析，对你下一条推文做预测，就比用你个人历史推文数据来预测还要准确！5.1在线社交网络分析概述在线社交研究的内容是各种看上去互不相同的复杂网络之间的共性和处理它们的普适方法。通过研究在线社交网络能够在学科、内容之间架起沟通的桥梁，使得对某一个网络的研究也有可能对另一种网络的研究起到借鉴作用。随着计算机技术和社交网络的不断发展，在线社交网络已经成为一把双刃剑：一方面它为人类的生产生活带来了极高的便利，极大地缩减了人类获取信息、分享信息的成本；另一方面，它也为人类的生活带来了负面冲击，比如谣言传播、不良信息传播、个人隐私泄露等。因此，在线社交网络的研究显得尤为重要，这就要求相关从业者和相关学习人员需要对在线社交网络这种复杂网络有更好的认识和研究，去迎接未来更大的挑战。5.1.1在线社交网络分析含义与特征一个在线社交网络就是一群人或者某些团体按照某种关系一起构成的一个系统。这种关系可以是多种多样的，如主播与粉丝关系、相同影视爱好者关系、学生教师在线交流关系。提及在线社交网络，首先要提及的是“复杂网络”这一概念。钱学森对于复杂网络的严格定义是：具有自组织、自相似、自吸引、小世界、无标度中部分或者全部性质的网络。新媒体中的在线社交网络是复杂网络的一个子集。在线社交网络分析（OnlineSocialNetworkAnalysis）涉及信息学、数学、社会学、心理学、管理学、计算机科学等多个学科的理论基础与实践方法，是为了理解新媒体中用户社交关系的形成、分析用户行为特点、追踪新媒体中信息传播规律的一种跨学科的科学方法。1在线社交网络的含义5.1.1在线社交网络分析含义与特征Facebook全球友谊图5.1.1在线社交网络分析含义与特征抽象来说，在线社交媒体是由作为节点的新媒体用户和由这些用户的在线社交关系所表示的边所构成的集合。新媒体用户是在线社交媒体中的节点，具有主观性、能动性、复杂性等特征；新媒体用户之间的在线社交关系是连接这些用户的桥梁，其中用户之间关系的差异可以由连接边的权重进行辨析。5.1.1在线社交网络分析含义与特征（1）迅捷性：依托于成熟的网络设施及用户对于访问信息资源速度、相互沟通速度需求的提高，迅捷性是在线社交网络最为显著的特征。（2）平等性：新媒体时代是用户自我产生内容、消费内容的时代，网络“中心”这一角色被进一步弱化。在线社交媒体网络中用户之间的地位是平等的。（3）自组织性：在线社交媒体网络中用户通过兴趣爱好、共同利益等需求联合成为一个虚拟社区网络，呈现出较强的自我组织特性。（4）结构复杂性：在线社交网络在结构上错综复杂、极其混乱，而且其连接结构可能随时间实时变换。（5）相互作用性：在线社交网络的相互作用性体现在节点之间、网络之间的相互影响。2在线社交网络的特征5.1.2在线社交网络分析的基本内容在线社交网络结构特征分析是指利用统计学变量及相关指标对于社交网络的规模、特性、范围等进行量化分析和计算。图(Graph)提供了一种抽象的“点”和“边”表示实际网络的方法，且其方便于相关的数学运算，因此其成为目前研究复杂网络乃至在线社交网络的一种共同的语言。这种抽象表示的优点在于通过图的研究可以得到实际在线社交网络的拓扑性质(Topologicalproperty)。1在线网络结构特征与分析当欧拉在1736年访问普鲁士的哥尼斯堡(现俄罗斯加里宁格勒)时，他发现当地的市民正从事一项非常有趣的消遣活动。哥尼斯堡城中有一条名叫Pregel的河流横穿而过，这项有趣的消遣活动是在星期六作一次走过所有七座桥的散步，每座桥只能经过一次而且起点与终点必须是同一地点。5.1.2在线社交网络分析的基本内容中心性在在线社交网络中的初衷是为了表示边和点的重要度。在图中，如果去除某个点使得这个图由连通变得不连通，那么该店就称为割点(Cut-Vertext)，如果去抽某个边使得图由连通变为不连通，那么这条边就称为桥(Bridge)。这些特性使得这些边和点在图中的重要性不言而喻，同样的概念也适用于在线社交网络，但是规模复杂的在线社交网络因为其去中心化的特性，往往不能通过取消单个点对网络的特性进行改变，所以在线社交网络关注于去除点的比例、抑或度分布这样的概念。2在线社交网络中心性分析5.1.2在线社交网络分析的基本内容虽然在线社交网络较之简单的图来说具有明显的去中心化特征，但是网络红人、博主这类的巨大网络节点同样是存在的。这些“红人节点”有的具有正面社会价值观，赢得广泛的用户喜爱；有的因其争议性行为引起社会的广泛关注。不论如何，这些节点对于整个在线社交网络的影响都是不可忽视的，小到电商广告的推送、在线购物营销，大到舆论传播、谣言传播都有这些节点的身影。因此如何度量一个节点的影响力就是在线社交网络中至关重要、不可或缺的内容之一。3在线社交网络中的个体影响力分析5.2社交网络结构特征与分析基础在线社交网络是由节点与节点之间的联系——边，构成的一种复杂网络。对于在线社交网络进行分析首先要考虑如何定义与表达网络，其次则要考虑网络基本的统计特性，最后则要从网络的整体特性出发考虑如何量化分析网络的网络特性。5.2社交网络结构特征与分析基础研究图的系列概念和方法被称为图论。图论虽然已经有很长的历史，但是在学术界并没有形成完全统一的概念及术语。目前普遍接受的关于图的定义是：图是物件与物件之间的关系表示的数学对象。一个具体的网络可以将其抽象为一个由点V集合和边E集合组成的图G=(V，E)，顶点的数量记作N，边的数量记作M。其中，E中的每条边都有V中的一对点与之对应。1图及其定义5.2.1在线社交网络的数学表达式按照图中是否有方向和边是否有权重可以将图分为4种2图的种类5.2.1在线社交网络的数学表达式（1）加权有向图中的边是有权重的，点与点之间的关系具有方向，很多现实中的实际网络都是加权有向图，例如交通网络，其方向是道路的实际方向，权重为道路负荷量。（2）加权无向图是无方向但有权重的图，可以将其理解为全是双向车道公路，节点之间没有方向关系，但是其边的权重是已知的。无向图可以按照实际需求直接构建，也可以由有向图转化得来。（3）无权有向图顾名思义就是图中只有点与点之间的指向关系，并不包括边的权重。无权有向图的另一种理解思路是认为图中权重处处相等(可以假设其均为1)。5.2.1在线社交网络的数学表达式无权有向图可以由加权有向图转化而来，这是一种数据离散化常用的方法——设置阈值也叫赋阈值，即通过实际情况和研究需求对于边之间的权重设置阈值。（3）无权有向图顾名思义就是图中只有点与点之间的指向关系，并不包括边的权重。无权有向图的另一种理解思路是认为图中权重处处相等(可以假设其均为1)。5.2.1在线社交网络的数学表达式除了上述图的概念和分类外，另一个需要各位读者注意的概念是完全图Kn，简单来说，完全图的“完全”体现在所有点之间均有边进行连接，所以其边的数量为：N*(N-1)/2。（4）无权无向图中，图中边的权，点之间的指向都不被包括。无权无向图既可以通过无权有向图进行对称化得到，也可以通过加权无向图进行赋阈值得到，方法与上述方法相同。5.2.1在线社交网络的数学表达式在分析在线社交网络时面临的首要问题就是如何在计算机中表示一个网络。最常用的基本方式就是邻接矩阵。3邻接矩阵邻接矩阵分为有向图邻接矩阵和无向图邻接矩阵。对无向图（无向简单图）而言，邻接矩阵一定是对称的，而且对角线一定为零，有向图则不一定如此5.2.2在线社交网络的统计特性在线社交网路网络的统计特性包括其路径的表征、网络中的度分布、网络的幂律分布1路径有路径连接才有网络。因此对于一个网络，最先吸引研究者注意的内容就是该网络的路径连接情况：该网络是否是一个整体？如何确定两个网络之间是否直接或者间接地相连？继续采取前面的符号设定：网络表示为G=(V,E)。5.2.2在线社交网络的统计特性路径可以被定义如下：（1）路径：无向图G中的一条路径是指在一个特定的点系列P(v1,v2,v3,v4)中，其中每一对相邻的点之间都有一条边。P也成为从v1到v4的一条路径，路径的长度即为路径所包含的边的数目，如图所示5.2.2在线社交网络的统计特性（2）回路：起点与终点重合的路径称为回路。（3）简单路径：各个顶点都互不相同的路径被称为简单路径。（4）圈：将满足如下定义的路径称为圈——①点数量K>2；②K－1个点互不相同；③起点与终点相同。5.2.2在线社交网络的统计特性2度与度分布在线社交网络中，与点连接的边的个数称为该点的度。网络中所有节点的度的平均值，即网络节点的平均度（k）把网络中节点的度按从小到大排序，从而统计得到度为k的节点占整个网络节点数的比例P（k）5.2.2在线社交网络的统计特性无向网络的度分布P(k)定义为网络中一个随机选择的节点的度为k的概率。有向网络的出度分布（Out-degreedistribution）P（kout）定义为网络中随机选的一个节点的出度为k的概率；入度分布（In-degreedistribution）P(kin)定义为网络中随机选取的一个节点的入度为k的概率3幂律分布服从正态分布的随机变量具有一个明显的特征标度——钟形曲线的峰值（即随机变量的均值）。以人的身高为例，假设全球成年男子的平均身高为1.75米，那么绝大多数成年男子的身高应该都与1.75米相差不远，例如在1.65米到1.85米之间。我们从未在大街上见过身高低于50厘米的“小矮人”，或高于3米的“巨人”。因此，全球成年男子的身高分布具有钟形曲线的形状是合理的。5.2.2在线社交网络的统计特性Barabasi小组1999年9月在《Nature》上发表了一篇文章，指出WWW的出度分布和入度分布都与正态分布有很大不同，而是服从幂律分布其中，γ为幂指数，通常取值在2与3之间判断一个网络的度分布P(k)是否为幂律分布，有一个看上去很简单的方法就是双对数坐标系。直观上，如果根据给定的数据，在双对数坐标系中看到近似有一条直线，那么就可以推断所处理的数据近似符合幂律，并且可以从该直线的斜率得到对应的幂指数(为什么)5.2.3在线社交网络的网络特性1.网络连通性在线社交网络的连通性一般包括三类：强连通、单向连通、弱连通（1）强连通：指一个有向图G中任意两点v1、v2间存在v1到v2的路径及v2到v1的路径。（2）单向连通：如果有向图中，对于任意节点v1和v2，至少存在从v1到v2和从v2到v1的路径中的一条，则原图为单向连通图。（3）弱连通：将有向图的所有的有向边替换为无向边，所得到的图称为原图的基图。如果一个有向图的基图是连通图，则有向图是弱连通图5.2.3在线社交网络的网络特性1.网络连通性实际上，大规模在线社交网络（有向网络）既不是强连通也不是弱连通的，而是由一个包含了网络中相当部分节点的很大的弱连通片组成，称为弱连通巨片5.2.3在线社交网络的网络特性1.网络连通性（1）强连通核（Stronglyconnectedcore，SCC）：也称为强连通巨片，位于网络的中心。SCC中任意两个节点之间都是强连通的，即存在从任一节点到另一节点的有向路径。（2）入部（IN）：包含那些可以通过有向路径到达SCC但不能从SCC到达的节点。也就是说，一定存在从IN中任一节点到SCC中任一节点的有向路径；反之，从SCC中任一节点出发沿着有向边都无法到达IN中的一个节点。（3）出部（OUT）：包含那些可以从SCC通过有向路径到达但不能到达SCC的节点。也就是说，一定存在从SCC中任一节点到OUT中任一节点的有向路径；反之，从OUT中任一节点出发沿着有向边都无法到达SCC中的一个节点。从IN中任一节点到OUT中任一节点必然存在有向路径，而且该路径必经过SCC中的某些节点。5.2.3在线社交网络的网络特性1.网络连通性（4）卷须（Tendrils）：包含那些既无法到达SCC也无法从SCC到达的节点。对于挂在IN上的任一卷须节点，必至少存在一条从IN中某一节点到该节点的不需经过SCC的有向路径；对于挂在OUT上的任一卷须节点，必至少存在一条从该节点到OUT中某一节点的不需经过SCC的有向路径。此外，还有可能存在从挂在IN上的卷须节点到挂在OUT上的卷须节点的不经过SCC的有向路径，这些串在一起的卷须节点称为管子（Tube）5.2.3在线社交网络的网络特性2.网络稀疏性在线社交网络密度定义为该网络中实际的变数与该节点下能够连接的最大边数的比值：一个包含N个节点的网络的密度（Density）ρ定义为网络中实际存在的边数M与最大可能的边数之比对应地，对于有向网络密度只要取消上式分母中的1/2即可。实际的大规模网络的一个通有特征就是稀疏性：网络中实际存在的边数要远小于最大可能的边数5.2.3在线社交网络的网络特性2.网络稀疏性在分析网络模型时，如果当N→∞时网络密度趋于一个非零常数，就表明网络中实际存在的边数是N2同阶的，那么我们就可以认为该网络是稠密的；此时，邻接矩阵中非零元素的比例也会趋于一个常数。而如果当N→0时网络密度趋于零或者网络平均度趋于一个常数，就表明网络中实际存在的边数是比N2低阶的，那么该网络就是稀疏的；此时，邻接矩阵中非零元素的比例也会趋于零。5.3中心性分析节点和边共同构成了社交网络，相同数量的节点与边能够组合出的网络是多种多样的。因此简单的依赖边与节点数量这样的统计量很难对于一个网络中节点与边的关系进行清晰的量化分析。同时，社交网络中不同的节点往往存在着不同的功能与地位。以微博网络举例，其中一般包含中心“大V”用户、普通用户等。为了量化研究社交网络的上述特征，中心性(Centrality)及其相关概念被提出5.3.1度中心性(DegreeCentrality)1定义度中心性又叫点度中心性、连接中心度，顾名思义是一种度量一个点与其他点直接连接的总和的指标，是一种基础的衡量节点在网络之中的中心性的指标我们可以从微博粉丝数量的视角对其进行简单的理解，假设在某个话题下内有A，B两名用户，其中A有50名粉丝，B仅有25名粉丝，那么在该话题下A显然比B具有更大的社交圈子、更广泛的影响力、更具有“中心性”。这也就是度中心性的核心思想5.3.1度中心性(DegreeCentrality)1计算方法关于点A的度中心度的定义如下：点i的中心度即在图中与点i直接相连接的点的个数与该网络总节点N－1之比值如果点N具有最高的度数中心性，则点N位居在线网络的中心，很可能拥有最大的影响力。由于度数中心性测量的依据是与该点直接相连接的点的个数，且忽略了与该点间接相连接的点，所以上述定义的点度中心性可以称为“局部中心度(localcentrality)”5.3.2中介中心度中介中心度(Betweennesscentrality)1定义假设在一个点对（pairofpoints）X和Z之间存在n条捷径。一个点Y相对于点对X和Z的中间度（betweenness）指的是该点处于此点对的捷径上的能力。用中间性比例（betweennessproportion）来刻画这种能力5.3.2中介中心度2计算方法计算经过一个点的最短路径的数量。经过一个点的最短路径的数量越多，就说明它的中介中心度越高其中，i表示最短路径编号，j表示经过的点，Eij表示该点经过的最短路径如果一个大的社交网络中包含了几个小组，那么中介中心度高的人就起到将这些小组连接起来的作用5.3.2中介中心度接近中心度(Closenesscentrality)1定义一个点的绝对接近中心度（closenesscentrality）是该点与图中所有其他点的捷径距离之和（sumofdistance）。接近中心度考虑的是行动者在多大程度上不受其他行动者的影响。如果网络中的一个行动者较少依赖于他人，此人就具有较高的中心度。一个点越是与其他点接近，该点就越不依赖于他人。5.3.2中介中心度接近中心度(Closenesscentrality)2计算方法其中，CCi表示节点i的接近度中心性，d(i,j)表示点i到点j之间的距离，n表示网络中全部点的数量。接近中心度体现的是一个点与其他点的近邻程度，也就是说，接近中心性可以定义为距离的倒数5.4个体影响力分析随着互联网的发展和自媒体等平台的兴起，针对社交网络的个体影响力相关研究引起了国内外学者广泛的关注。发现社交网络中的有影响力的个体是社交网络研究中非常重要的研究分支，而且其有着重要的应用价值。例如，点子营销、谣言检测、舆情管理等。个体的影响力包括多种计算方法，其中最为直观的便是基于网络结构的个体影响力分析。其次包括基于个体行为的影响力分析、基于话题的个体影响力分析5.5.1基于网络结构的个体影响力基于上述内容，我们可以直接根据社交网络的图结构特性，使用中心度指标来衡量网络中节点的影响力量。1.基于传统网络结构的影响力指标度中心度（DegreeCentrality）：度中心度是指与该节点直接相连的节点的数量。接近中心度(ClosenessCentrality)：指某节点与网络中所有其他节点的最短距离之和。介数(BetweennessCentrality)：介数用来衡量某节点在社交网络中中介作用大小5.5.1基于网络结构的个体影响力2.基于k-壳分解法的影响力分析k-壳分解法可以简单理解为“剥洋葱”，我们假设网络中不存在度值为0的孤立节点。从度中心性的定义来说，度为1的节点就是网络中最不重要的节点然后，我们将所有度值为1的节点以及与这些节点相连的边都去掉，这时网络中又会出现一些新的度值为1的节点，我们再将这些节点及其相连的边去掉，重复这种操作，直至网络中不再有度值为1的节点为止这种操作相当于剥去了网络的最外面一层壳，我们就把所有这些被去除的节点以及它们之间的连边称为网络的1-壳（1-shell）。有时，网络中度为0的孤立节点也称为0-壳（0-shell）因此，在剥去了1-壳后的新网络中的每个节点的度值至少为2最终，网络中的每一个节点最后都被划分到相应的k-壳中，就得到了网络的k-壳分解。网络中的每一个节点对应唯一的k-壳指标ki，并且ki-壳中所包含的节点的度值必然满足k=ki有了k-壳分解，我们就可以得到一种基于度中心性的节点重要性的粗粒度划分方法，来对在线社交网络中的用户重要性等进行评估5.5.2基于行为的个体影响力分析社交网络中用户的行为决定用户的影响力，以微博为例，用户主要表现的行为是评论、转发、回复、点赞、复制、阅读等，基于这些行为特征构建多种网络关系图，可通过随机游走等方法发现网络中的影响力个体1HITS(Hyperlink-InducedTopicSearch)算法HITS算法是由康奈尔大学(CornellUniversity)的JonKleinberg博士于1997年首先提出的，为IBM公司阿尔马登研究中心(IBMAlmadenResearchCenter)的名为“CLEVER”的研究项目中的一部分HITS算法最初被用来评估网页的重要性，其基本思想是：每个网页的重要性有两种刻画指标——权威性（Authority）和枢纽性（Hub）。例如，当你要搜索某个机构时，从内容的权威性角度看，该机构的主页应该是最重要的。但是另一方面，某黄页类型的网站包含了该机构主页——即该网页的功能就是给出各种机构的导航信息。那么该网页就具有相对高的枢纽值，也就是说从该网页能够到达一些重要的权威