《人工智能驱动的校园欺凌防控管理技术规范》_第1页
《人工智能驱动的校园欺凌防控管理技术规范》_第2页
《人工智能驱动的校园欺凌防控管理技术规范》_第3页
《人工智能驱动的校园欺凌防控管理技术规范》_第4页
《人工智能驱动的校园欺凌防控管理技术规范》_第5页
已阅读5页,还剩9页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.240.99

CCSL67

团体标准

T/CIXXXX—XXXX

人工智能驱动的校园欺凌防控管理技术规

Technicalspecificationsforpreventionandcontrolofbullyinginschoolsdrivenby

artificialintelligence

(征求意见稿)

在提交反馈意见时,请将您知道的相关专利连同支持性文件一并附上。

XXXX-XX-XX发布XXXX-XX-XX实施

中国国际科技促进会发布

T/CIXXXX—XXXX

人工智能驱动的校园欺凌防控管理技术规范

1范围

本文件给出了基于人工智能的校园防霸凌技术规范,主要应用于校园防霸凌大模型,规定了数据采

样、预处理、多模态大模型流程逻辑、行为识别、语音分析、隐私保护、事件上报、事件处理、自动预

警、事件追溯、因果推断等指标的要求。

本文件适用于基于人工智能的校园防霸凌技术规范,主要应用于校园防霸凌大模型,适合以人工智

能技术为基础的校园防霸凌系统。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

GB/T5271.34-2006信息技术词汇第34部分:人工智能神经网络

GB/T35119-2017产品生命周期数据管理规范

GB/T41867-2022信息技术人工智能术语

3术语和定义

GB/T5271.34-2006,GB/T35119-2017,GB/T41867-2022界定的以及下列术语和定义适用于本文

件。

邻接矩阵adjacentmatrix

用以表示交通图数据中不同节点的空间相关性权重的二维正方形矩阵。

无监督学习unsupervisedlearning

在没有给定事先标记过的训练数据情况下,自动对输入的数据进行分类。

注意力机制attentionmechanism

通过额外的神经网络参数控制网络关注点的一种手段。

过拟合overfitting

模型对训练数据过于精确地匹配,导致无法很好地适应训练集之外的其他数据。

欠拟合underfitting

模型没有很好地识别到数据的特征和规律,导致无法很好地拟合数据。

4缩略语

下列缩略语适用于本文件。

SVM:支持向量机(SupportVectorMachine)

PCA:主成分分析(PrincipalComponentsAnalysis)

CNN:卷积神经网络(ConvolutionalNeuralNetwork)

GCN:图卷积网络(GraphConvolutionalNetwork)

RNN:循环神经网络(RecurrentNeuralNetwork)

LSTM:长短期记忆网络(LongShortTermMemory)

1

T/CIXXXX—XXXX

GMM:高斯混合模型(GaussianMixtureModel)

MAE:平均绝对误差(MeanAbsoluteError)

MSE:均方误差(MeanSquaredError)

RMSE:均方根误差(RootMeanSquaredError)

MAPE:平均绝对百分比误差(MeanAbsolutePercentageError)

5校园欺凌防控管理系统架构体系

人工智能驱动的校园防霸凌技术系统架构中可以包含数据采样层、数据处理层、校园防控大模型层

和应用场景层,具体见图1。

在采样层可以利用摄像头,语音传感器及校园地图信息收集视频音频等非结构化数据,利用问卷、

校园数据库收集学生的心理健康数据、教学活动数据等结构化数据。在数据处理层,利用数据编码、数

据聚合、数据清洗等方法进行数据预处理。最后在算法层通过图像识别、知识图谱、强化学习、深度学

习等人工智能算法实现欺凌行为识别,情绪分析等实际的场景应用。

图1人工智能驱动的校园欺凌防控管理技术架构体系

6多模态数据集成融合分析要求

数据来源

公开数据:包含校园内的监控录像,录音,红外传感数据,雷达采集数据等公开数据用于模型的训

练,训练大模型判断霸凌发生的能力。

真实校园采集数据:校园内的实时监控录像,录音,红外传感等数据,作为大模型的数据输入,同

时也用于修正大模型能力。

学生个人信息:通过学校自身数据库及问卷调查的方式,获取学生的成绩,年龄,性别,照片,性

格趋向,个人关系。辅助机器对霸凌事件的判断以及识别出霸凌及被霸凌人员。

2

T/CIXXXX—XXXX

校园信息:通过学校自身数据库获取班级信息,年级信息,作息安排,辅助机器对霸凌事件的判断

以及按类存储数据。

6.2数据处理

6.2.1数据清洗

数据清洗主要是为了处理噪声、异常值、缺失值和重复值,达成让模型更加精确的目的,例如:

a)语音识别可能会检测到噪声过大的数据,可以使用信噪比估计算法(如WADA-SNR)来去除信

噪比很低的音频;

b)对于图像数据,可以去除质量较低或没有有效信息的图像,例如模糊、全黑的图像;

c)文本数据可能会出现重复或缺失数据,需要将重复的数据去除,对缺失的数据进行填充处理,

可利用固定值、均值、中位数的填充方法,并进行分词、停用词去除、词干化等处理;

d)对于传感器和红外数据,需要对因机器故障检测到的异常数据使用异常检测算法进行修正处

理。

6.2.2数据标注

针对不同分类的识别任务,需要根据数据的不同类型或不同类别进行标注处理,用于算法模型的训

练,目前常用的标注类别有文本标注、语音标注、图像标注、3D点云标注等。

6.3数据分析

6.3.1特征提取

特征提取主要用于减少数据维度,提取或整理出有效的特征供后续使用,针对不同类型的数据,可

以利用不同的特征提取技术:

a)文本数据:文本数据固有的非结构化(没有格式整齐的数据列)和嘈杂的特性使得机器学习方法

更难直接处理原始文本数据,因此针对文本数据,可以使用词袋模型、TF-IDF、Word2Vec、BERT、

N-Grams袋等技术进行提取特征;

b)图像数据:图像识别实际上是一个分类的过程,因此选取的特征不仅要能够很好地描述图像,

更重要的是还要能够很好地区分不同类别的图像。常见图像特征提取的算法和模型有:SIFT、

ORB、HOG、LBP、HAAR、DeepLearning(如CNN)等;

c)音频数据:要对语音信号进行分析,首先要分析并提取出可表示该语音本质的特征参数。常见

的声学特征有:LPC、PLP、MFCC、Fbank、语谱图等,提取不同的特征需要不同的提取方法,

常见的音频数据特征提取模型有:CNN、RNN、LSTM、VAE等。

6.3.2数据融合

融合不同尺度的特征是提高模型性能的一个重要手段,多模态特征融合的方法分为四种:特征级融

合、决策级融合、混合级融合和模型级融合。其中特征级融合也称为早期融合,是多模态识别系统最常

用的策略,它表示在提取后立即从不同模态提取的特征连接成单个高维特征向量的方法。

6.3.2.1特征拼接(Concatenation)

这是最直接和简单的特征融合方法。简单地将不同模态的特征向量端到端拼接在一起,形成一个长

向量。这种方法保留了每种模态的原始特征,但可能会增加模型的复杂性,且无法捕捉捕捉到不同模态

之间的交互和关联。

6.3.2.2特征相加(Summation)

将不同模态的特征向量相加,得到一个新的特征向量。这种方法需要所有特征向量的维度相同。相

加可以减小模型的复杂性,但可能会丢失一些特征信息。假设有两个特征图A和B,它们的尺寸相同。

特征图相加后的结果为A+B。

6.3.2.3特征相乘(Multiplication)

将不同模态的特征向量相乘,得到一个新的特征向量。这种方法也需要所有特征向量的维度相同。

3

T/CIXXXX—XXXX

乘法可以捕捉不同模态之间的交互特性,但计算复杂度较高。

6.3.2.4注意力机制(Attention)

注意力机制可以为每种模态的特征分配一个权重,然后将加权的特征进行融合。通过训练,注意力

机制可以学习到每种模态在不同任务中的重要性。该方法的计算复杂度高,同时需要大量训练数据。

6.3.2.5自编码器(Autoencoder)

自编码器可以将多模态的原始特征映射到一个共享的隐藏空间,然后从隐藏空间中解码得到融合

特征。这种方法可以捕捉不同模态之间的共享信息,但训练过程可能较复杂。

6.3.2.6递归神经网络(RNN)或长短期记忆网络(LTSM)

当数据具有时间序列性质时,可以使用RNN或LSTM进行特征融合。这些模型可以捕捉不同模态

特征在时间上的动态变化和相互关系。

7算法构建要求以及评估指标

技术

7.1.1图像识别技术

7.1.1.1SVM支持向量机

支持向量机是一种广泛应用于分类和回归分析的机器学习模型,在解决小样本、非线性及高维模式

识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。SVM的主要思想是

在特征空间中找到一个最优的超平面,使得正负样本间的距离(即间隔)最大化。需要注意的是,SVM

在应用时需要对图像进行适当的预处理,例如灰度化、归一化等,以提高模型的性能。另外,对于复杂

的图像分类问题,可能需要使用核函数将数据映射到高维空间中,使其在高维空间中线性可分。对于非

平衡数据集,可能需要使用类别权重或者采样方法来处理类别不平衡问题。

SVM的基本型决策函数为:

f(푥⃑)=푤⃑⃑⃑푇푥⃑+푏....................................(1)

式中:

푥⃑--输入的特征向量

푤⃑⃑⃑--超平面的法向量

T--表示转置

b--截距

SVM通过求解以下优化问题来找到最优的푤⃑⃑⃑和b:

1

min‖푤⃑⃑⃑‖2.....................................(2)

푤⃑⃑⃑,푏2

s.t.yi(푤⃑⃑⃑푥⃑⃑⃑⃑푖+푏)≥1.................................(3)

式中:

‖푤⃑⃑⃑‖2--푤⃑⃑⃑的二阶范数,即模长平方

yi--第i个样本的类别标签

푥⃑⃑⃑⃑푖--第i个样本的特征向量

在校园欺凌防控上,SVM可以应用在图像识别和人脸识别等领域。例如,可以通过摄像头捕捉校园

内的实时图像,然后使用SVM进行图像分类,如果识别出可能存在的欺凌行为,就可以立即进行干预。

在人脸识别方面,可以通过SVM识别出涉及欺凌事件的个体,提供依据进行后续处理。

7.1.1.2聚类算法

聚类算法是一种无监督学习技术,根据样本之间的相似性,将样本划分到不同的类别中,形成一个

“类”或“簇”。对于不同的相似度计算方法,会得到不同的聚类结果。在图像识别中,聚类算法通常

被用于图像分割、对象识别等任务。K-means聚类算法是最常用的聚类方法之一,K为用户指定的簇个

数,每一个簇通过其质心(centroid),即簇中所有点的中心来描述。其步骤如下:

4

T/CIXXXX—XXXX

a)随机设置K个特征空间内的点作为初始的聚类中心;

b)对于其他每个点,计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别;

c)接着对着标记的聚类中心之后,重新计算出每个聚类所有数据点的均值,作为新的中心;

d)重复第2步和第3步,直到中心的变化很小或者达到预定的迭代次数。

在该过程中,使用距离函数来计算数据点与中心的距离。在欧几里得空间中,距离函数的表达式为:

222n2

d(x,y)=√(x1−y1)+(x2−y2)+⋯+(xn−yn)=√∑i=1(xi−yi)............(4)

其中:

xi、yi--第i维度的x、y轴坐标

在校园欺凌防控中,在收集到关于校园欺凌的报告或者投诉后,可以使用聚类算法将这些事件按照

其性质、严重程度、涉及人员等因素分类,帮助学校和教育管理部门更有效地处理和预防欺凌事件;也

可以通过对历史欺凌事件进行聚类,发现某些特定的模式或者规律,例如某些特定情境下更容易发生欺

凌,或者某些类型的学生更容易成为欺凌的受害者,这些信息可以用于构建风险预警模型,对可能发生

欺凌的情况进行提前预警。

7.1.1.3PCA主成分分析

PCA是一种常用的数据降维算法,它通过计算数据的协方差矩阵并进行特征值分析,找到可以最大

限度表示原始数据分布的主成分(方向),同时尽可能保留原始数据的结构和信息,即通过线性变换将

高维数据映射到低维空间,使得在保留尽可能多信息的前提下,数据的维数得以降低。其方法如下:

a)将m条n维原始数据组成n行m列的矩阵;

b)将X的每一行减去对应行的均值,即零均值化,得到矩阵X;

c)求出协方差矩阵C=XXT/m;

d)求出协方差矩阵的特征值及对应的特征向量;

e)将特征向量按对应特征值从大到小、自上而下排列成矩阵,取前k行组成矩阵P;

f)降维后的数据矩阵为Y=PX。

在校园欺凌防控中,对于校园监控视频,可以提取出每一帧图像,使用PCA进行降维,将图像数据

转换成一种更容易处理和分析的形式。在降维后的空间中,可以使用其他机器学习算法(如SVM、神经

网络等)进行进一步的分析,识别出可能的欺凌行为。

7.1.1.4CNN卷积神经网络

卷积神经网络是一种深度学习模型,主要用于处理和分析具有网格状结构数据,如图像和视频。一

般的卷积神经网络包含输入层、卷积层、激活层、池化层和全连接层。卷积层通常用作对输入层输入数

据进行特征提取,通过卷积核矩阵对原始数据中隐含关联性的一种抽象。核心卷积操作的公式如下:

(푓∗푔)(푥,푦)=∑푚 ∑푛 푓(푖,푗)푔(푥−푖,푦−푗)........................(5)

其中:

푓、푔--输入图像、卷积核

푚、푛--卷积核宽度和高度

(x,y)--输出特征映射中像素点的坐标

激活层对卷积层抽取的特征进行激活,由于卷积操作是由输入矩阵与卷积核矩阵进行相乘的过程,

是线性变化关系,需要激活层对其进行非线性的映射。池化层又称为降采样层,对感受域内的特征进行

筛选,提取区域内最具代表性的特征,降低输出特征尺度,进而减少模型所需要的参数量。全连接层对

卷积神经网络学习提取到的特征进行汇总,将多维的特征输入映射为二维的特征输出。

神经元是CNN的基本处理单元,一般是多输入单输出的单元,输入与输出之间的对应关系可用下

式表示,具体形式如下:

yj=f(bj+∑𝑖=1(xi×wij) )..............................................................(6)

其中:

xi--输入信号

wij--输入信号xi与神经元j连接的权重值

bj--神经元的内部状态即偏置值

yj--神经元的输出

5

T/CIXXXX—XXXX

在校园欺凌防控中,CNN可以用于校园视频监控分析,识别可能存在的欺凌行为,及时报警或通知

相关人员,防止欺凌事件的发生或恶化;也可以用于情感分析,通过分析学生的面部表情、语音语调、

心率血压等生理信号,识别出可能受到欺凌或有欺凌倾向的学生,及时提供心理咨询或干预,防止欺凌

对学生的身心健康造成损害。

7.1.1.5GCN图卷积网络

GCN中的Graph是指数学(图论)中的用顶点和边建立相应关系的拓扑图。图网络的核心思想就是

依据图结构的空间依赖关系来表征现实世界中真实的特征之间的相互作用关系,通过对节点特征进行

聚合生成新的节点特征表示用于后续工作。假设有一个图结构,图中有N个节点(node),每个节点都

有自己的特征,设这些节点的特征组成一个N×D维的矩阵X,各个节点之间的关系也会形成一个N×N

维的矩阵A,称为邻接矩阵(adjacencymatrix),X和A即为模型的输入。GCN也是一个神经网络层,,

其计算就是不断考虑邻居及自身信息的一个迭代过程,每进行一次迭代就是一次特征重组,下一层的特

征为上一层特征的图卷积:

11

(푙+1)−−푙푙

퐻=휎(퐷̃2퐴̃퐷̃2퐻푊)..............................(7)

其中:

D--度矩阵,即每个节点的邻居数量的对角矩阵,D=∑jAij

푊푙--第l层的权重

퐻푙、퐻푙+1--第l层、第l+1层的节点特征

퐴̃=퐴+퐼,퐷̃=퐷+퐼

σ--非线性激活函数

在校园欺凌防控中,GCN可用于图像分割、对象识别、场景理解等。将每个像素点视作图中的一个

节点,像素之间的相邻关系形成图的边,GCN可以有效地捕获这种像素之间的关系,从而进行更准确的

图像分割。对象识别(如姿态估计)可以被看作是图结构预测问题,在这种情况下,GCN可以帮助提取

对象各部分之间的结构信息,从而提高识别的精度。在复杂场景理解任务中,物体之间的关系可以被建

模为图结构,如物体的相对位置、共现关系等,GCN可以用于捕获并利用这些结构信息进行更准确的场

景理解。

7.1.2语音识别技术

7.1.2.1Transformer

Transformer是一种使用自注意力机制和位置编码的神经网络架构,适用于自然语言处理任务。它

解决了传统神经网络模型在处理序列数据时的一些限制,能够处理长距离依赖关系并具备更好的并行

计算能力。在Transformer中,输入序列被分别编码成两个向量:查询(query)向量和键值对(key-

valuepairs)向量。通过计算查询向量和键值对之间的注意力得分,可以为每个查询分配与之相关的

值。另外,Transformer还引入了位置编码,用于为输入序列中的每个位置赋予一个相对或绝对位置信

息。位置编码可以帮助模型理解输入序列中不同位置的相对距离和顺序。其主要公式包括:

自注意力机制:

푄퐾푇

퐴푡푡푒푛푡푖표푛(푄,퐾,푉)=푠표푓푡푚푎푥()푉..........................................................(8)

√푑푘

式中:

푄--查询向量

퐾--键向量

푉–值向量

푑푘–键向量的维度

自注意力机制的目的是计算输入序列中每个位置对其他位置的注意力分数,然后用这些分数对输

入序列进行加权求和,得到注意力输出。

在校园欺凌防控中,Transformer可以用于深度学习和自然语言处理任务,例如情绪分析,意图识

别,以及关键词提取。例如,通过分析语音内容中的抱怨、威胁、侮辱等关键词,可以侦测学生可能的

欺凌行为。同时,Transformer也可以用于理解涉及多个学生的对话,以便捕获更复杂的欺凌行为模式。

6

T/CIXXXX—XXXX

7.1.2.2RNN循环神经网络

循环神经网络(RecurrentNeuralNetwork,RNN)是一类用于处理序列数据的神经网络。与前馈

神经网络(如全连接网络和卷积神经网络)不同,循环神经网络在模型结构中引入了循环,使得网络能

够处理长度可变的序列输入,并保持对序列中过去信息的记忆。尽管循环神经网络理论上能够处理任意

长度的序列,但在实践中,它们常常会遇到长期依赖问题——模型难以学习到输入序列中距离当前时间

步较远的信息。其主要公式为:

ℎ푡=σ(푊ℎℎℎ푡−1+푊푥ℎ푥푡+푏ℎ).............................(9)

푦푡=푊ℎ푦ℎ푡+푏푦..................................(10)

式中:

ℎ푡–时刻t的隐藏状态

푥푡–时刻t的输入

푦푡–时刻t的输出

푊–权重矩阵

푏–偏置

휎–激活函数,通常为tanh或sigmoid

在校园欺凌防控中,RNN可以被应用于多种语音分析任务,包括语音识别、语音生成和情绪分析。

例如,RNN可以用来分析学生的语音数据,捕获他们的语气变化、情绪状态、语言习惯等,以识别可能

的欺凌行为。RNNs也可以用来分析学生之间的对话动态,以识别是否存在欺凌的模式。

7.1.2.3LSTM长短期记忆网络

LSTM是RNN的一种变体,它通过引入门机制解决了RNN处理长序列时的梯度消失问题。LSTM添加

了三个门(输入门、遗忘门和输出门)以及一个单元状态,从而可以更好地记忆和遗忘信息。其主要公

式为:

푓푡=σ(푊푓⋅[ℎ푡−1,푥푡]+푏푓)..............................(11)

푖푡=σ(푊𝑖⋅[ℎ푡−1,푥푡]+푏𝑖)..............................(12)

퐶̃푡=푡푎푛ℎ(푊퐶⋅[ℎ푡−1,푥푡]+푏퐶)............................(13)

퐶푡=푓푡∗퐶푡−1+푖푡∗퐶̃푡................................(14)

표푡=σ(푊표⋅[ℎ푡−1,푥푡]+푏표)..............................(15)

ℎ푡=표푡∗푡푎푛ℎ(퐶푡).................................(16)

式中:

푓푡–时刻t的遗忘门

푖푡–时刻t的输入门

표푡–时刻t的输出门

퐶푡–时刻t的单元状态

퐶̃푡–时刻t的候选单元状态

ℎ푡–时刻t的隐藏状态

푥푡–时刻t的输入

푊–权重矩阵

푏–偏置

휎–sigmoid激活函数

LSTM是一种特殊的RNN,它可以捕获长期依赖关系,这对于理解和分析长时间段的语音数据非常有

用。在校园欺凌防控中,LSTM可以用于持续监测和分析学生的语音数据。例如,通过长期跟踪学生的

语音模式变化,能够发现他们的情绪变化、语言习惯的改变等可能的欺凌迹象。相比于RNN,LSTM还可

以用于理解复杂的对话,包括多个学生之间的交互,以便捕获更复杂的欺凌行为模式。

7.1.2.4GMM高斯混合模型

GMM是一种概率模型,它假设数据是由多个高斯分布的混合生成的。GMM可以用于聚类,异常检测,

生成模型等任务。其主要公式为:

7

T/CIXXXX—XXXX

푝(푥)=Σπ푁(푥|μ,Σ).............................(17)

푘=1푘푘푘

式中:

K–高斯分布的数量

π푘–第k个高斯分布的系数

푁(푥|μ,Σ)–均值为μ,协方差矩阵为Σ的高斯分布

푘푘푘푘

푥-观测数据

在校园欺凌防控中,GMM可以用于分析学生的语音特征,识别异常和离群点。例如,通过对学生的

语音特征进行聚类,可以帮助识别异常的语音模式,这可能是欺凌行为的一个迹象。此外,GMM还可以

用于异常检测,以便在发生欺凌行为时及时引发警报。

7.1.3大模型

大模型指具有大规模参数和复杂计算结构的机器学习模型,通常由深度神经网络构建而成,拥有数

十亿甚至数千亿个参数。大模型通过训练海量数据来学习复杂的模式和特征,具有更强大的泛化能力,

可以对未见过的数据做出准确的预测。因为其出色的表达能力和预测性能,大模型在各种领域都有广泛

的应用,包括自然语言处理、计算机视觉、语音识别和推荐系统等,可以根据不同大模型的特点将其应

用于防控校园欺凌领域。

例如GPT的文本模型可以用来分析学生在社交媒体、校园论坛、聊天记录等文本数据中的言论,旨

在发现潜在的欺凌行为。例如,发现含有侮辱、歧视等不当言论的文本,或是识别出表现出强烈负面情

绪(如愤怒、恐惧等)的文本,这些可能都是欺凌行为的迹象。

WaveNet和Tacotron的等语音大模型可以用来分析学生在语音或视频通话中的言论。比如,可以

识别出含有恶意威胁、侮辱的语音信息。此外,一些先进的语音模型甚至可以分析语调、语速等元信息,

帮助判断说话者的情绪状态,从而发现可能的欺凌行为。

视频大模型,如I3D和TSN,可以用来分析监控视频,识别出可能的欺凌行为。这些模型可以识

别出一些欺凌的典型行为,如推搡、打击等。此外,通过分析学生的面部表情、身体语言等,也可以帮

助发现潜在的欺凌行为。

在实际应用中,多模态的融合模型可能会更有效,将文本、语音、视频等多种类型的数据融合在一

起,提供更全面的信息,从而更准确地识别欺凌行为。

BERTforMultimodalTasks(ViLBERT,VideoBERT,UNITER等)模型将BERT模型扩展到多模态任

务上,通过在预训练阶段引入图像-文本匹配任务等,模型可以学习从不同模态中提取和融合信息。对

于BERT模型,微调的过程可以表示为:

P(y|x)=softmax(W∗h+b).............................(18)

其中:

x--输入的文本

y--输出的标签(1表示欺凌行为,0表示非欺凌行为)

W、b--微调过程中需要学习的参数

h--经过BERT产生的文本表示

softmax--激活函数

MultimodalTransformer是一种基于Transformer架构的模型,专门用于处理包含文本和图像的

多模态数据。它分别对文本和图像应用自注意力机制,然后通过互模态注意力机制将两种模态的信息融

合在一起。

SlowFastNetworksforVideoRecognitio是一种用于视频识别的模型,可以同时处理视频中的

空间和时间信息,适用于处理视频和音频等多模态数据。

评估

7.2.1MAE平均绝对误差

MAE是一种用于评估预测模型或者估计方法的常用指标,它计算的是预测值与实际观测值之间差的

绝对值的平均。其公式为:

1

푀퐴퐸=∑푛|푦−푥|................................(19)

푛𝑖=1𝑖𝑖

8

T/CIXXXX—XXXX

式中:

푛–样本数量

푦𝑖–预测值

푥𝑖–真实值

MAE的值越小,表示预测模型的准确性越高。MAE可以用来衡量预测模型的准确性,得到预测结果

和实际情况的偏差程度。

7.2.2MSE均方误差

MSE是一种常用的评价指标,它计算的是预测值和实际观测值之间的差值的平方的平均。其公式

为:

1

푀푆퐸=∑푛(푦−푥)2...............................................................(20)

푛𝑖=1𝑖𝑖

式中:

푛–样本数量

푦𝑖–预测值

푥𝑖–真实值

与MAE相比,MSE对异常值更敏感,因为它放大了预测误差的影响。MSE可以用来更详细地衡量预

测模型的准确性,尤其是对模型是否能够处理异常值的评估。

7.2.3RMSE均方根误差

RMSE是MSE的平方根。其公式为:

1

푅푀푆퐸=√∑푛(푦−푥)2..............................(21)

푛𝑖=1𝑖𝑖

式中:

푛–样本数量

푦𝑖–预测值

푥𝑖–真实值

与MSE相比,RMSE更能反映模型预测的平均偏差。在欺凌行为预测中,RMSE可以用来衡量预测模

型的准确性,尤其是在评估模型预测的一般性能力上。

7.2.4MAPE平均绝对百分比误差

MAPE是一种相对误差指标,计算的是预测值与实际值之间的绝对误差的百分比的平均。其公式为:

1푛푦푖−푥푖

푀퐴푃퐸=∑𝑖=1||∗100%............................(22)

푛푦푖

式中:

푛–样本数量

푦𝑖–预测值

푥𝑖–真实值

在欺凌行为预测中,MAPE可以更好地反映预测误差相对于实际值的大小,展现预测精度的相对性

能。

7.2.5准确率(Accuracy)

准确率是分类问题中最常用的评估指标,计算的是预测正确的样本数占总样本数的比例。其公式为:

푇푃+푇푁

퐴푐푐푢푟푎푐푦=..............................(23)

푇푃+푇푁+퐹푃+퐹푁

式中:

푇푃–真正例(正确预测的欺凌行为)

푇푁–真负例(正确预测的非欺凌行为)

퐹푃–假正例(错误预测的欺凌行为)

퐹푁–假负例(错误预测的非欺凌行为)

在欺凌行为预测中,准确率可以衡量模型在正确预测欺凌行为和非欺凌行为方面的能力。

9

T/CIXXXX—XXXX

7.2.6召回率(Recall)

召回率也称为敏感性,它计算的是预测为正样本(即欺凌行为)且实际为正样本的比例占所有实际

为正样本的比例。其公式为:

푇푃

푅푒푐푎푙푙=...................................(24)

푇푃+퐹푁

式中:

푇푃–真正例(正确预测的欺凌行为)

퐹푁–假负例(错误预测的非欺凌行为)

在欺凌行为预测中,召回率可以衡量模型在找出所有实际欺凌行为方面的能力。如果召回率高,说

明模型能够捕捉到大部分真实的欺凌行为;反之,如果召回率低,说明模型可能会错过一些真实的欺凌

行为。

8应用场景功能构建要求

功能要求

8.1.1基于大模型的校园欺凌防控专家知识系统

针对校园欺凌防控处理过程中的知识检索功能,可以利用大语言模型技术构建校园欺凌防控专家

知识系统,能够集成和解析各类文档数据,同时可以准确理解用户的查询问题,以及根据上下文返回精

准的检索结果。

系统构建过程如下图2所示,用于构建专家知识系统的数据可以包含相关法规文件、历史案件信

息、论文专著和学生信息等相关文档数据,在数据类型上应能够支持pdf、doc、csv等不同格式文档,

系统可以实现文档数据的向量化编码,以及能够在向量数据库中进行存储。在用户提问过程中,可以根

据用户的问题在向量数据库中进行相似答案的召回,能够将多个召回的相似答案按照大模型的提示词

模板进行格式组装。在完成格式组装后统一输入到大模型中,大模型可以根据上下文输出一个最好的答

案,并注明该答案的文档出处。整个专家知识系统应可以支持和实现相关法律法规检索、处理建议推荐、

心理辅导和智能多轮对话等功能。

图2基于大模型的校园欺凌防控专家知识系统架构

8.1.2行为识别

10

T/CIXXXX—XXXX

在人工智能驱动的校园欺凌防控管理系统中,可以将监控图像、红外图像和传感波形应用于行为识

别中,以实现以下功能:

监控图像分析:利用监控摄像头捕捉到的图像,通过人工智能算法进行分析,以识别和检测异常行

为。例如,系统可以检测学生之间的冲突、推搡、打架等行为,同时也可以检测学生在校园内长时间独

处、聚集、逃离等异常情况。通过实时监测和预警,系统可以及时发现潜在的霸凌行为,并采取相应的

措施进行干预和管理。

红外图像分析:利用红外摄像头捕捉到的图像,通过人工智能算法进行分析,以识别和检测人体发

出的热辐射。例如,系统可以检测学生在校园内长时间滞留、聚集、奔跑等行为,同时也可以检测学生

之间的身体接触和冲突等异常情况。通过实时监测和预警,系统可以及时发现潜在的霸凌行为,并采取

相应的措施进行干预和管理。

传感波形分析:利用传感器捕捉到的波形信号,通过人工智能算法进行分析,以识别和检测异常声

音和震动。例如,系统可以检测学生在校园内长时间叫喊、喧哗、撞击等行为,同时也可以检测学生之

间的打斗、推搡等异常情况。通过实时监测和预警,系统可以及时发现潜在的霸凌行为,并采取相应的

措施进行干预和管理。

综上所述,将监控图像、红外图像和传感波形三项行为识别技术投入到实际应用中,可以有效地提

高校园欺凌防控管理系统的准确性和实时性,及时发现潜在的霸凌行为,并采取相应的措施进行干预和

管理。这些技术还可以提供数据记录和分析功能。学校可以通过回放监控视频和传感波形数据,了解学

生在特定时间段内的行为和活动情况。这有助于发现潜在的霸凌行为模式和趋势,为学校制定更有效的

预防和干预措施提供支持。

8.1.3场景分析

在人工智能驱动的校园欺凌防控管理系统中,可以通过语音识别、语音转文字、语意识别和情绪识

别、视频图像处理等技术,以实现在不同场景下的分析功能。具体应用场景如下:

判断是否发生霸凌行为:可以利用语音转文字技术将监控视频中的音频转化为文字,以便后续的分

析和处理。通过语意识别技术,可以进一步分析文本数据,识别出其中的关键词和主题。这可以帮助学

校快速了解和掌握学生在该场景下进行的对话和交流内容,发现涉及霸凌行为的讨论和言论,以及学生

之间的冲突和争执等潜在风险,为判断是否存在霸凌行为提供重要线索。

判断霸凌行为发生的时间:可以对视频或图像进行处理,通过光线等因素判断霸凌行为发生的时间,

利用大模型预测出霸凌行为高发的时间点。

判断霸凌行为发生的场所:可以利用语音识别技术提取周围的环境音,并结合语意识别技术分析得

到霸凌行为发生的场所,例如:周围存在较大水流声时可以初步判断霸凌行为发生在厕所、浴室等场所。

还原霸凌行为的现场:可以通过语音识别技术或视频图像处理技术判断出参与霸凌的人数及霸凌

的方式,结合语音转文字和语意识别技术,可以通过情绪识别技术分析文本数据中的情感倾向和情绪变

化,这可以帮助学校判断学生在收到霸凌时的情绪状态,通过还原现场分析该霸凌行为的严重性。

综上所述,将语音识别、语音转文字、语意识别和情绪识别、视频图像处理等技术应用于场景分析

中,可以帮助学校更快速、准确地发现潜在的霸凌行为,分析霸凌行为发生的时间、地点及现场状况,

及时采取相应的措施进行干预和管理。同时,这些技术还可以提供数据记录和分析功能,为学校制定更

有效的预防和干预措施提供支持。

8.1.4交互预警

主动报警:主动报警是指当校园欺凌防控管理系统检测到霸凌事件时,能够自动触发报警机制,及

时通知学校管理人员或警方进行处理。例如,当系统检测到学生之间的打架、推搡等异常行为时,可以

自动触发报警机制,通过声音、灯光等方式提醒管理人员或警方前来处理,以保障学生的安全。

自适应预警系统:在校园欺凌防控管理系统中,可以利用数据分析模型进行数据收集。根据历史数

据和行为分析,自动调整报警敏感度,避免过多的误报,同时确保真实风险不被忽略。例如预警系统可

以统计出在过去一段时间内发生次数最多的霸凌行为是哪一种,该行为在一段时间内的报警敏感度将

升高,以最大化预警的效率和准确度。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论