中国移动“弈衡”大模型评测体系研究及技术发展趋势洞察

11

“弈衡”评测厚积薄发大模型发展趋势洞察下一步发展展望232打造中国移动权威第三方评测机构愿景：成为中国移动核心技术能力的度量衡和磨刀石目标：以公司“一体五环”重点产品和能力评测为中心，打造中国移动权威、中立、客观的第三方技术能力评测机构积淀全栈评测技术涉及领域广数据积累多工具手段精文本类语音类人工智能测试能力引擎栈语句类对话类篇章类离线语音在线语音人脸比对目标检测人体识别多轮对话OCR识别文本审核声纹识别应用层能力性能指标算法通用服务API…违文本分类命名实体规内容审核情感倾向多轮对话单轮对话智能应答语义理解信息抽取情感分类文本抽取语音情感识别...远场近场电话信道声纹识别语音合成远场近场电话信道识别准

树编辑

R2

mAP

F1值IoU/

等错okslcs…确率距离误率测试分析管理测试执行管理视觉类数据分析类数据读取写入字段解析图像转换音视频转码外部AI能力…图像类视频类智慧运维智慧营销内容推荐智慧运营HTTP/WebSocketSocket/异步通信数据库多线程深度学习数据处理人脸关键点大个性化智能推荐人人体姿态文目手势识别电源状态图片分类人脸年龄人脸姿态跨活体检测视频标签人脸动作智数据智能风控通用产品推荐运营指标预测业务智能预警目底层共性技术硬件资源身份证人流量能业务识别智视频推荐标用户推荐脸识别字识别标检测境追踪能运维……GPU资源池开发板K8sdocker机械臂…3搭建中国移动技术能力评测图谱，全面助力公司打造优质产品个人/新兴业务（CN）家庭业务（H）行业应用（BGV）工业金融位置医疗教育农业智慧城市数字孪生云游戏超级SIM中间号云渲染家庭连接家庭宽带智能网关家庭安全音频通信教育加速游戏加速高清机顶盒智能交互健康养老云魔百盒语音交互智能门窗磁工业质检(螺钉检测仪表识别)智慧养殖猪圈整体估种智能客服室外定位医疗影像云课程推荐系统云AR云VR视频直播视频点播数字身份数字人数字人客服平台园区安防室内定位急救产品（急诊分诊）平安校园智慧体育智慧考场智慧养殖猪只盘点5G新通话5G消息视频通话工业质检（光伏电池）大数据风控模型跨境追踪三维地图可视化引擎城管场景识别大数据平台城市运营管理一网通办AI辅诊产品农机作业面积识别云手机云盘室内摄像头实时音视频智能音箱风控平台工业网关（协议性能）卫星遥感地图地基增强星基增强...急救产品（预案处置）交通移动认证无人机保密专网网关管理平台远程驾驶急救产品(紧急救援)密钥安全SIM卡…云魔百和数字货币…视频彩铃智能门锁中移凌云平台自动驾驶智慧港航OneDB数据库城市AI平台工业质检(包装传送检测)5G保密专网管理平台…OneHealth智慧医疗云平台哈勃一号语音类文本类语句类对话类篇章类离线语音在线语音违规内容审核语音情感识别AI能力文本分类命名实体情感倾向多轮对话单轮对话智能应答语义理解信息抽取情感分类文本抽取对话情绪远场近场电话信道声纹识别语音合成远场近场电话信道视觉类数据分析类图像类视频类智慧运维智慧营销内容推荐智慧运营大数个性人脸关键点智能业务识别通用产品推荐运营指标预测业务智能预警目标用户推荐人脸

人体

文字

目标

身份

手势

电源

图片

人脸

人脸跨境

人流

活体

视频

人脸追踪

检测

标签

动作智能运维据智能风控视频推荐化智能推荐……识别

姿态

识别

检测证识别

状态

分类

年龄

姿态量通用大模型行业大模型4专委会副主任郭嘉丰向中国移动技术能力评测中心主任刘伟东授牌5以

评

促

研以

测

选

优积极促进自有大模型提升遴选应用外部优质模型6构建覆盖发挥推进完整体系

主流模型

智库价值

行业发展ABE

F7264评测场景评测维度评测要素基础任务功能性准确性可靠性安全性应用性交互性文本分类目标检测评测方式评测指标评测工具应用任务智能客服代码生成评测数据8公平性隐私保护合法合规任务丰富度多模态能力支持完备度社会偏见功能性

安全性准确度商用生态准确性应用性可靠性

交互性实时性丰富性连续性规范性鲁棒性抗攻击性不确定性流畅性91

“弈衡”评测厚积薄发大模型发展趋势洞察下一步发展展望2310国外市场ChatGPT3.5OpenAIGPT-4OpenAI约1万亿ClaudeAnthropic62亿Bard谷歌5400亿Vicuna-13BUC伯克利130亿Llama2Mate700亿......1750亿ChatGLM-九天中国移动研究文心一言百度1750亿通义千问星火认知科大讯飞500亿百川百川智能530亿混元腾讯1000亿悟道3.0智源10万亿130B智谱AI1300亿阿里未公开院30亿国内市场............SenseChaChatGLM紫东太初中科院自动化所360智脑奇虎科技约千亿天工昆仑万维约千亿ABABMiniMax约千亿云雀抖音未公开Moss复旦大学160亿t商汤1800亿2-6B智谱AI60亿1000亿科技大厂科研机构开源模型11国外国内开源806040200综合评分评测对象1290807060504030国际领先国内领先国内平均13模型数量对比已评测模型综合性能对比总数量

备案数量80706050403020100605550454058.536955.3322144北京上海北京上海14功能性准确性可靠性安全性交互性4035302520151051081082016128108666444224200000国外国内国外国内国外国内国外国内国外国内151