AIIA PG 0161-2024 面向行业的大规模预训练模型技术和应用评估方法 第11 部分：文旅大模型

AIIA/PG0161-2024面向行业的大规模预训练模型技术和应用评估方法第11部分：文旅大模型Industryorientedlarge-scalepre-trainedmodeltechnologyandapplicationevaluationmethodsPart11:Culturalandtourismlarge-scalepre-trainedmodels2024-09-05发布2024-09-05实施中国人工智能产业发展联盟发布I 1 1 1 1 1 2 26.1.1⽂化场景 36.1.2旅游场景 6 96.2.1任务⽀持度 96.2.2性能优越度 10 156.3.1服务多样性 156.3.2服务成熟度 16海鸥、杨晓飞、贺琳、郑会平、王勇、陈臻、陈泽斌、赵晓志、周支持度、应用成熟度三大维度，综合评估金支持度、应用成熟度三大维度，综合评估电支持度、应用成熟度三大维度，综合评估教支持度、应用成熟度三大维度，综合评估汽支持度、应用成熟度三大维度，综合评估传支持度、应用成熟度三大维度，综合评估政支持度、应用成熟度三大维度，综合评估家支持度、应用成熟度三大维度，综合评估工支持度、应用成熟度三大维度，综合评估招1GB/T35273-2017信息安全技术个人通用大模型Generallargescalepre-traine文旅大模型Educationallargescalepre-tr4缩略语Recall-OrientedUnderstudyforGi2能力域能力子域能力项3化遗产（民间文学、传统戏剧、传统舞蹈、传得分能力项分项要求44)文物知识推理：模型能够理解和处理以可移动文物和不可移动文物为载体的b)主题覆盖：模型能够涵盖各类文化主题，包括但不限于历史、艺术、文学、民得分能力项分项要求评估目的：评估文旅大模型覆盖的文化遗产保护1)安全监测：包括但不限于城墙沉降监测、白蚁监测、裂缝倾斜监测、非得分能力项分项要求55)文化景观设计：包括但不限于为城市景观提供具有文化特色的景观设计方案得分能力项分项要求6得分能力项分项要求评估内容：评估文旅大模型对旅游营销场景应b)营销手段：包括但不限于社交媒体营销、内容营销、活动营销、会员营销、电子得分能力项分项要求7得分能力项分项要求得分能力项分项要求2.应覆盖1种及以上具体的旅游规划任务评估内容：评估文旅大模型对旅游规划场景应3)预算管理：模型能够帮助用户管理旅游预算，包括交通、住宿、餐饮、门票评估内容：评估文旅大模型对景区管理场景应81)景区优化：包括但不限于景区布局优化、景区服务优化、设施配置3)交通管理：包括但不限于景区外部路况监测、景区内部交通规划、景区内部4)安全管理：包括但不限于安全隐患评估、应急预案制定、应急事件预警、应得分能力项分项要求2.应覆盖9种及以上具体的景区管理任务评估内容：评估文旅大模型对平台服务场景应5)体验评价：包括景点评价、酒店评价、餐饮评价等。得分能力项分项要求9得分能力项分项要求得分能力项分项要求评估内容：评估文旅大模型对智能导游场景应3)总结阶段：评估智能导游是否能提供照片整理、游记生成、满意度分析等；b)语言支持：包括但不限于中文、英文、韩文、德语、藏语、维吾尔语、蒙语等。评估目的：评估文旅大模型对检索、分析、推荐、问答得分能力项分项要求相关结果数量得分能力项分项要求P——待分类的总文本数；得分能力项分项要求a)准确率：调用文本内容推荐接口获取推荐结果，评分评分准则推荐结果涵盖用户部分意图，但最相关的内容推推荐结果涵盖用户完整意图，但最相关的内容推得分能力项分项要求b)下文识别正确率，即多轮问答中某个轮次正确则视为下文识别正确，计算方式如接受度评分。每名评分人员的可接受度评分为其流畅性、连贯平均分，参测文旅大模型可接受度最终得分为多名评测人员可可接受度评分评分准则流畅性连贯性有趣性得分能力项分项要求得分能力项分项要求得分能力项分项要求得分能力项分项要求得分能力项分项要求评估内容：评估文旅大模型在应用阶段的是否具备实时c)排队信息：提供各大景点的排队信息，包括但不限于时长、预计等待时间等；e)卫生间信息：提供各大景点的卫生间信息，包括但不限于位置得分能力项分项要求评估内容：评估文旅大模型在应用阶段是否具备完善的保障c)内容安全：包括但不限于模型输入信息检测、模d)风险控制：包括但不限于模型外部攻击检测、供应链安全检测等；e)访问控制：包括但不限于服务权限管理、人得分能力项分项要求评估内容：评估文旅大模型在应用阶段是否具备b)回复客户频率：针对客服反馈问题回复的频率，如按周、按天、得分得分能力项分项要求ES_T=R_Tfinish−R_Tstart（9）R_Tfinish——系统或应用程序返回结果的时间（非流式）或系统或应用程序返R_Tstart——用户发起请求的开始时间。得分能力项分项要求a)操作系统兼容性：评估文旅大模型对主流操作系统的适配度，包括但不限于iOS、