大模型评测幻觉检测-北京智源

大语言模型的幻觉检测 02幻觉定义及检测方法 02幻觉定义及检测方法 03幻觉检测工具构建 03幻觉检测工具构建 04总结与展望我们所希望的评测范围评测范围被评测模型能力范围实际可能的被评测模型能被评测模型能力范围评测范围甚至有可能被评测模型能被评测模型能力范围评测范围•我们不能预估模型的能力，只能不断探索大模型能力的边界模型评测模型能力探索模型评测模型能力探索大模型评测体系及开放评测平台FlagEval天秤基础模型支撑平台与评测技术”旗舰项目支持下，智源研究院牵头联合多个团队研制(2023~2025)向人工智能大模型工程化技术及应用的产业公共•FlagEval已完成数十个国内外主流开源模型的全面评测，在2023年完成了1800多模型评测次数，并连续14个月发布“大模型月度评测榜单”。的,但我尝试从鲁迅先生真实的经历和思想中汲取灵感,去想象周树人和鲁们铭记先贤,传承他们的精神,用我们手中的"笔",书写新时代的篇章。88幻觉定义及检测方法幻觉的定义sources.100幻觉的定义事实性幻觉：强调生成的内容与可验证的现实世界事实之间的差异，通常表现为事实不一致或捏造事实。忠实性幻觉：指生成的内容与用户指令或输入提供的上下文内容不一致，以及生成内容内部上下文的不一致。11事实性幻觉检测方法基于模型内部行为的方法基于检索的方法基于模型内部行为的方法基于检索的方法忠实性幻觉检测方法2.2.用于自动化检测的JudgeModel1.用于检测的评测集幻觉检测工具的构建幻觉检测的工作目标缺乏对幻觉信息的定位和解释缺乏对幻觉信息的定位和解释复杂场景依赖人工或裁判模型复杂场景下的幻觉检测更多的依赖人工众包，或者依赖如GPT-4作为裁判模型缺乏对话场景下的幻觉检测更多是在句子&段落级别上进行检测，少局限性幻觉检测/定位/解释•对主流的大语言模型进行了幻觉的检测和评估第二步：幻觉检测/定位/解释信息生成（GPT-4生成）诱发式幻觉•含诱导信息的对话场景中产生的幻觉数据，生成幻觉的同时生成检测/定位/解释等信息（GPT-4生成）1.用于检测的评测集•1.用于检测的评测集•利用幻觉检测标签，可以评估LLM的幻觉检测能力•利用幻觉定位和解释信息，可以评估模型定位幻觉并提供理由的能力•利用HalluDial训练自己的幻觉评估器，自动的评估LLM的幻觉率•首个支持幻觉定位&解释的检测模型，支持更丰富的使用场景•幻觉检测的精度达到SOTA；对幻觉定位及解释也非常精准，人工检验HalluJudge的判断有93.65%是合理的。•具有较高的泛化性，在同任务不同数据集上的检测准确率可达82%以上•在不同任务不同数据集上，也有不俗表现，特别是在摘要类任务的幻觉检测上•持续优化中主流的大语言模型的幻觉率注：注：由于时间和资源的关系，除GPT系列外，尚未对闭源的LLM进行评测，后续将会集成到FlagEval平台上，提供开放的评测服务，欢迎关注。开源链接：/FlagOpen/HalluDial22LLM容易产生幻觉的实例的主题分布LLM容易产生幻觉的实例的主题分布温度对幻觉率的影响总结与展望••构建了HalluDial，第一个用于对话级幻觉评估的大型基准，包含146,856个样本的综合数据集，以及幻觉检测、定位和理由等详细信息。•开发基于HalluDial训练的幻觉判断语言模型HalluJudge，有助于法学硕士对话级幻觉的自动评估。•大语言模型普遍存在幻觉，GPT系列的模型幻觉率较低，部分国内的开源模型表现良好。••大模型评测要