提示词设计:动态提示词 标准提示词
提示词设计:动态提示词 标准提示词
- 研究背景:随着人工智能与司法结合的推进以及裁判文书公开数量增多,司法摘要任务愈发重要。传统司法摘要方法生成质量有待提升,大语言模型虽有优势,但处理裁判文书时存在摘要结构信息缺失、与原文不一致等问题。
- 研究方法
- DPCM方法:分为大模型摘要生成、相似性比较、修改提示三个模块。通过将裁判文书与标准摘要数据集转化为三元组输入大语言模型生成初步摘要;利用BERT模型计算裁判文书与模型摘要的上下文向量相似值,判断摘要是否存在问题;若存在问题,则拼接原文和提示词进行迭代修正。
- 数据集:使用“法研杯”CAIL2020的裁判文书摘要和CAIL2021的涉法舆情摘要数据集。
- 评价指标:采用Rouge、BERTscore和FactCC指标,分别评估摘要与标准摘要的相似度、语言表达多样性以及事实一致性。
- 实验结果
- 模型对比实验:在多个大语言模型和两个数据集上的实验表明,加入DPCM后,模型在Rouge、BERTscore和FactCC指标上均有提升,说明动态提示能减少结构信息缺失,增