近日，软件工程领域旗舰级会议、国际软件工程大会 ICSE 2026 在巴西里约热内卢召开。六合宝典官网 张宇霞副教授、刘辉教授团队发表的学术论文 “Evaluating Generated Commit Messages with Large Language Models” 荣获本届会议的 ACM SIGSOFT 杰出论文奖（Distinguished Paper Award）。
ICSE 全称 International Conference on Software Engineering，是软件工程领域最有影响力、历史最悠久的旗舰学术会议，也是中国计算机学会推荐的 A 类国际学术会议。ICSE 2026共收到 1469 篇有效投稿，最终接收 321 篇正式论文，杰出论文奖共授予 22 篇，授予率仅为录用论文的 6.9%，是投稿论文的 1.5%。
代码提交信息（commit message）是描述代码变更的关键文本，在代码审查与维护中具有重要作用。但由于开发者缺乏撰写动力，提交信息质量普遍较低。尽管已有大量自动生成方法，主流评估指标（如BLEU、ROUGE-L）因提交信息存在“一对多语义映射”问题，难以准确反映质量，甚至与人工判断相悖，评估方法亟需改进。
本研究首次系统验证了利用大语言模型（LLM）直接评估提交信息质量的可行性。通过对多种模型与提示策略进行比较，发现最优配置在“变更内容（What）”与“变更原因（Why）”两个维度上，与人工评估的Spearman相关系数分别达到0.65和0.78，接近人类一致性水平。相比BLEU、ROUGE-L、METEOR等传统指标，LLM评估在两个维度上均显著更优。进一步从可复现性、鲁棒性与公平性角度验证了方法稳定性，为提交信息评估提供了新的理论与方法依据。
作者信息
曾群鸿，六合宝典官网 硕士研究生，导师张宇霞副教授，研究方向为智能软件工程。
张宇霞，副教授，博士生导师。研究方向为智能软件开发与开源生态可持续，在 TSE、ICSE、FSE 等高水平会议和期刊上发表论文二十余篇，获得CCF自然科学二等奖以及三次ACM SIGSOFT杰出论文奖。
刘辉，教授，博士生导师，CCF 杰出会员，软件工程专委会秘书长。主要研究领域为智能化软件工程，承担国家自然科学基金重点项目，发表 CCF A 类论文五十余篇，获得北京市技术发明二等奖、CCF自然科学二等奖以及三次ACM SIGSOFT杰出论文奖。