全球能源互联网研究院有限公司、开户送18元自助体验金科学研究院有限公司关于开展电网设备技术标准精准检索与智能问答验证工作的通知

发布时间:2021-03-12

各有关单位:

为推进电网设备技术标准数字化建设,加快技术标准在设备运维、检修等作业场景应用,赋能一线班组,按照国家电网有限公司(以下简称“国网公司”)工作安排,全球能源互联网研究院有限公司(以下简称“联研院”)、开户送18元自助体验金科学研究院有限公司(以下简称“中国电科院”)联合组织开展电网设备技术标准精准检索与智能问答技术验证。验证工作兹定于2021年6月1日至7日在北京举行。相关事项通知如下:

一、工作内容

电网设备技术标准是指导基层安全生产、推进业务高质量发展的必要保障,是设备管理技术工作的前提条件。基层人员在开展运维、检修等作业时,须严格按照技术标准的流程、规范开展作业,存在大量技术标准的检索和问答需求。公司已有上千项电网设备技术标准,数量庞大、内容复杂,但主要以书籍、文档形式线下进行管理,基层人员不能及时查阅和充分运用,未充分发挥技术标准对各类作业的指导作用。亟需采用新技术手段,实现技术标准的结构化、知识化、智能化,改进基层人员对于技术标准的使用形式,提高检索效率,解决技术答案难找到,甚至找不到的问题,提升设备管理作业质效。

本次验证分为精准检索和智能问答两方面,选取变压器相关技术标准作为原始语料数据,构建基于变压器技术标准文档的检索和问答模型。验证知识图谱、自然语言处理等相关人工智能技术和工程实用水平。精准检索主要验证算法模型对于特定内容和知识点的定位准确性、完整性和效率,智能问答验证算法模型对于问题理解、答案生成及逻辑推理的能力。

根据业务特性和基层人员需求,由业务专家设计样例和验证用例,同时按照场景差异、难易程度划分等级,考察参与单位的业务问题理解能力和人工智能水平。另外,由人工智能领域专家参考业界通用评价方法,结合业务特点制定反映算法模型准确性和有效性的综合评价指标。最终基于国网公司人工智能两库一平台实现集中部署、统一验证,由评测工具调用各参与单位的算法模型接口,按照指定格式获取模型运行结果,自动化校验答案后生成评测结果。

(一)设备技术标准精准检索

精准检索考察参与单位算法模型检索设备技术标准知识点检索准确度和检索效率,通过对给定关键词组或短语对设备技术标准文档内容进行精确定位,返回相关知识点和标准名称等内容,并根据相关性进行排序。检索内容包括但不限于定义、范围、规定、条件、要求、流程、方法、工艺,检索结果应为给定文档的内容。

主办方通过自动化评测工具从验证集提取一定量不同难度的设备领域检索词组或短语,按照指定的模型输入、输出接口要求,调用参与方设备技术标准精准检索模型,模型输出检索结果,由工具对模型结果和标准答案进行自动化对比,给出评测结果。结果评价考虑技术与业务两方面,分场景按照题目难易程度加权计分,评价指标不限于F1值、nDCG等,最终形成综合领域检索词难易度、标准差异度和引用推荐度等业务评价指标的评价结果,相关要求详见附件1。

主办方指定37份设备技术标准文档作为原始数据,详见附件2,发布检索范围和样例供参与单位参考,参与单位需充分挖掘技术标准文档内容的语义信息。

(二)设备技术标准智能问答

问答任务考察参与单位算法模型对于设备管理技术标准“分析、理解及归纳”的智能化水平。通过给定技术标准相关问题,智能问答算法模型需从给定文本中抽取若干段落、句子、实体或属性值作为该问题的答案。答案应来自于给定的文档,且尽量满足唯一性、正确性、完整性、简洁性和客观性等要求。主办方从验证集提取一定量技术标准问答问题,按照问答模型的输入、输出接口要求,调用参与方设备技术标准问答模型,输出问答结果,由工具对模型结果和标准答案进行自动化对比,给出评测结果。结果评价将考虑技术与业务两方面,分场景按照题目难易程度加权计分,评价指标不限于F1值、Rouge值、引用正确性等,最终形成综合设备领域业务知识理解复杂度、答案推理难易度等业务评价指标的评价结果,相关要求详见附件1。

主办方将指定37份设备技术标准文档作为原始数据,发布若干验证样例供参与单位参考,验证样例将根据变压器业务场景、问题性质和难易程度进行划分,每个样例包含问题、答案及依据。任务本身不限定方法类型,因此不提供训练集。

(三)结果提交

 验证阶段,所有参与单位应在指定场地开展验证。主办方基于国网公司人工智能两库一平台提供统一验证平台(相关技术参数见附件3),参与单位需按照接口要求提前对代码进行加密和容器化处理,并验证平台进行集成。平台将基于统一的验证数据,自动化调用各参与单位模型产生结果,并使用评测工具进行公开打分。

二、参与形式

本次验证工作坚持开放合作、自愿平等的原则,具备知识图谱、自然语言处理等技术能力的相关单位均可报名:

(一)国网公司系统内科研和产业单位

结合自身实际,自愿报名参加。

(二)省(自治区、直辖市)电力公司

可自愿组织省属科研单位、省管产业单位参加,也可与外部单位联合组队参加。

(三)国网公司系统外单位

具有知识图谱、精准检索、自然语言处理等人工智能技术理论研究和工程实践的优秀企业、科研院所及高校等单位自愿报名参加。

三、工作安排

(一)报名阶段(3月12日-3月31日)

各单位自愿报名参加,填写附件4并加盖本单位公章,发送至联系人邮箱。报名截止时间为3月31日24:00,逾期不予接收。

(二)准备阶段(4月1日-5月31日)

1.4月9日,依据报名情况,向参与单位发出评测任务书。

2.4月10日-5月23日,各单位依据评测任务书要求开展模型构建和训练。

3.5月24日-5月31日,参与单位开展现场预调试。

(三)评测阶段(6月1日-6月7日)

1.6月1日,参与单位入场,开放技术验证平台,各参与单位进行算法现场部署。

2.6月2日到3日,依据验证评分规则,对各参与单位算法进行技术验证。每家参与单位测试完毕后,给出评测分数,待全部参与单位验证结束后,公布验证结果。

3.6月7日,择优选择部分参与单位进行路演,组织技术交流活动。

四、工作要求

1.验证工作应遵循公平、公正原则,组织单位应认真做好过程记录,保证验证效果,参与单位应服从组织单位安排,保证验证结果的真实性和有效性。

2.各参与单位须签署保密协议,全程禁止拍照。

3.验证期间,各参与单位及工作组成员应服从现场工作安排,遵守北京市和主办方的防疫要求。

五、联系方式

联研院计算所:

陈其鹏,15210253513

中国电科院高压所:

张博文,18101241735

联系邮箱:

tianbao-wu@sgcc.com.cn(内网)

jsyz@geiri.sgcc.com.cn(外网)

附件1:技术验证评价原则 2.doc

附件2:技术验证相关技术标准文档清单 2.doc 

附件3:验证环境软硬件配置信息 2.doc

附件4:报名表 2.doc

 

 

全球能源互联网研究院有限公司

开户送18元自助体验金科学研究院有限公司

2021年3月11日

Baidu
sogou