评测三: 临床术语标准化任务

任务简介

临床术语标准化任务是医学数据统计分析中不可或缺的一项任务。临床上，关于同一种诊断、手术、药品、检查、化验、症状等往往会有成百上千种不同的写法。标准化（归一）要解决的问题就是为临床上各种不同说法找到对应的标准说法。有了术语标准化的基础，研究人员才可对电子病历进行后续的统计分析。本质上，临床术语标准化任务也是语义相似度匹配任务的一种。但是由于原词表述方式过于多样，单一的匹配模型很难获得很好的效果。

任务详情

本次评测任务主要目标是针对中文电子病历中挖掘出的真实诊断实体进行语义标准化。 给定诊断原词，要求给出其对应的诊断标准词，以《国际疾病分类 ICD-10 北京临床版v601》标准进行了标注。

相较于2020年诊断归一任务，我们额外提供部分手术实体以及手术标准词归一关系语料，预期额外加入手术归一信息能提升诊断归一效果。

标注样例如下

诊断原词	归一后的标准词（待预测值）
右肺结节转移可能大	肺占位性病变##肺继发恶性肿瘤##转移性肿瘤
右肺结节住院	肺占位性病变
左上肺胸膜下结节待查	胸膜占位
手术原词	手术标准词
右额叶病损切除术(神经导航+电生理)	额叶病损切除术
右颈部静脉瘤切除术	颈部血管瘤切除术
眼睑肿物切除术	去除眼睑病损

评测方案

1. 比赛以准确率（accuracy）作为最终评估标准。本任务中，准确率定义：给出正确的诊断原词加诊断标准词的组合/待预测诊断原词的总数。
2. 以文件形式提交测试集的预测结果，约定如下
3. 文件名：prediction.txt。
   • 每行一条记录，记录格式：原词 \t 标准词 \n，注意标准词有多个值时，用两个井号分隔，例如：标准词1##标准词2
   • 记录顺序与测试集保持一致

参赛规则

注意，以下通用规则适用于本评测任务。在此基础上，参赛选手还需遵循具体大赛的特有规则。如有冲突，以后者为准。

1. 参赛选手需要提交“参赛队名，队长信息（姓名，邮箱，联系电话），参赛单位名称”等信息，报名方式见下文。
2. 报名截止到测试数据集发布，在测试数据集发布之后，未报名的选手/队伍不能再报名或提交。
3. 每支队伍需指定一名队长，队伍名称不超过15个字符，队伍成员不超过4人。
4. 每名选手只能参加一支队伍，一旦发现某选手以注册多个账号的方式参加多支队伍，将取消所有相关队伍的参赛资格。
5. 允许使用公开和选手个人/组织内部的代码、工具、数据，但需要保证参赛结果可以复现。
6. 针对测试集，选手不允许执行任何人工标注。
7. 参赛选手最终需要提交可运行的代码和方法描述文档，若在排行榜上的结果无法复现，将取消参赛资格。
8. 欢迎国内外在校生及社会在职人士参加。比赛组织方成员不可参赛。

报名方式

1. 下载 《数据使用与保密承诺书》 在文档末尾填写参赛队信息；
2. 参赛队负责人签名（手写签名）；
3. 将签名的《数据使用与保密承诺书》扫描件（pdf）发送至以下邮箱，邮件标题为：参赛队名+“临床发现事件抽取任务 数据使用申请”： 1216994549@qq.com；

时间安排

1. 报名时间：8月1日—10月9日
2. 训练及验证数据发布：9月12日—9月17日
3. 测试数据发布：10月10日
4. 提交测试结果：10月12日
5. 评测论文报告：10月31日
6. CHIP会议日期(评测报告及颁奖)：12月4日—6日

评测主席

• 汤步洲，哈尔滨工业大学（深圳），鹏城实验室，tangbuzhou@hit.edu.cn