评测二: 临床发现事件抽取任务
任务简介
临床发现指的是疾病的表现,泛指患者不适感觉以及通过检查得知的异常表现,主要包括症状、体征。
临床发现事件抽取是医学数据处理中的一项任务,需要从病历中抽取临床发现事件的 解剖部位、主体词、描述词,以及发生状态四个维度的属性。
任务详情
本次评测任务主要目标是从中文电子病历中挖掘出临床发现事件。给定一段现病史或者影像所见报告,要求从中抽取临床发现事件的四个属性。所有数据均来自于真实医疗数据。(注:数据中由于我们有时会对原句子做修改,偏移位置有时计算不够精准,因此文本位置信息(position)尚未提供,如有需要可以提供。)
数据说明
·数据样例如下:
core_name | tendency | character | anatomy_list |
---|---|---|---|
疼痛 | ["头"] | ||
疼痛 | ["持续性跳痛", "中-重度", "可缓解"] | ["头"] | |
恶心 | 否定 | ||
呕吐 | 否定 | ||
视物模糊 | 否定 | ["眼"] | |
麻木 | 否定 | ["肢体"] | |
无力 | ["肢体"] | ||
疼痛 | ["头"] | ||
疼痛 | 不确定 | ["血管性"] | ["头"] |
食欲 | ["正常"] | ||
神志 | ["清醒"] | ||
精神 | ["尚可"] | ||
睡眠 | ["尚可"] | ||
大便 | ["正常"] | ||
排尿 | ["正常"] | ||
体重 | ["无明显变化"] |
入院前2+年,患者无明显诱因出现剑突下疼痛,伴嗳气、反酸,有咳嗽、咳痰伴胸背部疼痛,呈胀痛,评分:7分,无加重缓解因素,无胸闷、咯血、呼吸困难,无潮热、盗汗、疲乏、消瘦,无畏寒、发热,于我院消化内科就诊,完善胸部ct:左肺下叶软组织块块影,考虑肺ca;遂转入我科。
core_name | tendency | character | anatomy_list |
---|---|---|---|
疼痛 | ["剑突下"] | ||
嗳气 | |||
反酸 | |||
咳嗽 | |||
咳痰 | |||
疼痛 | ["胸背部"] | ||
胀痛 | ["评分:7分","无加重缓解因素"] | ["胸背部"] | |
胸闷 | 否定 | ["胸"] | |
咯血 | 否定 | ||
呼吸困难 | 否定 | ||
潮热 | 否定 | ||
盗汗 | 否定 | ||
疲乏 | 否定 | ||
消瘦 | 否定 | ||
畏寒 | 否定 | ||
发热 | 否定 | ||
块影 | [左肺下叶软组织"] |
评测方案
每个文本的一个事件属性可能出现多个属性实体,评测指标使用事件属性来计算准召率,需要所有属性都完全正确才计算F1值。
参赛规则
注意,以下通用规则适用于本评测任务。在此基础上,参赛选手还需遵循具体大赛的特有规则。如有冲突,以后者为准。
- 参赛选手需要提交“参赛队名,队长信息(姓名,邮箱,联系电话),参赛单位名称”等信息,报名方式见下文。
- 报名截止到测试数据集发布,在测试数据集发布之后,未报名的选手/队伍不能再报名或提交。
- 每支队伍需指定一名队长,队伍名称不超过15个字符,队伍成员不超过4人。
- 每名选手只能参加一支队伍,一旦发现某选手以注册多个账号的方式参加多支队伍,将取消所有相关队伍的参赛资格。
- 允许使用公开和选手个人/组织内部的代码、工具、数据,但需要保证参赛结果可以复现。
- 针对测试集,选手不允许执行任何人工标注。
- 参赛选手最终需要提交可运行的代码和方法描述文档,若在排行榜上的结果无法复现,将取消参赛资格。
- 欢迎国内外在校生及社会在职人士参加。比赛组织方成员不可参赛。
报名方式
- 下载 《数据使用与保密承诺书》 在文档末尾填写参赛队信息;
- 参赛队负责人签名(手写签名);
- 将签名的《数据使用与保密承诺书》扫描件(pdf)发送至以下邮箱,邮件标题为:参赛队名+“临床发现事件抽取任务 数据使用申请”: 1216994549@qq.com;
时间安排
- 报名时间:8月1日—10月9日
- 训练及验证数据发布:9月12日—9月17日
- 测试数据发布:10月10日
- 提交测试结果:10月12日
- 评测论文报告:10月31日
- CHIP会议日期(评测报告及颁奖):12月4日—6日
任务组织者
- 李青遥,哈尔滨工业大学(深圳),1216994549@qq.com
- 王绍博,医渡云(北京)技术有限公司,shaobo.wang@yiducloud.cn
- 于琦,山西医科大学,yuqi@sxmu.edu.cn
评测主席
- 汤步洲,哈尔滨工业大学(深圳),鹏城实验室,tangbuzhou@hit.edu.cn