评测五:医疗文献PICOS识别任务

1. 任务背景
  随着近代医学信息学和资料库的发展，医学相关从业者越来越倾向于采用循证医学的思量来指导自己的学习和工作。循证医学需要大量的查询资料和文献信息，PICOS检索方式提升了循证检索的效率。继在 CHIP2021 大会发布“ 医疗对话临床发现阴阳性判别任务 ”和CHIIP2022大会发布“医疗因果关系抽取任务”，阿里巴巴夸克医疗团队今年发布了“医疗论文PICOS关键信息抽取任务”。

2. 任务介绍
  • 任务描述
    •   PICOS原则简介：
       • P（Population）：研究对象。患有某种疾病的特定人群；
       • I（Intervention）：干预措施。干预组的治疗方案或暴露因素；
       • C（Comparison）：对照措施。对照组的治疗方案或暴露因素；
       • O（Outcome）：结局。重要临床结局，如有效性、生存率；
       • S（Study design）：研究类型。即研究设计是什么，随机对照研究还是队列研究、病例对照?
      学术搜索中大部分的搜索其实是关键字检索的, 这里面其实设计到2个比较关键的关键字角色信息
       1.研究的医学意图(S): 标题的分类
       2.关键词的决策信息(PICO): 标题的Mention识别
      基于此我们对任务进行了调整，对于Title和Content进行分别标注
  • 标注准则
    •   1.对于Title
       a) 首先标注Title的类型: 包括治疗, 诊断, 病因, 预后, 临床统计, 标准指南建议
       b) Title中需要标注出一些核心元素: 研究对象(P), 干预(I), 评估项和评估方法(o)
      2.对于Content
       a) 一期主要做句子级别的分类: 分为研究目的, 研究方法, 定量结论, 定型结论
    sponsors
  • 标注事例
    • sponsors
    sponsors
    sponsors

    {
       "text":"蒙药瘀紫丸治疗原发性血小板减少性紫癜,疗效显著,副作用少,观察组43例,显效11例,占25.6%;良效21例,占48.8%;进步7例,占16.3%;无效4例,占9.3%;总有效率为90.7%,并且血热偏盛型疗效优于寒热交博型。",
       "ner_list":[
        {
         "mention":“蒙药瘀紫丸治疗原发性血小板减少性紫癜,疗效显著,副作用少。”,
         "label":"O-定性结论”
        },
        {
         "mention":“观察组43例,显效11例,占25.6%;良效21例,占48.8%;进步7例,占16.3%;无效4例,占9.3%;总有效率为90.7%,并且血热偏盛型疗效优于寒热交博型。”,
         "label":"O-定量结论”
        }
       ]
      }

    {
       "text":"蒙医药治疗特发性血小板减少性紫癜临床观察",
       "ner_list":[
        {
         "mention":“蒙医药治疗特发性血小板减少性紫癜临床观察”,
         "label":"S-治疗”
        },
        {
         "mention":“特发性血小板减少性紫癜临”,
         "label":"P-人群/患者类型”
        },
        {
         "mention":“蒙医药治”,
         "label":"I-药物干预”
        }
       ]
      }

  • 数据说明

    • 1.text：表示文本信息，按照行分别为Abstrct，Title穿插。
      2.ner_list: 为标注Mention和Type的List
       a) label表示，PICOS的类型信息
       b) mention表示，对应类型的Mention信息

    3. 评测数据
      本次评测提供2500篇论文的标题和摘要作为训练集合，A榜和B榜各提供1000篇论文的的标题和摘要作为测试数据，其中B榜调教时间限制在48小时之内。

    4. 评测标准
    本评测采用Macro-F1作为评估指标。假设我们有n个类别，C1 , … …, Ci , … …, Cn，计算公示如下：
       准确率Pi = 正确预测为类别Ci的样本个数 / 预测为Ci类的样本个数。
       召回率Ri = 正确预测为类别Ci的样本个数 / 真实的Ci类的样本个数。
      最终的Macro-F1计算公示如下：
    sponsors

      注意 ：只有 (头实体mention, 关系类型, 尾实体mention) 都预测正确，才算作一条正确预测的记录。特别的对条件关系来讲，只有当(条件mention, 条件关系, (原因mention, 因果关系, 结果mention))都预测正确，才算作预测正确。

    5. 参赛规则
      1.每名选手只能注册一个账号，一旦发现选手注册多个账号进行提交，将取消所有账号的参赛资格。
      2.允许使用外部资源，包括但不限于代码、工具和数据，要求所使用的资源是公开可获取的。
      3.禁止人工标注测试集。
      4.优胜选手最终需要提交可运行的代码和方法描述文档，若排行榜上的结果无法复现，将取消参赛资格。
      5.欢迎国内外在校生及社会在职人士参加，比赛组织方成员不可参赛。

    6. 任务组织者
      1.尹康平、童毅轩，阿里巴巴夸克
      2.汤步洲，哈尔滨工业大学（深圳） 鹏城实验室

    7. 评测时间安排
      报名时间：2023年9月25日-10月10日
      训练数据发布时间：2023年9月25日
      A榜测试集发布时间：2023年9月25日
      A榜时间：2023年9月25日-10月10日，选手每天有2次提交机会。
      B榜测试集发布时间：2023年10月10日
      B榜时间：2023年10月10日-10月12日，选手每天有5次提交机会。
      代码审核时间：2023年10月15日-10月17日
      公布测试结果 2023/10/20
      CHIP-2023会议(评测报告及颁奖) 2023/10/27-2023/10/29
      评测论文提交 CHIP-2023会议之后

    用【钉钉】扫描下方二维码为您解答比赛相关规则
    sponsors

    Copyright@ CHIP2023 豫ICP备19005227号-1