科创中国

   中华文化上下５千年，我们的古代圣贤认为：文章应该一气呵成，不分句，不分段。无独有偶，自监督学习典范GPT / BERT也是这么训练的。我们证明标点符号含有大量的语义信息。对它们进行索引编码，我们全面改进了BERT / GPT在各项任务中的表现，这个工作将发表在AAAI’21。

    然后我们转而讨论自监督学习和零次学习的理论基础。我们从基本的热力学公理出发，推出一个信息距离理论。这个理论为自监督学习和零次学习提供了一个新视角和新方法。

一、会议主题：北京信息科学与技术国家研究中心系列交叉论坛第19期-自监督学习，零次学习和信息距离

二、会议时间：2021年1月7日19:30-21:00

三、演讲嘉宾简介：

    李明

     加拿大皇家科学院院士，滑铁卢大学教授。在美国康奈尔大学获得博士学位，哈佛大学博士后。曾执教Ohio州立大学，哈佛大学。2010年获得加拿大顶级国家科学奖Killiam Prize（迄今是唯一华人获得此奖）。现为加拿大滑铁卢大学教授，Canada Research Chair (Tier I)，ACM和IEEE 的Fellow，Killiam Fellowship和E.W.R. Steacie Fellowship，教育部长江讲座教授，清华大学客座教授，北京大学客座教授。研究Kolmogorov复杂性的世界权威专家，在研究机器学习，自然语言处理，算法平均复杂度、信息距离，和生物信息学方面解决了多个几十年未解难题，开创了新的研究领域，做出了重大贡献。在Nature, Nature Methods, Nature Machine Intelligence, PNAS, Scientific American, J.ACM, CACM, FOCS, STOC 等杂志会议发表过许多有影响的文章。著作“An introduction to Kolmogorov complexity and its applications”已经出了第4版，在Amazon.com上被读者评为5星，在世界上被誉为经典，广为引用，获得了McGuffey Longevity Award。近期工作覆盖了个体化癌症免疫治疗，自然语言处理，深度学习，针对新冠病毒中和抗体的测序。

四、组织机构：

1、主办单位：北京信息科学与技术国家研究中心

2、平台支持；科创中国、科技工作者之家