聚焦迁移学习反向传播缺陷百度资深工程师带来全新ICML工作分享

CV 在前,NLP 在后,迁移学习技术的应用为这两个领域所带来的进展和突破,不可谓不瞩目。

其中,预训练模型作为当下迁移学习的一种主流方法,让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后,便能够较好地适配类似的新目标任务,可以极大地节约时间和成本。

“董事会根据其参与伪造交易的证据解雇了钱治亚和刘剑。”瑞幸咖啡表示,同时,董事会决定解雇其他12名员工,包括先前被停职的员工,这些员工在钱治亚和刘剑的指挥下参与或了解虚假交易。另外15名员工将受到其他纪律处分。此外,公司正在终止与伪造交易有关的所有第三方的关系。

不过,天下没有免费的午餐,这种方法看似“一劳永逸”,也需要付出一定的代价,其中的一大问题便是,由于反向传播带给深层卷积层的更新较小,微调得到的模型往往被“吸引”在预训练模型附近,无法得到充分更新。

天眼查数据显示,近日,瑞幸咖啡电子商务(平潭)有限公司发生工商变更,钱治亚卸任公司法定代表人、执行董事和总经理,由代理首席执行官郭谨一接任。

6月29日,瑞幸咖啡股票已经在纳斯达克正式停牌,进行退市备案。上市仅13个月就被退市的瑞幸咖啡或正面临更大的人事动荡。(完)

分享时间:7月24日(周五晚) 20:00整

6月20日,瑞幸咖啡曾发布通知,将在7月5日召开临时股东大会,讨论包括解除独立董事Sean Shao、黎辉、刘二海的董事任命,以及董事长陆正耀的董事任命。

5月12日晚间,避险求生的瑞幸咖啡曾宣布终止首席执行官钱治亚和首席运营官刘剑的职务,任命郭谨一为代理首席执行官。另外六名参与或明知捏造交易的员工被停职或离职。

分享嘉宾:李兴建,百度大数据实验室资深工程师,多年自然语言处理、深度学习、迁移学习等领域工作经验

瑞幸咖啡称,特别委员会迄今发现的证据表明,公司前首席执行官(CEO)钱治亚、前首席运营官(COO)刘剑和向他们汇报的某些员工参与了伪造交易,支持伪造交易的资金通过与公司员工或关联方有关的若干第三方流入公司。

时间就定在7月24日 20:00整,各位同学记得准时收看~

分享主题:RIFLE算法:通过重新初始化全连接层加深迁移学习中的梯度反向传播

雷锋网版权文章,。详情见转载须知。

值得注意的是,瑞幸咖啡董事会还建议陆正耀辞去公司董事和董事长职务,并于7月2日召开董事会,正式审议该建议。瑞幸咖啡董事会表示,关于陆正耀的免职是董事会多数成员的要求,是根据特别委员会的调查结果和建议提出的。

扫码关注[ AI研习社顶会小助手] 微信号,发送关键字“ICML 2020+直播”,即可进群观看直播和获取课程资料。       

 深度迁移学习简介和RIFLE算法提出的动机 算法流程 算法效果及讨论 二层网络模拟实验

基于一个预训练的深度学习模型进行微调,成为一种主流的迁移学习方式。该方法虽然简单有效,但微调得到的模型经常被『吸引』在预训练模型附近,无法得到充分更新。我们的工作提出一种简单有效的策略RIFLE,通过周期性的重新初始化全连接层,给深层的特征提取网络带来有意义的更新,提升低层次特征的学习。

为了深度解析这项工作背后的算法原理以及应用效果,AI 科技评论特别邀请到了论文一作、百度大数据实验室资深工程师李兴建,来做论文直播分享!