作者 | 姜雨帆

责编 | Camel

神经网络的结构学习是目前十分受关注的一个研究方向,主要包含网络结构优化和网络结构搜索两个方向。

本次报告从两方面对神经网络的结构学习进行研究,首先从网络结构优化的角度,提出了一种动态网络连接的自动学习方法。

动态的去学习网络的连接,这种连接生长和剪枝的方式完全和训练相关,参考了训练过程中的梯度,层和层之间信息流传递的有效性,可以更好的对网络连接进行动态操作,从而得到更紧凑、高效的模型结构。

除此之外,我们还对可微分的网络结构搜索方法进行改进,移除了原有的局部归一化限制,同时对网络结构进行采样的更新方法,使得可微的网络结构搜索过程更稳定、高效。

最后,我们也通过定量和定性的实验分析了提出的两种方法的有效性。

(或者到 AI 研习社官网观解读视频:http://www.mooc.ai/open?from=meeting

作者简介:

视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究

姜雨帆,东北大学计算机系自然语言处理实验室研究生,师从肖桐副教授。研究方向为自然语言处理,已在 EMNLP 人工智能和自然语言处理顶级会议发表论文一篇。

更多论文视频解读:

01. [UCSB 王威廉组] 零样本学习,来扩充知识图谱(视频解读)02. [奥卢大学] 基于 NAS 的 GCN 网络设计(视频解读)03. [清华大学] 全新模型,对话生成更流畅、更具个性化(视频解读,附 PPT)04. [东北大学] 基于联合表示的神经机器翻译(视频解读)05. [计算所] 引入评估模块,提升机器翻译流畅度和忠实度(视频解读)06. [清华大学] 用于少次关系学习的神经网络雪球机制(视频解读)07. [计算所] 非自回归机器翻译,基于 n 元组的训练目标(视频解读)08. [清华大学] 司法考试数据集(视频解读,附下载链接)
09. [自动化所] 弱监督语义分割(视频解读)10. [自动化所] 稀疏二值神经网络,不需要任何技巧,取得 SOTA 精度(视频解读)11. [清华大学] 棋盘游戏做辅助,进行跳跃式标注(视频解读)12. [牛津大学] 利用注意力机制,实现最优相机定位(视频解读)13. [商汤] KPNet,追求轻量化的人脸检测器(视频解读)

视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究

视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究

视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究点击“ 阅读 原文 ” 前往 AAAI 2020 专题

来源链接:mp.weixin.qq.com