一、主要思想现代Deep Learning 最重要思想之一Learning Repressentation学习表示隐藏层最大的作用不是简单增加网络层数而是把输入重新编码成一种新的内部表示使原本复杂、非线性的输入输出关系在新的表示空间中变得容易表达第二段相似输入产生相似输出是一种限制本段使用XOR的例子输入a1(0,0) 输出y1 0输入a2(0,1) 输出y1 1输入a3(1,0) 输出y1 1输入a4(0,0) 输出y1 0按照重叠越大相似度越大但是a1和a2只有一位只差输出却不同。输入的相似性和输出的相似性不同如果没有隐藏层本质之间利用输入来表示输入长什么样网络只能按照这个样子思考单层网络没有能力修改这种关系。作者认为隐藏层不是为了增加参数而是为了创造新的表示例如还是XOR的例子(0,0) → [0.1,0.1](0,1) → [0.9,0.1](1,0) → [0.9,0.2](1,1) → [0.2,0.2]现在(0,0) 和 (1,1) 被拉近了隐藏层重新定义了什么叫相似输入表示中的“相似关系”与任务真正需要的“相似关系”不一致时单层网络无法解决问题隐藏层的作用就是学习一种新的内部表示使新的相似关系符合任务要求。第三段第三段讲了这个OXR的实际例子再次说明隐藏层是干什么的第一层输入(0,0) (0,1) (1,0) (1,1)第二层h step(w1x1 w2x2 - θ) 看上图 w1 1, w21, threa 1.5(0,0) : 0 0 - 1.5 -1.5 → 0(0,1) : 0 1 - 1.5 -0.5 → 0(1,0) : 1 0 - 1.5 -0.5 → 0(1,1) : 1 1 - 1.5 0.5 → 1第三层输出y step(w_h * h - θ) 看上图 w1 1, w21, threa 0.5(0,0) hidden 0 0-0.5-0.5→ 0(0,1) hidden 0 0-0.5-0.5→ 0(1,0) hidden 0 0-0.5-0.5→ 0(1,1) hidden 1 -2*1-0.5-2.5→ 0将问题从2维上升到3维