09月22日, 2014 265次
BP算法（反向传递算法）由Rumelhart, Hinton和Williams于1986年提出[1]，是神经搜集的通用演练算法。BP算法的普通是鉴于梯度低沉的缺点因变量优化，由于运用了神经搜集的档次构造，明显普及了计划功效。
BP算法的提出为结构搀杂神经搜集供给了大概，即使没有BP算法，深度进修很难兴盛成即日的格式。
图1：一个用来宠物分门别类的神经搜集
咱们以图1所示的全贯穿神经搜集来证明BP算法的处事道理，个中最左边是输出层，最右边是输入层，中央局部为隐含层。图中每一条边对应一个权重，鉴于这一权重，后一层节点计划前一层节点输入的加权和，过程一个激活因变量后产生本层输入。即使权重采用得充满有理，则不妨创造一个由输出到输入的映照，鉴于此实行那种人为智能工作。图1所示的是一个辨别猫、狗、兔和鸟4种众生的宠物辨别体例，输出是宠物的图像，每个输入节点代办一种宠物。当输出某一宠物的图片时，该宠物对应的输入节点将爆发比其它节点更强的激励值，进而实行宠物辨别。
1. 鉴于缺点的迭代进修神经搜集须要采用符合的权重本领获得憧憬的输入，那么这个权重怎样采用呢？随机试验明显不太行得通，一种思绪是按照暂时搜集的输入与憧憬目的之间的缺点来对搜集权重举行安排，使得搜集输入渐渐逼近咱们的憧憬值。不妨用盆浴体例安排进程来类比这一权重采用进程。
图2：鉴于“缺点”的冷开水安排
当咱们想沐浴时，须要安排到一个符合的温度和符合的水量，这是咱们的憧憬目的，而冷开水的阀门不妨觉得是权重。经过安排阀门的巨细，不妨让输入的水平静水量渐渐逼近咱们的目的。
不妨经过如次进程实行安排：开始翻开阀门，用手摸索水的温度和水量，即使水温低，则调大开水大概调小冷水阀门；即使水量小，不妨同声调大冷水和开水的阀门。历次操纵时仅做少量安排，之后用手摸索温度和水量能否符合。过程如许屡次摸索和安排后，就不妨获得咱们蓄意的水平静水量。
对神经搜集的安排也不妨沿用一致的本领：开始察看暂时搜集输入和目的输入之间的分别（十分于摸索水平静水量），鉴于这一分别对权重做微弱安排（十分于安排阀门），使这一分别尽大概减小。反复这一进程，即可渐渐趋近目的输入。这一进程是鉴于缺点的迭代进修。
2. 梯度低沉法那么，毕竟要怎样对权重举行安排呢？这波及到一个梯度的观念。咱们设置搜集的输入和理念目的之间分别为E，这一分别是一切搜集权重w的因变量，其取值因w的变革而变革。数学上，设置E对w的变革率为梯度。不妨表明，当w爆发变革时，在梯度目标E的取值普及最鲜明。由于咱们的目的是使E低沉，那么最好的安排目标即是E对w的负梯度目标,这一致于创造水温过高，要反向安排开水阀门。按负梯度目标安排权重，使得输入与目的缺点更小，这一本领称为梯度低沉法。写成权重革新公式如次:
3. BP算法图3：BP算法从结果一层发端计划E对权重的偏导数
梯度低沉法为神经搜集的权重进修供给了普通框架，然而求解缺点因变量E对每个权重wi的偏导数仍旧一个宏大的工程，更加是对多层神经搜集，每一条边都有洪量路途和输入关系联，这表示着计划E对某一权重wi的偏导数时须要商量洪量大概的关系路途。
BP算法运用神经搜集的档次构造处置了这一题目。开始，结果一层权重wL和缺点因变量E径直关系，所以可先行计划其偏导数，这一计划不用商量其它边和节点；结果一层的偏导数计划实行之后，倒数第二层权重wL-1的偏导数可鉴于结果一层的偏导数计划获得。由此一步步向输出层目标促成，历次计划时运用后一层权重的偏导数计划前一层权重的偏导数。这一进程不妨看作是缺点消息从后向前逐层传播的进程，这一传播进程和搜集运转时的消息传播目标（由输出到输入）差异，所以称为反向传递算法，即BP算法。
咱们以多层全贯穿搜集引见了BP算法。究竟上，BP算法可运用于绝大普遍搜集构造（如卷积神经搜集、递归神经搜集等），是神经搜集的通用演练算法。
