Hopfield神经网络
递归神经网络
Hopfield神经网络是一种递归神经网络,由约翰·霍普菲尔德在1982年发明。
简介
Hopfield神经网络是一种递归神经网络,由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛,但收敛到错误的局部极小值(local minimum),而非全局极小(global minimum)的情况也可能发生。Hopfield网络也提供了模拟人类记忆的模型。
离散Hopfield网络是一个单层网络,有n个神经元节点,每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态(1或-1),即当该神经元所受的刺激超过其阀值时,神经元就处于一种状态(比如1),否则神经元就始终处于另一状态(比如 -1)。 整个网络有两种工作方式:即异步方式和同步方式。
构造
Hopfield网络的单元是二元的(binary),即这些单元只能接受两个不同的值,并且值取决于输入的大小是否达到阈值。Hopfield网络通常接受值为-1或1,也可以是0或者1。输入是由sigmoid函数处理得到的。 sigmoid函数定义为:
用于将输入化简为两个极值。
每一对Hopfiled网络的单元i和j无向图G=,其中V是人工神经元集合。
Hopfiled网络的连接有以下特征:
(没有神经元和自身相连)
(连接权重是对称的)
权重对称的要求是一个重要特征,因为它保证了能量方程(称向函数某一点收敛的过程为势能转化为能量)在神经元激活时单调递减,而不对称的权重可能导致周期性的递增或者噪声。然而,Hopfiled网络也证明噪声过程会被局限在很小的范围,并且并不影响网络的最终性能。
应用
联想记忆功能是离散Hopfield网络的一个重要应用范围。要想实现联想记忆,反馈网络必须具有两个基本条件:
离散Hopfield网络用于联想记忆有两个突出的特点:即记忆是分布式的,而联想是动态的。 离散Hopfield网络局限性,主要表现在以下几点:
参见
参考资料
最新修订时间:2025-02-27 10:21
目录
概述
简介
参考资料