激励函数
数学专业术语
神经网络中的每个节点接受输入值,并将输入值传递给下一层,输入节点会将输入属性值直接传递给下一层(隐层或输出层)。在神经网络中,隐层和输出层节点的输入和输出之间具有函数关系,这个函数称为激励函数。常见的激励函数有:线性激励函数、阈值或阶跃激励函数、S形激励函数、双曲正切激励函数和高斯激励函数等。
常见激励函数
Sigmoid函数。是连续,可导,有界,关于原点对称的增函数,呈S形,具体可用反正切函数arctan或指数函数exp来实现,如f(x)=arctan(x)/(pi/2), f(x)=1/(1+e-x);
阶跃函数;是sigmoid函数的不可导版本;
径向基函数。是函数值沿从输入空间中某点向外辐射的径向射线变化的函数。在空间呈球形。
定义
神经网络中的每个节点接受输入值,并将输入值传递给下一层。输入节点会将输入属性值直接传递给下一层(隐层或输出层)。在神经网络中,隐层和输出层节点的输入和输出之间具有函数关系,这个函数称为激励函数(Activation Function)。
神经网络中每个结点i的输出都基于相关的激励函数的定义。激励函数有时也叫处理单元函数或压缩函数。它用于输入弧上的一组输入。激励函数也叫点火规则,这使它与人脑的工作联系起来。当一个神经元的输入足够大时,就会点火,也就是从它的轴突(输出连接)发送电信号。同样,在人工神经网络中,只要输入超过一定标准时才会产生输出,这就是点火规则的思想。当只处理二值输出时,输出要么为0要么为1,取决于神经元是否应该点火。
激励函数应用于一组输入值{,,}和权值{,,},这些输入值通常以乘积之和的形式
合并到一起。如果存在偏移,则公式需加上。
两个条件
多种函数可以作为激励函数,只需要满足两个条件:
1.函数必须输出 [0,1]之间的值;
2.函数在充分活跃时,将输出一个接近1的值,表示从未在网络中传播活跃性。
类型
函数
线性激励函数基于输入产生一个线性输出值。
,其中c是一个正的常数。这是一个常见的线性激励函数。
对于线性函数,输出没有最大值和最小值方面的限制。
阈值
阶跃激励函数的输出值为1或0,它取决于输入值和相应权值的乘积之和,当乘积之和高于阈值T时,所对应的的值为1,否则为0。输出值也可以是-1或1。另外,1还可以被任何常数所替代。这种“硬性限制”阈值函数的一个变种是线性阈值函数。线性阈值函数也叫作斜坡函数或分段线性函数,这种激励函数的值从小到大逐渐增加。下面的函数就是一个线性阈值函数,满足:
(1)当时,;
(2)当时,;
(3)当时,;
这里的线性增长存在于和之间。与一般的阈值函数类似,这里函数的取值可以在-1~1之间,也可以在0~1之间。
S形
S形激励函数是一个输出值在-1~1之间(或0~1之间)的S形曲线,它是单调增加的。虽然S形函数有几种类型,但是它们都具有“S”形特征。
一个常见的S形函数是logistic函数:,其中c是一个正的常数,它可以改变函数的倾斜程度。该函数的导数很简单:。
双曲正切
S形函数的一个变种是双曲正切函数,如:
该函数有一个以0为中心的输出。
高斯
高斯函数是一个输出值在区间 [0,1]上的钟形曲线。
一个典型的高斯函数是:,其中S是均值,V是预先定义的表示方差的正值。
逆函数积分和
求取激励函数逆函数积分和的目的是为了配合所设计的能量函数的数值计算,但是该值得求取具有以下困难:
(1)逆函数无法用数学解析表达;
(2)要对逆函数积分并不容易;
(3)即使可以积分,也会很浪费时间,不适宜在算法迭代中直接使用。
为了解决上述问题,这里将以64QAM信号的激励函数为例来阐述求取改该值的方法:
(1)利用正函数,求关于逆函数的积分;
(2)利用Cumtrapz求在区间段的积分采样值;
(3)利用多项式进行最小二乘回归,获得回归函数的回归拟合曲线。
只要预先获得激励函数的逆函数积分和,就可以很容易地构造出对应的搜索表,然后在迭代中直接采用查表方法获得相应的值,或者可以根据拟合回归函数进行近似计算逆函数积分和的值。
参考资料
最新修订时间:2022-08-25 12:31
目录
概述
常见激励函数
定义
参考资料