决策函数
数学名词
决策函数是一个数学名词,本质是模式识别问题、分类问题。
简介
假设对一模式已抽取d个特征,表示为
x是d维空间的一个向量。
模式识别问题就是根据模式的d个特征来判别模式属于 类中的哪一类。
例如图1:三类的分类问题,它们的边界线就是一个决策函数。
分类
判决函数包含两类: 一类是线性判决函数,具体包括:
(1)线性判决函数
(2)广义线性判决函数(所谓广义线性判决函数就是把非线性判别函数映射到另外一个空间变成线性判决函数)
(3)分段线性判决函数
另一类是非线性判决函数。
我们现在对两类问题和多类问题分别进行讨论。
(一)两类问题 即::
这种情况下,判决函数:
w为参数,x1,x2为坐标值。
在两类别情况,判决函数 g (x) 具有以下性质:
这时二维情况下判决由判决边界分类,情况如图2:
现抽取d个特征为:
判决函数:
W0为权向量,x为模式向量。
模式分类:
当 g1(x) =WTX=0 为判别边界 。当d=2时,二维情况的判别边界为一直线。当d=3时,判别边界为一平面,d>3时,则判别边界为一超平面。
(二)多类问题
对于多类问题,模式有 个类别。可分三种情况:
第一种情况:每一模式类与其它模式类间可用单个判决平面分开。这种情况,c类可有c个判别函数,且具有以下性质:
式中,Wi为第i个判别函数的权向量。
2. 第二种情况:
每个模式类和其它模式类间可分别用判决平面分开。这样 有 c(c -1)/2个判决平面。
对于两类问题,c=2,则有一个判决平面。 同理,三类问题则有三个判决平面。
判决函数:
判决边界:
判决条件:
3.第三种情况
对c个类型中的每个类型都建立一个判决函数:
为了区分其中的某个类型 ,需要k个判决函数(k<=c)。
如果满足:
则判:
对于不同的类型,k的取值可能不同。
判决规则:
就是说,要判决模式x属于那一类,先把x代入k个判决函数中,判决函数最大的那个类别就是x所属类别。 类与 类之间的边界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0来确定。
线性判决函数的性质
1、模式空间与加权空间
模式空间:由 构成的d+1维欧氏空间。
W是此空间的加权向量,它决定模式的分界面H,W与H正交。
加权空间:以 为变量构成的欧氏空间,模式空间与加权空间的几何表示如图4:
2、解向量和解区
在三维空间里,令w3 = 0,则为二维权空间。如图5。
给定一个模式x,就决定一条直线:
即分界面H,W与H正交,W称为解向量。
解向量的变动范围称为解区。
因x1,x2∈ω1, x3,x4∈ω2由图可见x1,x3离的最近,所以分界面H可以是x1,x3之间的任一直线,由垂直于这些直线的W就构成解区,解区为一扇形平面,即阴影区域。
把不等式方程正规化:
正规化:
3、超平面的几何性质
g(x)=WT x=0决定一个决策界面,当g(x)为线性时,这个决策界面便是一个超平面H,并有以下性质:
性质①:W与H正交
性质 ②:
性质③:
广义线性判决函数:
判决函数的一般形式:
式中,是单值函数,
参考资料
最新修订时间:2023-01-08 17:24
目录
概述
简介
分类
参考资料