图解机器学习-Huber损失最小化学习-matlab源码及结果

(29) 2024-05-11 10:01:01

鲁棒这个词第一次听是在学习c语言的时候,那时候还学了一个健壮性,两个词不知道为什么觉得很粗鲁,跟程序没啥关系,感觉是凑上来的性质,下面就看看在机器学习里面的鲁棒是个啥东西?

最小二乘法学习的过程中如果有异常数据(不可避免地)出现的时候,会使曲线的拟合程度大打折扣,这时候提出鲁棒的观点就是:在统计学领域和机器学习领域,对异常数据也能保持稳定,可靠的性质,称为鲁棒性。

L1损失最小化学习:(L1损失对残差增幅加以抑制的学习算法)-LA=Least Absolute-最小绝对值偏差学习-----好多名字

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第1张

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第2张

Huber(有效性L2与鲁棒性L1结合的学习方法)

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第3张

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第4张

如果残差的绝对值小于阀值,上式变为L2损失;如果残差的绝对值大于阀值。上式就变为L1损失。为了与L2损失平滑的连接,在L1损失中减去常数图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第5张

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第6张

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第7张

 

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第8张

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第9张

第三步:计算终结计数。按Tukey理论,采取改进措施前后产品合格率若发生显著变化,则A,B两系列的数据就不会完全重叠,未重叠的数据个数即为终结计数。分别从顶端和底端计数未重叠的数据个数,称之为顶端终结计数和底端终结计数,两端终结计数之和即为总终结计数。若某一系列的数据区间被另一比对系列的数据区间全部包含,则总终结计数计为零(如本例所示);若两系列的数据区间不存在一个系列完全包含另一个系列的状况,则计数方法为:从已合并排序的整个数据列的顶端第一个数据开始数起,一直数到序列标记变更为止,连续的同系列数据的个数为顶端终结计数;若在数据系列变更时,对应的两个数据相等,则变更时的那个数据按1/2计数。同理,从底端第一个数据开始数起,一直到序列标记变更为止,可得底端终结计数值。示例如下:

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第10张

第四步:将所得的终结计数值与Tukey检验的某置信水平下终结计数的临界值比较,如果所得的终结计数值大于该临界值,则表明采取改进措施后,在该置信水平下可以认为产品合格率发生了变化。(下图中的显著水平针对的双边计数(Two-Sided),若单边计数(One-Sided)则对应的显著水平为图示的一半,即双边计数时显著水平5%对应的终结计数临界值与单边计数时显著水平为2.5%对应的终结计数临界值是一样的)

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第11张

第五步:结论。终结计数EC=0,而根据上表可以看出,在95%的置信水平(也就是5%的显著水平)下,终结计数的临界值为7。所以在95%的置信水平下,不能认为采取措施后,产品合格率发生了显著变化。如果终结计数EC=8,则表明在95%的置信水平下,可以认为采取措施后,产品合格率发生了显著变化(改进有效果)。

好了上面的部分是贴过来的tukey相关的一种看看有没有显著变化的方法,感觉这种统计学的方法很难,但是本公式里面权值部分的tukey在接下来的章节中会讲到,所以这部分不理解也关系了。

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第12张

专门讲解HSD方法的:https://wiki.mbalib.com/wiki/HSD%E6%A3%80%E9%AA%8C%E6%B3%95

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第13张

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第14张

matlab源码以及实验的运行结果:

>> rand('state',0);randn('state',0);
n=10;N=1000;x=linspace(-3,3,n)';X=linspace(-4,4,N)';
y=x+0.2*randn(n,1);y(4)=-4;
p(:,1)=ones(n,1);p(:,2)=x;t0=p\y;e=1;
>> for o=1:1000
r=abs(p*t0-y); w(:,1)=ones(n,1);w(r>e)=e./r(r>e);
t=(p'*(repmat(w,1,2).*p))\(p'*(w.*y));
if norm(t-t0)<0.001,break,end
t0=t;
end
>> P(:,1)=ones(N,1); P(:,2)=X; F=P*t;
>> figure(1);clf;hold on;axis([-4 4 -4.5 3.5]);
>> plot(x,y,'bo');
>> plot(X,F,'g-');

图解机器学习-Huber损失最小化学习-matlab源码及结果 (https://mushiming.com/)  第15张

 

 

THE END

发表回复