梯度下降法及其Python实现

  • 时间:
  • 浏览:1
  • 来源:彩神大发APP_神彩大发APP官方

这里的α表示每一步的步长从上面公式需用注意到,它得到的是三个白 全局最优解,有些每迭代一步,需用用到训练集所有的数据,愿意m很大,没办法 可想而知这人 辦法 的迭代下行速率 !!然后,这就引入了另外并需用辦法 ,随机梯度下降。随机梯度下降SGD愿意批量梯度下降在训练集很大的状况下迭代下行速率 非常之慢,然后在这人 状况下再使用批量梯度下降来求解风险函数的最优化大问题是不具有可行性的,在此状况下,提出了——随机梯度下降大家将上述的风险函数改写成以下形式:

梯度下降法(gradient descent),叫金最速下降法(steepest descent)是求解无约束最优化大问题最常用的辦法 ,它是并需用迭代辦法 ,每一步主要的操作是求解目标函数的梯度向量,将当前位置的负梯度方向作为搜索方向(愿意在该方向上目标函数下降最快,这也是最速下降法名称的由来)。

梯度下降法特点:越接近目标值,步长越小,下缓下行速率 越慢。直观上来看如下图所示:

与批量梯度下降相比,随机梯度下降每次迭代只用到了三个白 样本,在样本量很大的状况下,常见的状况是只用到了其中一每段样本数据即可将θ迭代到最优解。有些随机梯度下降比批量梯度下降在计算量上会大大减少。SGD有三个白 缺点是,其噪音较BGD要多,使得SGD并需用每次迭代都向着整体最优化方向。有些SGD愿意每次需用使用三个白 样本进行迭代,有些最终求得的最优解往往需用全局最优解,而然后我局部最优解。有些大的整体的方向是向全局最优解的,最终的结果往往是在全局最优解付进 。下面是并需用辦法 的图形展示:

结果(截取每段):

  1.  theta0 : 2.782632, theta1 : 3.20783000, theta2 : 7.998823, error1 : 7.30008687  
  2.  theta0 : 4.2543002, theta1 : 3.30009652, theta2 : 11.972218, error1 : 813.53000287  
  3.  theta0 : 5.154766, theta1 : 3.351648, theta2 : 14.188535, error1 : 1686.30007256  
  4.  theta0 : 5.30000348, theta1 : 2.489862, theta2 : 15.617995, error1 : 2086.492788  
  5.  theta0 : 6.326710, theta1 : 1.30000854, theta2 : 16.676947, error1 : 2204.562407  
  6.  theta0 : 6.792409, theta1 : 0.499552, theta2 : 17.545335, error1 : 2194.779569  
  7.  theta0 : 74.892395, theta1 : -13.494257, theta2 : 8.587471, error1 : 87.700881  
  8.  theta0 : 74.942294, theta1 : -13.493667, theta2 : 8.571632, error1 : 87.372640  
  9.  theta0 : 74.992087, theta1 : -13.4930079, theta2 : 8.555828, error1 : 87.045719  
  10.  theta0 : 75.041771, theta1 : -13.492491, theta2 : 8.530057, error1 : 86.720115  
  11.  theta0 : 75.091349, theta1 : -13.491905, theta2 : 8.524321, error1 : 86.395820  
  12.  theta0 : 75.140820, theta1 : -13.491320, theta2 : 8.30008618, error1 : 86.0728300  
  13.  theta0 : 75.190184, theta1 : -13.490736, theta2 : 8.49293000, error1 : 85.751139  
  14.  theta0 : 75.239442, theta1 : -13.490154, theta2 : 8.477315, error1 : 85.4300741  
  15.  theta0 : 97.986390, theta1 : -13.221172, theta2 : 1.257259, error1 : 1.553781  
  16.  theta0 : 97.98630005, theta1 : -13.221170, theta2 : 1.257223, error1 : 1.55363000  
  17.  theta0 : 97.986620, theta1 : -13.221169, theta2 : 1.257186, error1 : 1.553579  
  18.  theta0 : 97.986735, theta1 : -13.221167, theta2 : 1.2573000, error1 : 1.553479  
  19.  theta0 : 97.986849, theta1 : -13.221166, theta2 : 1.257113, error1 : 1.553379  
  20.  theta0 : 97.986963, theta1 : -13.221165, theta2 : 1.257077, error1 : 1.553278  
  21. Done: theta0 : 97.987078, theta1 : -13.221163, theta2 : 1.257041  
  22. 迭代次数: 3443  

有些根据每个参数的负梯度方向来更新每三个白

称为样本点的损失函数接下来大家对每个样本的损失函数,对每个求其偏导数,得到每个对应的梯度

也需用用向量的形式进行表示:

这里大家乘上1/2是为了方便上面求偏导数时结果更加简洁,之然可不可以乘上1/2是愿意乘上这人 系数后对求解风险函数最优值没办法 影响。大家的目标然后我要最小化风险函数,使得大家的拟合函数可不可以最大程度的对目标函数y进行拟合,即:



============ 分割分割 =============上面大家讲解了那些是梯度下降法,以及怎么才能 才能 求解梯度下降,下面大家将通过python来实现梯度下降法。

其中,

参考文档:

下面函数是大家需用进行最优化的风险函数,其中的每一项都表示在已有的训练集上大家的拟合函数与y之间的残差,计算其平方损失函数作为大家构建的风险函数(参见最小二乘法及其Python实现)

这里表示第i个样本点的第j分量,即h(θ)中的接下来愿意大家要最小化风险函数,故按照每个参数的负梯度方向来更新每三个白

需用看一遍最后收敛到稳定的参数值。

注意:这里在选着 alphaepsilon需用用谨慎选着 ,愿意不适的值会是是因为最后无法收敛。

随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比

从上述图形需用看出,SGD愿意每次需用用三个白 样本点进行梯度搜索,有些其最优化路径看上去比较盲目(这也是随机梯度下降名字的由来)。对比其优劣点如下:批量梯度下降:优点:全局最优解;易于并行实现;总体迭代次数没办法 来越多缺点:当样本数目然后时,训练过程会比较慢,每次迭代需用耗费少量的时间。随机梯度下降:优点:训练下行速率 快,每次迭代计算量不大缺点:准确度下降,并需用全局最优;不易于并行实现;总体迭代次数比较多。

上面的具体梯度求解需用围绕这人 目标来进行。批量梯度下降BGD按照传统的思想,大家需用对上述风险函数中的每个求其偏导数,得到每个对应的梯度

这里每三个白 圈代表三个白 函数梯度,最中心表示函数极值点,每次迭代根据当前位置求得的梯度(用于选着 搜索方向以及与步长一起决定前进下行速率 )和步长找到三个白 新的位置,曾经不断迭代最终到达目标函数局部最优点(愿意目标函数是凸函数,则到达全局最优点)。下面大家将通过公式来具体说明梯度下降法下面这人 h(θ)是大家的拟合函数

猜你喜欢

在.NetCore中使用Myrmec检测文件真实格式

github地址:https://github.com/rocketRobin/myrmecnuget地址:https://www.nuget.org/packages/Myr

2020-03-22

目前哪些手机可以无线充电怎么无线充电

三星S10Plus华为Mate20Pro无线充电,是近一两年来在旗舰手机上经常出显的俩个 多功能,当然,目前来看,搭载无线充电功能的手机还不过多,我来推荐几款。华为Mate2

2020-03-22

阿里云CDN直播架构与双11晚会直播实战

电商直播的最佳实践猫晚流量再创记录,阿里云直播方案护航优酷21150万用户体验【云栖精选11月刊】揭秘双11肩头的互联网技术超级工程阿里云跨界商务媒体合作芒果TV看明星也用云计

2020-03-21

国美 京东 天猫 苏宁在哪个买电器便宜靠谱?

下载百度知道APP,抢鲜体验至于价格展开完整性使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。不得劲推荐为你推荐:基本差太满换一换你对这种回答的评价是

2020-03-21

2019年即将进入尾声,你的2020年最想做什么事?

3、找到俩个 多多 可不还要长期发展的行业并现在结速投资。不怎么推荐展开全部8、希望我的第7条可不还要实现。5、希望我中间的1234条都能实现。使用百度知道APP,立即抢鲜

2020-03-21