bilibili课程链接2026年全新优化版李宏毅机器学习系统课程1、经典案例预测宝可梦combat powerCP值进化比较强的宝可梦step1Model老师举了一个线性模型的例子xi是特征wi是权重b是偏置step2Goodness of Function收集了10只宝可梦的数据横轴表示原始CP值纵轴表示进化后的CP值n表示样本数量即10个经过一系列函数f的作用下我们引入Loss函数来判断模型好坏具体操作如下设定线性模型训练数据经过一系列函数得到Loss函数接下来绘制10个样本经过训练得到Loss函数❌是最小值在深度学习中我们要找到最优的损失即真实值与预测值的偏差为0即loss为0那我们就需要找到对应minLoss对应的w和b也为接下来引入梯度下降埋入伏笔其loss函数热力图如下Step3梯度下降 Gradient desent损失函数只有w一个参数先随机找一个初始点w0计算该点的斜率结合学习率进行更新w权重可以想象一个人想下山在该点出左看右看发现哪里是下山的路反复迭代后可能会出现如下图的情况陷入局部最优点。出现两个参数w、b时对这两个进行偏微分如下图整体的操作还是先随机选w和b的初始点不断的更新就能找到相对较小的loss函数损失函数以及其梯度下降的可视化visualize箭头的方向都等高线出的切线方向在线性模型中我们的loss函数是凹函数没有局部最优无论从哪出发都能找到最优。Lwb的偏微分公式如下y^是预测值如图线性模型在测试集上表现不好泛化能力不行假如测试集就死红点位置红点离直线距离较远说明我们的模型效果不好需要重新选择模型选择另外的模型引入二次项如图但我们如果接着引入x三次方、x的四次方……模型越来越复杂在测试集表现越来越好但测试集表现越来越差模型出现过拟合问题同时我们在选择模型时要选择在测试集表现最好的模型上面我们只考虑了CP值没有考虑物种重新设计模型每一个物种都有自己的线性模型通过这种0-1的算法让每一个物种都有自己的线性模型我们最在意的还是能不能在测试集上看到新的宝可梦我们还想让model在Testing 表现更好还有其他hidden factor吗Back to step 1 重新设计模型考虑了种类、CP、高度h、重量w四个参数但是出现过拟合后面使用正则化调合适的总结进化后的CP值跟初始cp值、物种有很大关系应该还有其他hidden factor是我们没有发现的掌握梯度下降、过拟合、正则化这些知识点。最终我们认为现在的model如果上线到网络中error将会比测试集上表现还要大
