2-2 代价函数Cost Function

代价函数的数学定义、代价函数的直观理解

Posted by Hilda on March 2, 2025

吴恩达课程系列

1-1 欢迎参加《机器学习》课程【机器学习简介/例子】

1-2 什么是机器学习【机器学习的2个定义和分类】

1-3监督学习【监督学习的定义,监督学习的分类(回归与分类)】

1-4无监督学习【无监督学习的定义,无监督学习问题的分类(聚类/信号分离/降维)】

2-1模型描述【如何描述一个模型(用一些符号),单变量线性回归是什么?】

2-2 代价函数Cost Function

image-20250302134331467

我们现在要做的便是为我们的模型选择合适的参数(parameters)\(\theta_0\)和 \(\theta_1\),在房价问题这个例子中便是直线的斜率和在 \(y\) 轴上的截距。

我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度,模型所预测的值与训练集中实际值之间的差距(下图中蓝线所指)就是建模误差(modeling error)

image-20250302134427455

我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数 \(J(\theta_0, \theta_1)=\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2\)最小。

我们绘制一个等高线图,三个坐标分别为\(\theta_0\)和 \(\theta_1\)和\(J(\theta_0, \theta_1)\):

image-20250302134729295

则可以看出在三维空间中存在一个使得\(J(\theta_0, \theta_1)\)最小的点。

目标是找到\(\theta_0\)和 \(\theta_1\),最小化\(minimizeJ(\theta_0, \theta_1)\)


image-20250302135131652


image-20250302135413980

image-20250302135539093

image-20250302135617759

最终:

image-20250302135648414

即当\(\theta_1=1\)时,这个J(代价函数)是最小的。


image-20250302140357226

总结

image-20250302135937191