1) Model representation(模型表示)
回到第一课中的房屋价格预测问题， 首先它是一个有监督学习的问题（对于每个样本的输入，都有正确的输出或者答案），同时它也是一个回归问题（预测一个实值输出）。
训练集表示如下：
其中：
m = 训练样本的数目
x's = “输入”变量，也称之为特征
y's = “输出”变量，也称之为“目标”变量
对于房价预测问题，学习过程可用下图表示：
其中x代表房屋的大小，y代表预测的价格，h(hypothesis)将输入变量 x 映射到输出变量 y，如何表示h?
事实上Hypothesis可以表示成如下形式：
\[h_\theta(x) = \theta_0 + \theta_1 x\]
简写为 h(x)，也就是带一个变量的线性回归或者单变量线性回归问题。
2) Cost function(代价函数，成本函数)
对于Hypothesis: \(h_\theta(x) = \theta_0 + \theta_1 x\)
\(\theta_i\) 为参数
如何求\(\theta_i\)?
构想： 对于训练集(x, y)，选取参数\(\theta_0\), \(\theta_1\)使得\(h_\theta(x)\)尽可能的接近y。
如何做呢？一种做法就是求训练集的平方误差函数（squared error function），Cost Function可表示为:
\[J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^m{(h_\theta(x^{(i)}) - y^{(i)})^2}\]
并且选取合适的参数使其最小化，数学表示如下：
\[\displaystyle\mathop{\mathrm{minimize}}\limits_{\theta_0, \theta_1} J(\theta_0, \theta_1)\]
3) Cost function intuition I(直观解释1)
直观来看，线性回归主要包括如下四大部分，分别是Hypothesis, Parameters, Cost Function, Goal:
这里作者给出了一个简化版的Cost function解释，也就是令\(\theta_0\)为0：
然后令\(\theta_1\)分别取1、0.5、-0.5等值，同步对比\(h_\theta(x)\)和\(J(\theta_0, \theta_1)\)在二维坐标系中的变化情况，具体可参考原PPT中的对比图，很直观。
4) Cost function intuition II(直观解释2)
回顾线性回归的四个部分，这一次不在对Cost Function做简化处理，这个时候\(J(\theta_0, \theta_1)\)的图形是一个三维图或者一个等高线图，具体可参考原课件。
可以发现，当\(h_\theta(x)\)的直线越来越接近样本点时，\(J(\theta_0, \theta_1)\)在等高线的图中的点越来越接近最小值的位置。
联系客服
