回归

简单线性回归

简单线性回归是指, 对于一系列的离散数据点, 用一条直线来对其进行模拟.如图

根据直线的解析式我们可以知道, 其实只要找到 $\beta_0$ 和 $\beta_1$ 两个参数, 直线就被确定下来了. 那么在无数条接近数据点的直线中, 哪一条会是最有可能适合的呢? 这里首先要对误差进行定义, 如图中所示, 真实数据点与回归直线上数据点的距离就是误差, 距离越远误差就越大, 我们的目的就是找一条直线, 使得所有点误差的总和最小. 由于有些点在直线上方, 有些点在直线下方, 因此用y的差值的平方来衡量误差的大小. 可以记为:

$S S E=\sum_{i} \epsilon_{i}^{2}=\sum_{i}\left(y_{i}-\widehat{y}_{i}\right)^{2}$

代入直线方程 $\hat{y}_{i}=\beta_{0}+\beta_{1} x_{i}$ 有:

$S S E=\sum_{i}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)^{2}$

于是, 问题转化为求 $\beta_0$ 和 $\beta_1$ , 使得SSE取得最小值的问题. 首先求偏导数, 另其为零

$\frac{\partial \sum_{i} \epsilon_{i}^{2}}{\partial \beta_{0}}=-2 \sum_{i}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)=0$

$\frac{\partial \sum_{i} \epsilon_{i}^{2}}{\partial \beta_{1}}=-2 \sum_{i}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right) x_{i}=0$

虽然上面的公式比较复杂, 但实际上未知数只有 $\beta_0$ 和 $\beta_1$ 两个, 假设一共有N个数据点, 对上式进行拆分

$\sum_{i=1}^{N} y_{i}=\beta_{0} \cdot N+\beta_{1} \sum_{i=1}^{N} x_{i}$

$\sum_{i=1}^{N} y_{i} x_{i}=\beta_{0} \sum_{i=1}^{N} x_{i}+\beta_{1} \sum_{i=1}^{N} x_{i}^{2}$

写成矩阵形式:

$\left[\begin{array}{l} \sum y_{i} \\ \sum y_{i} x_{i} \end{array}\right]=\left[\begin{array}{cc} N & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{array}\right]\left[\begin{array}{l} \beta_{0} \\ \beta_{1} \end{array}\right]$

matlab提供内置函数polyfit()来解上面的方程来获得 $\beta_1$ 和 $\beta_0$ ,

1
2
3

x =[-1.2 -0.5 0.3 0.9 1.8 2.6 3.0 3.5];
y =[-15.6 -8.5 2.2 4.5 6.6 8.2 8.9 10.0];
fit = polyfit(x,y,1);

计算结果为:

其中fit(1)存储的是 $\beta_1$ , fit(2)存储的是 $\beta_0$ , 可以使用下面代码来绘制回归直线:

1
2
3

xfit = [x(1):0.1:x(end)]; yfit = fit(1)*xfit + fit(2);
plot(x,y,'ro',xfit,yfit); set(gca,'FontSize',14);
legend(2,'data points','best-fit');

非线性回归

对于给定的离散数据点而言, 其实二者未必具有线性关系. matlab中可以使用scatter()函数来画出数据点的图像 , 使用corrcoef()函数可以用来求数据的相关系数. 相关系数的值在[-1,1]区间内, 大于0则称正相关, 小于0称负相关.

x =[-1.2 -0.5 0.3 0.9 1.8 2.6 3.0 3.5];
y =[-15.6 -8.5 2.2 4.5 6.6 8.2 8.9 10.0];
scatter(x,y); box on; axis square;
corrcoef(x,y)

绘图结果:

三维空间回归

如果数据点是三维的, 需要使用做的是回归平面或者回归曲面, 需要用到matlab的内置函数regress(), 例如

load carsmall; % 使用matlab内置数据集
y = MPG;
x1 = Weight; x2 = Horsepower;
X = [ones(length(x1),1) x1 x2];
b = regress(y,X);
x1fit = min(x1):100:max(x1);
x2fit = min(x2):10:max(x2);
[X1FIT,X2FIT]=meshgrid(x1fit,x2fit);
YFIT=b(1)+b(2)*X1FIT+b(3)*X2FIT;
scatter3(x1,x2,y,'filled'); hold on;
mesh(X1FIT,X2FIT,YFIT); hold off;
xlabel('Weight');
ylabel('Horsepower');
zlabel('MPG'); view(50,10);

绘图结果:

插值

插值主要用到的函数的超链接:

interp1: 一维数据插值（表查找）

pchip : 分段三次 Hermite 插值多项式 (PCHIP)

spline : 三次方样条数据插值

mkpp: 生成分段多项式

下面分别给出interp1的使用示例和spline的使用示例, 关于插值的内容, 我的学习效果不是很好, 如果以后会用到的话, 在进一步学习.

%% interp1
x = linspace(0, 2*pi, 40); x_m = x;
x_m([11:13, 28:30]) = NaN; % 把数据中指定位置的数据设为NaN 接下来进行插值
y_m = sin(x_m);
plot(x_m, y_m,'ro','MarkerFaceColor', 'r');
xlim([0, 2*pi]); ylim([-1.2, 1.2]); box on;
set(gca,'FontName', 'symbol','FontSize', 16);
set(gca,'XTick', 0:pi/2:2*pi);
m_i = ~isnan(x_m);
y_i = interp1(x_m(m_i),y_m(m_i), x);
hold on;
plot(x,y_i,'-b','LineWidth', 2);
hold off;

执行结果:

%% spline
m_i = ~isnan(x_m);
y_i = spline(x_m(m_i), y_m(m_i), x);
hold on; plot(x,y_i,'-g','LineWidth', 2); hold off;
h = legend('Original', 'Linear', 'Spline');
set(h,'FontName', 'Times New Roman');