回归分析中的多变量、多因素、多重、多元回归的区别

回归分析中，主要就是因变量和自变量，大多数的**回归模型的形式**都是如下所示： 因变量（或因变量的变换）=截距+回归系数\*自变量（可以是多个自变量）

它反映了1个或多个自变量是如何影响因变量的。

因此，关于多变量、多因素、多重、多元，也就是如何对应**因变量和自变量**。  
为了简单起见，下面都以**线性回归为例**来说明，其它如logistic回归、Poisson回归等都一样。

## 简单（simple）线性回归

简单线性回归模型（simple linear regression model）是指**1个因变量、1个自变量**的模型

简单回归分析（Simple Linear Regression）是一种统计方法，用来研究一个**自变量**（X）对一个**因变量**（Y）的线性影响关系。

### **定义**：
**简单回归分析**：研究单个自变量与因变量之间的线性关系。它用于确定自变量的变化对因变量的变化有何影响，或根据已知的自变量值预测因变量的值。

### **模型形式**：
 简单回归模型可以表示为：

$$  Y = \beta_0 + \beta_1 X + \epsilon $$

$$ $Y$ $$ 是**因变量**（结果变量），
 $$ $X$ $$ 是**自变量**（预测变量），
 $$ $\beta_0$ $$ 是**截距**，表示当 $X = 0$ 时 $Y$ 的预测值，
 $$ $\beta_1$ $$ 是**回归系数**，表示自变量 $X$ 每变化一个单位时，因变量 $Y$ 的变化量，
 $$ $\epsilon$ $$ 是**误差项**，表示模型中的随机误差或不可解释的部分。

### **应用场景**：
例如，研究工作年限（X）对工资（Y）的影响，可以通过简单线性回归分析来估计年限增加对工资变化的影响。

## 多重线性回归（Multiple Linear Regression）

**定义**：一个**因变量**（Y），多个**自变量**（X₁, X₂, ...）。这是我们平时常见的情况，研究一个结果变量（因变量）如何受到多个预测变量（自变量）的影响。
**模型形式**：

$$ $ Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_nX_n + \epsilon $ $$
  
其中，$$ $Y$ $$ 是唯一的因变量。

**应用场景**：例如，研究学生的成绩（因变量）如何受到学习时间、睡眠时长、家庭背景（自变量）的影响。

## 多元线性回归（Multivariate Linear Regression）

**定义**：**多个因变量**（Y₁, Y₂, ...），多个**自变量**。这是指研究多个结果变量（因变量）同时受到多个自变量的影响。

**模型形式**：

$$ $ \mathbf{Y} = \mathbf{X} \mathbf{\beta} + \epsilon $ $$

其中，$$$\mathbf{Y}$$$ 是一个向量，表示多个因变量。

- **应用场景**：例如，研究学生的成绩和运动表现（多个因变量）如何同时受到学习时间、睡眠时长（自变量）的影响。

### 关键区别：
- **多重线性回归**：**一个因变量，多个自变量**。
- **多元线性回归**：**多个因变量，多个自变量**。

### 区分要点：

有时候文献中会存在混用，但准确的区分应该是：
- 多重线性回归是单一因变量与多个自变量的关系；
- 多元线性回归是多个因变量与多个自变量的关系。

##### 多因素（multivariable）或多重（multiple）线性回归

多变量线性回归或多重线性回归（multivariable or multiple linear regression）是一回事，是相对简单线性回归而言。 简单线性回归只有1个自变量，多因素线性回归或多重线性回归则是有**多个自变量**。 但它们都是只有**1个因变量**，模型如下：

##### 多元或多变量（multivariate）线性回归

多元或多变量线性回归模型（multivariate linear regression model）是指**多个因变量**的回归模型。

> 大家可以再对比一下多元方差分析和多因素方差分析。  
多元方差分析或多变量方差分析，它们都是什么意思呢？ 主要适用于像**重复测量**数据这种情况，在重复测量数据中，每个人测量了多次，有多个结局变量（因变量），因此是多元方差分析。

多因素方差分析主要用于什么情形呢？ 通常用于有**多个分组变量**（自变量），如析因设计中至少有2个分组变量，这种情况下，采用的是多因素方差分析。 这里的“因素”是指自变量，因此不是多元方差分析。

有些统计软件，分类比较清楚，尤其是一些菜单结构的。 比如下图是SAS jmp软件的菜单，可以看出，在多元方法的菜单中，不是回归分析，而是主成分分析、因子分析、偏最小二乘回归等方法。

![](/upload/turndown-pics/20240920/url_http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0111%2F5f6fd445p00q3wfhm000nc200bd007ag00bd007a0.png)

在《Multivariate or Multivariable Regression?》（Am J Public Health. 2013; 103(1): 39–40.）这篇文章中，作者分析了30篇声称使用了多元（multivariate）方法的文章，结果发现，其中只有5篇是真正使用了多元（multivariate）方法，主要是纵向数据（即重复测量数据），其余25篇其实是多因素分析（multivariable analyses），主要是logistic回归。 有的文章中则是multivariate和multivariable在交互替代使用，把它们混为一谈。

由此可见，关于多重、多因素、多元、多变量等这些我们似乎每天都挂在嘴边的名词，其实并不是像我们想象的这么简单。 即使在国际期刊，名词混用的也大有人在。

> 在数理统计学中，多元（multivariate）就是多因素（multivariable），不用区分.

2024-09-20 15:10 by admin 65 0

回归分析中的多变量、多因素、多重、多元回归的区别

热门文章