机器学习分类算法

概率基础

• 逻辑回归最后输出的不是“具体分数”，而是“属于某一类的概率”，所以先把几个常见概率概念分清。

1. 边际概率

• 描述的是单个事件发生的可能性。
• 记作 $P(A)$。
• 例如：明天下雨的概率、一个用户会点击广告的概率。

2. 联合概率

• 描述的是两个或多个事件同时发生的概率。
• 记作 $P(A \cap B)$。
• 例如：一个用户既点击了广告，又完成了下单。

3. 条件概率

• 描述的是在事件 A 已经发生的前提下，事件 B 发生的概率。
• 记作 $P(B \mid A)$。
• 例如：用户已经点进商品页后，最终下单的概率。

一句话理解

• 边际概率：只看一件事会不会发生。
• 联合概率：看几件事会不会一起发生。
• 条件概率：先假设一件事已经发生，再看另一件事发生的可能性。

它俩只是恰好都能把数值压缩到 0~1 区间，但作用对象、目的、使用阶段完全是两回事。

1. 归一化：是「输入特征的预处理操作」 我们常说的归一化（比如 Min-Max 归一化）、标准化，都属于数据预处理步骤——是在数据喂给模型之前，对「输入特征」做的处理。

• 作用对象：原始特征列（比如房屋面积、用户收入、年龄）
• 核心目的：消除不同特征的数值量级差异，让模型公平学习、训练收敛更快
• 典型计算（Min-Max 归一化）：(x - 最小值) / (最大值 - 最小值)
• 特点：依赖当前这批数据的统计值（最值/均值），是对“一整列数据”做尺度统一

2. Sigmoid：是「模型内部的概率映射函数」
Sigmoid 是逻辑回归模型计算过程中的一环，它处理的不是输入特征，而是“特征线性组合后的结果 z = wx + b”。

• 作用对象：线性计算的输出值（可以是负无穷到正无穷的任意实数）
• 核心目的：把任意实数转换成 0~1 之间的数值，并赋予「概率」的含义，最终用来做二分类决策
• 计算公式：$f(z) = 1 / (1 + e^(-z))$
• 特点：是固定的数学函数，和数据分布无关；输入越大输出越接近1，输入越小输出越接近0，输入为0时刚好等于0.5

核心区别对照表

通俗例子帮你分清
比如做“用户会不会点击广告”的分类模型：

• 归一化：是把“用户年龄（18 ~ 60岁）”“用户月收入（3千 ~ 5万）”这些尺度差很大的特征，都缩到 0~1 之间，避免模型误以为“收入”天然比“年龄”更重要。
• Sigmoid：是模型把年龄、收入等特征加权算完得到一个分数（比如 2.5 或者 -1.3）后，用 Sigmoid 把这个分数转成 0 ~ 1 的数，比如 0.92，解释成“这个用户有 92% 的概率会点击广告”。

一句话理清顺序
在逻辑回归的完整流程里，它俩是先后关系，互不冲突： 原始特征 → 做归一化/标准化 → 线性加权求和 → 过 Sigmoid → 输出分类概率

1. 预测流程：模型怎么做分类

先做线性组合：$z = w^T x + b$

• 这个 $z$ 可以理解成模型先算出来的一个“原始分数”，范围不固定，不能直接当概率用。

再过 Sigmoid 函数：$\sigma(z) = \frac{1}{1 + e^{-z}}$

• Sigmoid 会把任意实数映射到 0 到 1 之间。公式：$\sigma(z) = \frac{1}{1 + e^{-z}}$
• 所以逻辑回归真正输出的是：$P(y=1 \mid x) = \sigma(w^T x + b)$
• 这个值就可以理解成：给定输入特征 $x$ 时，样本属于正类的概率。

最后按阈值分类

• 如果概率大于某个阈值，就判成正类。
• 如果概率小于某个阈值，就判成负类。
• 最常见的阈值是 0.5，但实际业务里也可以按需求调整。

2. 训练流程：模型怎么学会这条分类线

• 训练时，模型不会先急着按阈值分正负类，而是先看“预测概率和真实标签到底差多少”。
• 这个“差多少”的衡量标准，常用的就是交叉熵损失。
• 再通过梯度下降不断调整参数 $w$ 和 $b$，让损失越来越小。
• 参数调好之后，模型本质上就是学到了一条更合适的分类边界。

这部分属于更偏原理的扩展内容，知道它和交叉熵有关就够了

伯努利分布与似然函数

伯努利分布

• 逻辑回归最常见的是二分类，而二分类的结果只有两种：0 或 1。
• 这种“只有两种结果”的随机变量，就很适合用伯努利分布来描述。
• 你可以把它理解成一次抛硬币：
• 结果要么是正面，要么是反面；在模型里，就是要么属于这一类，要么不属于这一类。

伯努利分布函数

• 如果一个样本的标签 $y \in \{0, 1\}$，模型预测它属于正类的概率是 $p$，那么伯努利分布可以写成：

• 当 $y=1$ 时，公式会变成 $P(y \mid x)=p$。
• 当 $y=0$ 时，公式会变成 $P(y \mid x)=1-p$。
• 在逻辑回归里，这里的 $p$ 就是：

• 也就是说，逻辑回归先用 Sigmoid 算出概率，再拿这个概率去描述二分类结果。

似然函数

• 似然函数可以理解成：假设当前这组参数是对的，那训练数据出现的可能性有多大。
• 如果模型参数选得好，真实标签就应该更容易被“解释出来”，也就是似然更大。
• 对单个样本来说，似然就是：

• 对整个训练集来说，就是把所有样本的概率乘起来：

• 逻辑回归训练时，本质上就是希望这整个似然函数尽量大。

交叉熵损失与极大似然估计

为什么又会变成交叉熵损失

• 直接把很多概率连乘，数值会非常小，计算不方便。
• 所以通常会先取对数，把“连乘”变成“连加”：

• 训练时我们一般习惯写成“损失越小越好”，所以再取一个负号，就得到常见的对数损失，也就是二分类交叉熵损失：

怎么理解交叉熵损失

• 如果真实标签是 1，模型给出的 $p$ 越接近 1，损失越小。
• 如果真实标签是 0，模型给出的 $p$ 越接近 0，损失越小。
• 如果模型明明很有把握，却判断错了，交叉熵会罚得很重。
• 所以它特别适合分类任务，能逼着模型把“正确类别的概率”尽量拉高。

交叉熵和似然函数是什么关系

• 这两个东西本质上是在说同一件事，只是站的角度不一样。
• 似然函数站在“概率越大越好”的角度，希望训练数据在当前参数下出现的可能性尽量大。
• 交叉熵损失站在“损失越小越好”的角度，希望模型犯错更少、而且别错得太自信。
• 数学上，交叉熵损失其实就是负对数似然再取平均：

• 所以：
• 最大化似然 = 最大化对数似然
• 最大化对数似然 = 最小化负对数似然
• 最小化负对数似然 = 最小化交叉熵损失

极大似然估计

• 极大似然估计（MLE，Maximum Likelihood Estimation）可以理解成：
• 在一堆参数里，挑出那组最能解释训练数据的参数。
• 也就是找到一组 $w$ 和 $b$，让训练集出现的概率最大。
• 放到逻辑回归里，就是让真实标签在模型预测下“尽可能合理”。
• 因为直接最大化连乘形式的似然不方便，所以实际训练时通常改成：
• 最大化对数似然，或者等价地最小化交叉熵损失。

一句话理解极大似然

• 极大似然估计就是：哪组参数最像是“生成”当前这批训练数据的，就选哪组参数。

一句话串起来

• 逻辑回归先输出一个概率，这个概率符合二分类的伯努利分布；训练时通过最大化似然，最后就等价成最小化交叉熵损失。

• train_test_split(x, y, test_size=0.2, random_state=666) 里的 random_state=666，本质上就是在固定这次数据切分时的随机种子。
• 这样做的好处是：同一份数据、同一段代码，多次运行后训练集和测试集的划分结果都一样。
• 如果不固定种子，每次切分出来的训练集、测试集都可能不同，最终准确率也可能跟着波动，不方便复现和对比实验结果。

可以先把“随机种子”理解成一个固定的起点：

• 种子一样，随机结果就会一样。
• 种子不一样，随机结果通常也会不一样。

所以在机器学习里，固定随机种子最常见的作用就是：保证实验可复现。

这里再区分一下：

• np.random.seed(666)：更偏向直接控制 Numpy 自己生成随机数的结果。
• random_state=666：更偏向给 sklearn 这类工具传一个固定种子，让它内部涉及随机的步骤保持可复现。

一句话理解：上面的代码已经用 random_state=666 把“随机切分数据”这件事固定住了，本质上和设置随机种子的目的相同。

随机种子示例

import numpy as np

# 设置随机种子为固定值
np.random.seed(true)

# 生成随机数组
arr1 = np.random.randint(0, 10, size=5)
print("第一次生成:", arr1)

print('============================================')

# 设置随机种子为固定值
np.random.seed(2)

# 生成随机数组
arr2 = np.random.randint(0, 10, size=5)
print("第二次生成:", arr2)

好嘞，这个我来！用一个"癌症筛查"的例子把这几个概念一次串清楚——

先说场景

假设医院有个测试，能判断一个人有没有癌症。我们拿 10000 个人去测，结果如下：

横着看是测试的结果，竖着是真实情况。这张 2×2 的表，就是混淆矩阵——名字挺玄乎，其实就是把"猜对猜错"摊开给你看。

四个格子都有专门名字：

• TP（True Positive）：真有，测出有 → 200
• FN（False Negative）：真有，测出没有 → 30（漏诊，最危险）
• FP（False Positive）：真没有，测出有 → 70（误诊，吓你一跳）
• TN（True Negative）：真没有，测出没有 → 9700

然后四个指标

1. 准确率 Accuracy = 猜对的比例

问题在哪？ 如果癌症发病率只有 0.1%，那我让模型对所有人说"没癌"，准确率 99.9%——但它一个真病人都抓不出来。所以光看准确率会被骗。

2. 精确率 Precision = 我说有癌的人里，真的有的比例

大白话：模型不轻易报警，但一旦报警，74% 真的有事。关心的是"我喊狼来了，喊得准不准"。代价是宁可漏报也不乱报（你也不想没事被拉去化疗吧）。

3. 召回率 Recall = 真有病的人里，我抓出多少

大白话：100 个真病人我抓到 87 个。关心的是"真的狼，一只都不能漏"。代价是宁可多误报也不能漏（漏诊的代价远大于误诊）。

4. F1 = 精确率和召回率的"调和平均"

大白话：你又想准又怕漏，两个都想要又不能偏科太严重，F1 就是那个"不偏科分数"。如果一个高一个低，F1 会狠狠惩罚你。

一张表记住区别

一句话记忆法 🎯

• 精确率：抓得准不准
• 召回率：抓得全不全
• F1：又准又全的均衡分
• 准确率：总体答对率（数据偏的时候别太信它）

记住一个直觉：精确率和召回率是跷跷板——阈值调高，报警更保守，精确率上去、召回率下来；阈值调低，反过来。F1 就是帮你找那个最舒服的平衡点。

讲清楚了吗？还有具体的场景想套一下，或者想看代码实现（比如 sklearn 里 classification_report 怎么用），随时说~