机器学习经验总结整理

1.一个标准的机器学习项目流程一定要记住顺序很多新手觉得乱是因为没按流程想问题。做任何项目脑子里要有这根“流水线”定义问题→ 是分类还是回归还是聚类业务目标是什么获取数据→ 数据从哪来探索与清洗EDA→ 看分布、找缺失、除异常这一步最花时间特征工程→ 把原始数据变成模型爱吃的“饭”归一化、编码、组合特征拆分数据→ 训练集 / 验证集 / 测试集选模型训练→ 先跑一个简单的基准模型如逻辑回归再尝试复杂的调参与评估→ 看准确率、召回率、AUC调整参数避免过拟合和欠拟合部署与监控→ 模型上线后表现如何2.定义问题详解一共4种情况第一种:有监督学习数据中有标签且标签是连续的则为回归任务比如薪资、房价这种数字不是连续的也就是离散的就是分类任务像健康情况电影类别可以看到区分回归和分类其实很简单像标签的个数是有限的几个就是分类像薪资这种的数值非常多的是回归可以联想到一根直线上的无数点第二种无监督学习数据中没有标签主要是聚类任务比如一堆图片中找出一直大象第三种半监督学习数据中部分有标签部分没有标签第四种强化学习为了达到最大化累积奖励,通过不断的在环境中试错类学会做出最优决策3 获取数据这就是我们需要处理的数据不做赘述一般用pandas来读取文件# 1.读取文件获取数据 data pd.read_csv(data/breast-cancer-wisconsin.csv, sep,) print(data.shape, data.ndim) # 形状:(699, 11) 维度:24探索与清洗EDA缺失值处理删除缺失率 70% 的列直接删缺失行较少可删行。填充均值/中位数/众数复杂场景用模型预测填充。【补充】业务含义填充例如“上月消费金额”为空填 0 和填均值业务含义完全不同。要先判断是“没记录”还是“没发生”。异常值处理原则不要无脑删。方法3-Sigma 原则、箱线图 (IQR)。【补充】对异常值的态度金融欺诈检测中异常值往往就是我们要抓的坏人不能删只能做分箱或变换。# 2.数据预处理 # 2.0 注意: 数据中有?无效字符,需要先转换为numpy中的nan,然后使用dropna()删除或者fillna()填充 new_data data.replace(?, np.nan).dropna() print(new_data.shape, new_data.ndim) # 形状:(683, 11) 维度:25 特征工程特征变换无量纲化归一化将数据缩放到 [0, 1] 区间。公式$X \frac{X - X_{min}}{X_{max} - X_{min}}$【补充】使用时机涉及距离计算KNN、神经网络、K-Means必须做树模型不需要。标准化将数据变为均值为 0标准差为 1 的分布。公式$X \frac{X - \mu}{\sigma}$【补充】使用时机假设数据服从正态分布时效果更好。特征编码文字转数字独热编码把类别变成互相独立的 0/1 列。缺点是维度爆炸。【补充】目标编码用该类别对应的标签均值来代替。工业界处理高基数类别特征的利器。特征构造企业核心竞争力时间特征把时间戳拆成“星期几”、“是否节假日”、“距今天数”。交叉特征身高/体重 BMI。统计特征用户过去 7 天平均点击次数。# 2.1 分别获取特征和标签 # 拓展: iloc格式 : 数据.iloc[行索引,列索引] x new_data.iloc[:, 1:-1] y new_data.iloc[:, -1] print(x.shape, x.ndim) # 形状:(683, 9) 维度:2 print(y.shape, y.ndim) # 形状:(683,) 维度:16拆分数据基础划分训练集 (80%) vs 测试集 (20%)。【补充】标准工业级划分训练集 (Train)学习模型参数 $W, b$。验证集 (Validation)专门用来调参选模型。测试集 (Test)最终只用一次评估泛化能力。【补充】黄金法则时间序列严禁随机切分用过去预测未来。不均衡样本必须分层抽样防止验证集里全是负样本X_train, X_test, y_train, y_test train_test_split(x, y, test_size0.2,random_state666) # 同一个种子,同一份随机数据7选模型训练K 近邻算法核心近朱者赤近墨者黑。距离度量默认欧氏距离。缺点预测极慢需计算所有样本距离企业级高并发场景基本不用。线性回归任务回归。核心思想找到一条线使得预测值与真实值的误差平方和最小最小二乘法。求解方式对比企业选型重点方法核心思想优点缺点正规方程求导等于 0 一步算出简单无需调学习率数据量大时矩阵运算极慢梯度下降沿着负梯度方向小步迭代适合海量数据需调学习率可能陷入局部最优【补充】企业常用变体SGDRegressor(随机梯度下降回归器)适合流式数据在线学习。逻辑回归任务分类虽然名字带回归。核心流程线性回归的结果 $z$ → 塞进Sigmoid 函数→ 输出概率 $P$ → 与阈值比较如 0.5得类别。【补充】底层损失函数交叉熵损失而非线性回归的 MSE。K-Means 聚类任务无监督聚类。核心流程选 K 个中心 → 分配点 → 重算中心 → 迭代。缺点K 值难定对初始点敏感。【补充】工业界真正常用的算法家族树模型家族随机森林并行训练多棵树投票不易过拟合。XGBoost / LightGBM目前结构化数据表格赛道的王者。GBDT 的工程优化版面试必问工作必用。8调参与评估回归任务的评估MAE (平均绝对误差)对异常值不敏感。MSE (均方误差)对异常值惩罚极重平方放大。分类任务的评估——混淆矩阵这是企业汇报时的核心仪表盘必须烂熟于心。真实 \ 预测预测为 Positive预测为 Negative真 PositiveTP (真阳性)FN (假阴性/漏报)真 NegativeFP (假阳性/误报)TN (真阴性)准确率$(TPTN) / Total$ —— 样本不均衡时最没用的指标。精确率$TP / (TPFP)$ —— 预测正类中有多少是对的宁缺毋滥。召回率$TP / (TPFN)$ —— 真实正类有多少被找出来了宁枉勿纵。F1-Score精确率和召回率的调和平均。过拟合与欠拟合企业调参的指挥棒状态训练集表现测试集表现解决方案欠拟合差差增加特征交互项、换复杂模型、减小正则化。过拟合极好差增加数据量、加正则化(L1/L2)、早停法、集成学习。【补充】交叉验证概念把训练集切成 K 份轮流用 K-1 份训练1 份验证。目的更稳定地评估模型性能充分利用数据防止因单次划分运气好而选错模型。9 部署与监控模型上线转化为 PMML 文件、ONNX 格式或封装为 API 接口。线上监控性能监控API 响应时间、QPS。【补充】数据漂移监控监控输入特征的均值和方差。如果线上用户突然从年轻人变成老年人模型准确率会断崖式下跌需要触发自动重训练。总结给未来复习的自己回归和分类的区别不要看名字看标签类型。特征工程是投入产出比最高的环节树模型不需要归一化。面试/汇报时谈到分类模型一定先问一句“数据均衡吗看准确率还是 F1”XGBoost和LightGBM是工业界处理表格数据的首选不要只会用逻辑回归。“部署上线不是毕业典礼而是开学典礼。你要开始操心这玩意儿明天会不会挂掉、下周准不准、下个月还能不能用了。”名词备忘录1. 梯度下降是什么一种“摸着石头下山”的走法。你在山顶雾很大看不见路只能靠脚底感受坡度哪儿往下倾斜就往哪儿走一步反复这样最终走到山谷最低处。有什么用让计算机自动找到让预测最准的那条线的位置。怎么记 盲人下山看不见路但能感觉到脚下哪里最陡。每走一步都用脚探一下朝最陡的下坡方向走一小步。重复这个动作直到脚下变平就知道到谷底了。2. 学习率是什么梯度下降时**每一步迈多大**。有什么用控制找最低点的速度。太大容易跨过去太小走得太慢。怎么记 下山时步子太小走了一万步还在半山腰。 下山时步子太大一脚迈出去直接从山谷这边跨到那边完美错过最低点。3. 参数w 和 b是什么就是你初中数学里直线方程的**斜率和截距**。有什么用决定了那条预测线的具体位置。怎么记 直线公式 $y 2x 3$ 里$2$ 就是斜率$3$ 就是截距。 机器学习里只不过把 $2$ 叫成 $w$把 $3$ 叫成 $b$。**换了个名字而已本质一模一样。4. 损失函数是什么一把**误差尺子**专门量“预测值和真实值差了多少”。有什么用告诉计算机当前这条线画得有多烂。差得越多损失数值越大。怎么记 你扔飞镖飞镖落点离靶心越远你心里越“失落”。 损失函数就是那个给你打分的人扔得越偏扣分越多。5. 过拟合*是什么***死记硬背不懂变通。**有什么用这是我们最怕的情况说明模型学傻了。怎么记 考试前你把练习册答案全背下来了连印刷错误都背了。 考试时题目稍微换个问法你照着背的答案往上写结果全错。 **表现**作业训练集全对考试测试集不及格。6. 欠拟合是什么****根本没学进去连作业都不会做。***有什么用**说明模型太简单或者根本没学到东西。怎么记** 上课全程睡觉考试时连题目都看不懂交白卷。 **表现**作业训练集和考试测试集分数都极低。---7. 正则化是什么**给模型**戴上一个紧箍咒**不让它太放肆、太复杂。有什么用**专门治**过拟合**的。让模型别把细节当真理。怎么记** 你复习时老师不让你去背那些偏题怪题要求你只抓重点。 正则化就是那个老师它会给那些过于复杂的记忆方式“扣分”逼你只记住最核心的规律。---8. 归一化 / 标准化是什么**把不同单位的数据**统一拉到同一个尺度里**。*有什么用**防止某个特征因为数值太大把其他特征的话筒抢了。*怎么记** 一个班要评“综合分”规则是把身高和体重加起来。 身高是 170cm体重是 70000g70kg。 如果不统一单位体重那一项直接决定了总分身高完全没用了。 **归一化就是统一换单位比如都换成“在同班同学中的排名百分比”。**---9. Sigmoid 函数是什么**一个能把任何数字**压扁到 0 到 1 之间**的 S 形曲线。有什么用**把预测分数变成概率。比如 500 分压成 0.9920 分压成 0.01。怎么记** 它是一个**概率换算器**。 你考了 500 分别人不知道这算好还是差。 放进 Sigmoid它告诉你“你赢的概率是 99%”。---10. 混淆矩阵是什么**一张**对错记账表**。有什么用**告诉你模型**错在哪儿了**。怎么记警察抓小偷版**| 真实情况 | 警察判断 | 叫什么 | 大白话 || 是小偷 | 抓了 | TP | **抓对了** || 是好人 | 放了 | TN | **放对了** || 是好人 | 抓了 | FP | **冤枉好人** || 是小偷 | 放了 | FN | **放跑坏人** |11. 精确率是什么**你说“抓到了贼”这里面**真的有几个人是贼**有什么用**衡量**抓得准不准**。要求“宁可放过不可抓错”。怎么记** 你指着 10 个人说他们都是小偷。 精确率 90% 意思是里面 9 个是真的1 个是被冤枉的。12. 召回率是什么**真正的 100 个小偷里**你抓到了几个**有什么用**衡量**抓得全不全**。要求“宁可抓错不可放过”。怎么记** 商场里有 100 个真小偷。 召回率 80% 意思是你抓住了 80 个漏了 20 个。---13. F1 分数是什么**精确率和召回率的**调和平均值**。有什么用**当你既想抓得准、又想抓得全时看这个指标。怎么记** 精确率和召回率像跷跷板两头一个高另一个就低。 F1 就是告诉你跷跷板平衡了没有。如果 F1 很高说明你两手都抓了。14. 交叉验证是什么**把一份练习册**撕成五份**轮流用四份当练习题、一份当测验题。有什么用**检验你是不是真学会了而不是碰巧蒙对了一套卷子。怎么记** 你不能只做一套模拟卷就上高考考场。 你要做十套不同学校的模拟卷如果每套都考得好说明你是真学霸。