Hilda

「离开世界之前 一切都是过程」

【AI思想启蒙04】线性回归3突破瓶颈,模型效果的提升

多元线性回归处理多特征数据,通过增广向量统一表达,MSE优化权重。多项式回归拟合非线性,需平衡过拟合。随机特征权重期望为0,共线性导致系数不稳定,需特征选择或正则化。

现实中,线性回归的问题往往是多元的。 1.多元回归模型基本描述 多元线性回归模型是处理具有多个特征(\(X\) 向量)的回归问题。 模型是一个函数,将输入 \(X\) 映射到输出 \(Y\)。 目标值 \(y\) 是由多个特征 \(x_i\) 及其对应的权重 \(w_i\) 的线性组合构成。 \[y = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n ...

【AI思想启蒙03】线性回归2从傻瓜到智能,梯度下降法学习法

线性回归代码实现数据读取、模型训练、MSE评估与可视化,分析MSE凸性与梯度下降策略,MBGD平衡速度与稳定性,提前停止防过拟合。

1.代码实战:线性回归 1.导包与数据读取: 1 2 3 4 5 6 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.model_selection import ...

【AI思想启蒙02】线性回归1第一个模型,用来进行数值预测

线性回归通过MSE优化参数,平方项放大难预测点误差,优先修正离群点;MAE鲁棒但不可导,MSE平滑可导更适合梯度下降。

上一节:人工智能概述和特征提取?做人工智能的第一步中提到:所有复杂的原始数据(图像、文本、用户)都必须通过强业务绑定的特征工程(向量化)过程,转换为统一的数值向量,才能输入给机器学习模型进行学习和预测。即数据 \(\rightarrow\) 向量化 \(\rightarrow\) 模型。 而学习机器学习,就是学习各种模型,即学习各种传统AI算法。 这节主要学习线性回归算法。 首...

【AI思想启蒙01】人工智能概述和特征提取?做人工智能的第一步

RGB灰度转换依人眼对绿光敏感,词袋模型忽略语序语义,独热编码优于标签编码,特征工程需结合业务,深度学习用Embedding解决高维问题。

1.灰度转换计算 ITU-R BT.709 标准加权系数 来对一个特定 RGB 颜色进行灰度转换计算 标准加权系数: \(a_1\) (Red, 红色) \(\approx 0.2126\) \(a_2\) (Green, 绿色) \(\approx 0.7152\) \(a_3\) (Blue, 蓝色) \(\approx 0.0722\) 公式: \(\rho...

【体系学习011】二叉树题目

1.求所有祖先节点 先说结论: 节点 \(x\) 的所有祖先节点 = 先序遍历序列中出现在\(x\) 左边的节点集合 ∩ 后序遍历序列中出现在右边\(x\) 的节点集合。 例如求下图中x的所有祖先节点: 如何证明上面的结论呢? 根据先序遍历的定义(根左右),所以,x节点的祖先一定全部在先序遍历x的左边。那么后序遍历中也是同理,x的祖先一定在x后序遍历的右边。 然后证明:为...

【算法题库2】微软面试题-折纸问题

【微软面试题】 请把一段纸条竖着放在桌子上,然后从纸条的下边向上方对折1次,压出折痕后展开。此时折痕是凹下去的,即折痕突起的方向指向纸条的背面。 如果从纸条的下边向上方连续对折2次,压出折痕后展开,此时有三条折痕,从上到下依次是下折痕、下折痕和上折痕。 给定一个输入参数N,代表纸条都从下边向上方连续对折N次。 请从上到下打印所有折痕的方向。 例如:N=1时,打印: down N=2时...

【体系学习010】链表题目

1.面试时链表解题的方法论 1)对于笔试,不用太在乎空间复杂度,一切为了时间复杂度 2)对于面试,时间复杂度依然放在第一位,但是一定要找到空间最省的方法 2.链表面试题常用数据结构和技巧 1)使用容器(哈希表、数组等) 2)快慢指针 例如下面的功能: 1)输入链表头节点,奇数长度返回中点,偶数长度返回上中点 2)输入链表头节点,奇数长度返回中点,偶数长度返回下中点 ...

【体系学习009】排序算法总结

1.排序算法稳定性 稳定性是指同样大小的样本再排序之后不会改变相对次序 对基础类型来说,稳定性毫无意义 对非基础类型来说,稳定性有重要意义 有些排序算法可以实现成稳定的,而有些排序算法无论如何都实现不成稳定的 【不稳定】:选择排序、快排、堆、希尔 【可以做到稳定】:冒泡、插入、归并 2.排序算法总结   时间复杂度 ...

【体系学习008】前缀树与基数排序

前缀树、不基于比较的排序、排序稳定性 1.前缀树(trie树) 1.1前缀树概念 1)单个字符串中,字符从前到后的加到一棵多叉树上 2)字符放在路上,节点上有专属的数据项(常见的是pass和end值) 3)所有样本都这样添加,如果没有路就新建,如有路就复用 4)沿途节点的pass值增加1,每个字符串结束时来到的节点end值增加1 可以完成前缀相关的查询 例如一个简单的记录了”a...

【体系学习007】加强堆

1.通过规模和指令条数来推测算法复杂度 在线评测系统需要一个公平的环境来评估不同语言的解法。考虑到 Java 特有的启动和 JIT 开销,如果将所有语言的时间限制都设为 1-2 秒(C/C++通常是这样),那么一些本应通过的 Java 代码可能会因为这些“系统开销”而超时。 为了弥补这种天生的劣势,评测系统会为 Java 这类需要虚拟机的语言提供更宽裕的时间限制(比如2-4秒),以确...