unnoyy

基础算法题总结 4-- 二分查找

基础算法题总结 -- 动态规划、中心扩散、Manacher 算法

基础算法题总结 -- 回溯法相关

残差网络什么是残差网络？残差网络解决了什么问题？残差网络是怎么解决这个问题的？ 残差网络可以解决 “随着网络加深，准确度不下降” 也就是网络退化的问题。增加一个恒等映射，将原始所需要学的函数 H (x) 转换成 F (x)+x，这个简单的加法并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题。 对比 DenseNet 等，其区别何在（虽然都有 Shortcut，但是 DenceNet 是串联，ResNet 是相加） 梯度消失和梯度爆炸神经网络是根据损失函数计算的误差通过梯度反向传播的方式来指导深度网络权值的更新优化的。而误差传递过程是链式法则，当层数越深的时候，梯度是以指数的形式传播的。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近 0 或特别大，也就是梯度消失或爆炸。 什么是梯度爆炸和梯度消失：在反向传播过程中需要对激活函数进行求导，如果导数大于 1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。同样如果导数小于 1，那么随着网络层数的增加梯度更新信息 ...

决策树最常用的三个算法是： ID3 C4.5 CART 这三种决策树算法的区别在于 ID3 是选择信息增益大的属性来对样本进行划分，由于存在缺点 (多属性的取值会使得模型的泛化能力变差，决策树容易产生过拟合)，所以 C4.5 进行改进，选用了信息增益比来对样本进行划分，但是问题还是存在。所以引入 CART 树，使用基尼系数作为节点的分类依据。 ID3 选择信息增益大的属性来对样本进行划分 (多属性的取值会使得模型的泛化能力变差，决策树容易产生过拟合) C4.5 选择信息增益比来对样本进行划分 () CART 树 选择基尼系数作为节点的分类依据 (有剪枝) 信息增益 g (D,A)：表示得知特征 X 的信息而使得类 Y 的信息的不确定性减少的程度 $g (D,A) = H (D) - H (D|A)$ H (D): 集合 D 的 信息增益比基尼系数 决策树的特征选择、生成、剪枝 ID3 和 C4.5 的区别；RF 和 GBDT 的区别；GBDT 是否适合于处理大规模的 ID 特征

感知机 (1957 年提出) 统计学习方法的三要素：模型 + 策略 + 算法线性分类可以分为硬输出和软输出，而感知机和线性判别模型属于硬输出。 感知机的模型：线性模型策略：基于误分类的损失函数进行极小化算法：梯度下降法 感知机是二类分类的 线性分类模型，属于 判别模型，输入是实例的特征向量，输出为实例的类别。 感知机学习旨在求出将训练数据进行线性划分的分类超平面，是基于 误分类的损失函数，利用 梯度下降法对损失函数进行 极小化求得。 原始形式和对偶形式 概念 1：数据集的线性可分性：如果存在一个超平面可以将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则数据集为线性可分数据集，否则数据集线性不可分。 模型： $f (x) = sign (w^T x)$$$sign (x)\begin {cases} +1, &x>=0\ -1, &x<0\end {cases}$$

机器学习算法中的模型感知机感知机是一个二分类线性分类模型，目的是为了找到可以将实例划分为两类的分离超平面，通过基于误分类的损失函数，利用梯度下降法对损失函数进行最优化。是神经网络和支持向量机的基础。感知机是一个二分类线性分类模型，它的目的是求得一个能将训练集正实例点和负实例点完全分开的分离超平面。通过极小化基于误分类的损失函数，运用梯度下降来求解参数。 主要关注的是误分类点距离超平面的距离，误分类点越少，误分类点距离超平面越近，损失函数值就越小。 K - 近邻：KNN，一种分类和回归方法根据最接近预测的那个点的 k 个点的最大特征结果来表示预测的点的类别。可以分类也可以回归。 k 值的选取：一般取一个比较小的值，采用交叉验证法来选取最优的 k 值。（k 太小，模型复杂，容易过拟合；k 太大，近似误差会增大，输入实例较远的训练实例也会对预测起作用，使预测发生错误）距离度量：一般使用欧式距离 (欧式距离可适用于不同空间，表示不同空间点之间的距离) 分类决策规则：一般为多数表决回归决策规则：选择平均法，k 个样本输出的平均值作为预测输出 朴素贝叶斯朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的待 ...

基础算法题总结 -- 位运算相关

Deep learning for intelligent traffic sensing and prediction: recentadvances and future challenges abstract 随着智能城市和智能交通系统概念的不断涌现，准确的交通感知和预测已成为支持城市管理和交通控制的关键。近年来，车辆互联网的迅速普及和移动服务的普及程度不断提高，为交通传感和预测应用提供了前所未有的数据。但是，要满足日益复杂和多样化的大流量数据。深度学习凭借在表示学习和多级抽象方面的强大功能，最近已成为许多智能传感系统中最有效的方法。本文对智能深度学习的最先进的研究工作进行最新的文献综述。交通感应和预测。 introduction 在将信息和通信技术 (ICT) 应用到现实世界的不同城市领域中，智能城市的概念已经变得流行起来。“智慧城市” 指的是技术密集型的生态系统，旨在提供广泛的无所不在的服务和公用事业应用，如智能交通、家庭自动化、智能电网、电子健康、环境监测和智能物流。随着人口的快速增长和车辆数量的空前增长，智能交通管理已经成为智能城市可持续发展的关键。 本文的贡献： 我们提供了一个 ...

Time Series Classification (TSC) 时间序列分类 时间序列分类定义定义 1： Definition 1A univariate tie series $X =[x_1,x_2,…,x_T]$ is an ordered set of realvalues.The length of X is equal to the number of real values T. 一个单变量时间序列 $X =[x_1,x_2,…,x_T]$ 是一个实数值的有序集。X 的长度等于实值 T 的个数。 定义 2：Definition 2An M-dimensional MTS, $X =[X^1, X^2,…,X^M]$ consists of M different univariate time series with $X^i \in \mathbb R^T$. 一个 M 维 MTS， $X =[X^1, X^2,…,X^M]$ 由 M 个不同的单变量时间序列组成，其中 $X^i \in \mathbb R^T$。 定义 3：Definition 3 A dataset $D = {(X_1,Y_1), ...