k均值算法主要应用在聚类上的无监督算法。
他的目标是将数据集中的样本根据其特征分为几类，使得每一类内部样本的特征都尽可能相近，这样的任务通常被称为聚类任务，作为最简单的聚类算法，k均值算法在现实中有广泛的应用。
【机器学习基础算法】之K均值聚类算法
发表评论
分类目录归档：ML
【机器学习基础算法】之K近邻算法
k近邻算法主要应用于在分类上的有监督算法中。
原理
在分类任务中，我们的目标是判断样本x的类别y。
KNN会先观察与该样本点距离最近的K个样本，统计这些样本所属的类别。然后，将当前样本归到出现次数最多的类中。我们用KNN算法的经典示意图来更清晰地说明其思想
【机器学习基础算法】之逻辑回归
logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 逻辑回归根据给定的自变量数据集来估计事件的发生概率，由于结果是一个概率，因此因变量的范围在 0 和 1 之间。
【机器学习基础算法】之梯度下降法、归一化、正则化和多项式升维
梯度下降法（最好的无约束最优化问题的求解算法）
梯度下降法(Gradient Descent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来，梯度下降法就是一种经典常用的优化算法。
【机器学习基础算法】之线性回归
通过相关分析可以得到两个或两个以上变量之间相关程度及其大小，但对于彼此相关比较紧密的变量，人们总希望建立变量之间具体的数字关系，以便变量之间能够互相推测。回归分析是寻找存在相关关系的变量间的数学表达式并进行统计推断的一种统计方法。相关分析是回归分析的基础和前提，回归分析则是相关分析的深入和继续。
【机器学习基础算法】之SVM支持向量机
SVM 源于统计学理论，基于 VC 维理论和结构风险最小原理，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折中，以期获得最好的推广能力（或称泛化能力）。统计机器学习能够精确地给出学习效果以 及解答需要的样本数等一系列问题。所谓 VC 维是对函数类的一种度量，可以简单地理解为问题的复杂程度。VC 维越高，问题越复杂。SVM 的基本模型是二类分类模型，属于有监督学习，是在特征空间中找出一个超平面作为分类边界，对数据进行正确分类，且使每一类样本中距离分类边界最近的样本到分类边界的距离尽可能远，使分类误差最小化。