（5）Boosting算法对于样本的异常值十分敏感，因为Boosting算法中每个分类器的输入都依赖于前一个分类器的分类结果，会导致误差呈指数级累积。 而用于深度学习模型训练的样本数量很大并且容许一定程度的错误标注，会严重影响模型的性能。

概念 Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法，即将弱分类器组装成强分类器的方法。 Bagging Bagging又叫套袋法，其算法过程如下： 1. 从原始样本集中抽取训练 ...

Nov 20, 2015 · boosting 是一种将弱分类器转化为强分类器的方法统称，而adaboost是其中的一种，采用了exponential loss function（其实就是用指数的权重），根据不同的loss function还可以有其他算法，比如L2Boosting, logitboost... 还有adidas跑鞋上的boost很不错，脚感一流，可以一试。

这四个概念都是集成学习中非常重要的概念,只不过侧重的方面有所不同. bagging/boosting强调 抽取数据的策略.两者都采取随机有放回取样 (random sampling with replacement)的方式抽取数据,不同的是在bagging中,所有数据被抽到的概率相同;而在boosting中,每一轮被错误标记的数据会被增加权重,从而增加在下一轮 ...

是前n-1步得到的子模型的和。 因此boosting是在sequential地最小化损失函数，其bias自然逐步下降。 但由于是采取这种sequential、adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。 所以说boosting主要还是靠降低bias来提升预测精度。

学习机器学习时的困惑，“认字不识字”。很多中文翻译的术语不知其意，如Pooling，似乎90%的书都翻译为“…

谢邀，试答一下。 Boosting算法 Boosting算法特征如下：通过将一些表现效果一般（可能仅仅优于随机猜测）的模型通过特定方法进行组合来获得一个表现效果较好的模型。从抽象的角度来看，Boosting算法是借助convex loss function在函数空间进行梯度下降的一类算法。Gradient Boost和Adaboost就是其中比较常见的 ...

基于树的adaboost和Gradient Tree Boosting具体区别，在学习时，哪个效果会更好一点（不考虑计算时间成本）

Boosting 会大幅度的减少方差，但是会微量的增加偏差。 假设用一系列简单的 决策树 做boosting，每个简单决策树的偏差很小但方差很大，经过boost以后一系列的简单决策树权重相加后方差会减小，但是 boosting 的妙处在于他学习出来的权重能保证模型的偏差控制在 ...

这一点看似与上面的情况矛盾？ [2]解释的比较清楚：这两种说法都有道理，adaboost在不同的数据分布上表现出不同的情况。 训练误差能够减小到0，一定程度说明数据集比较容易分割，这时候Boosting Margin会起到很好的作用，后面的训练起到增大Margin的效果。