2.4　本章小结

在本章中我们对监督学习线性分类器的基本概念有了很好的理解。在实现感知器后，了解了如何通过梯度下降的向量化实现高效地训练自适应线性神经元，以及通过随机梯度下降实现在线学习。

现在已经看到了如何用Python实现简单的分类器，这为第3章的学习做好了准备，我们将用Python的scikit-learn机器学习库实现更先进和更强大的在学术界和工业界中常用的机器学习分类器。

这里实现感知器和Adaline算法所用的面向对象的方法可以帮助我们了解scikit-learn API，它是基于与本章相同的核心理念，即通过调用fit和predict方法实现的。基于这些核心理念，我们将学习用于建模分类概率的逻辑回归和用于处理非线性决策边界的支持向量机。此外，我们还将介绍一种不同类型的基于树的有监督学习算法，这些算法通常被合并为更为强大的集成分类器。

---

[1]A Logical Calculus of the Ideas Immanent in Nervous Activity, W. S. McCulloch and W. Pitts, Bulletin of Mathematical Biophysics, 5(4):115-133, 1943.

[2]The Perceptron: A Perceiving and Recognizing Automaton, F. Rosenblatt, Cornell Aeronautical Laboratory, 1957.

[3]An Adaptive “Adaline” Neuron Using Chemical “Memistors”, Technical Report Number 1553-2, B. Widrow and others, Stanford Electron Labs, Stanford, CA, October 1960.