- Python机器学习算法: 原理、实现与案例
- 刘硕
- 1151字
- 2021-03-24 19:47:06
2.4 项目实战
最后,我们分别来做一个Logistic回归和一个Softmax回归的实战项目:使用Logistic回归和Softmax回归分别来鉴别红酒的种类,如表2-1所示。
表2-1 红酒数据集(https://archive.ics.uci.edu/ml/datasets/wine)
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-T45_33077.jpg?sign=1734441816-DbgPotq8yhJxEwf5djZBjggHQ88Q5SMi-0-5f56a3f3238bb43f322bf15ad533ce3b)
数据集总共有178条数据,其中每一行包含一个红酒样本的类标记以及13个特征,这些特征是酒精度、苹果酸浓度等化学指标。红酒的种类有3种,Softmax回归可以处理多元分类问题,而Logistic回归只能处理二元分类问题,因此在做Logistic回归项目时,我们从数据集中去掉其中的一类红酒样本,使用剩下的两类红酒样本作为训练数据。
读者可使用任意方式将红酒数据集文件letter-recognition.data下载到本地。此文件所在的URL为:https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data。
2.4.1 Logistic回归
1. 准备数据
首先,调用Numpy的genfromtxt函数加载数据集:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P46_33078.jpg?sign=1734441816-tzMJkyS157ONJ19p0leXDjWpxCcJgHTC-0-29ad95e55a35d0e799f0a0c6b07b395a)
在这个项目中,我们使用Logistic回归鉴别第1类和第2类红酒,因此将数据集中第3类红酒样本去除:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P47_33080.jpg?sign=1734441816-bRZU88lEHX8Y9IxFcVMfpKdp2kGwdDkO-0-80532eaf61b3caa1b77e9ea1d78ba499)
另外,目前y中的类标记为1和2,转换为算法所使用的0和1:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P48_33081.jpg?sign=1734441816-PKQK6KBeYQqkeGbEF8lpo412b3sAVKgo-0-5972c47c0f59208c43620f00975d0c2e)
至此,数据准备完毕。
2. 模型训练与测试
LogisticRegression的超参数有:
(1)梯度下降最大迭代次数n_iter
(2)学习率eta
(3)损失降低阈值tol(tol不为None时,开启早期停止法)
先以超参数(n_iter=2000,eta=0.01,tol=0.0001)创建模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P48_33082.jpg?sign=1734441816-F1f3ZPpDkFINc3KcNWAMAbqs1rjiMNUa-0-f9c68fcbdea27775e5e580bb55ecc91b)
然后,调用sklearn中的train_test_split函数将数据集切分为训练集和测试集(比例为7:3):
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P48_33083.jpg?sign=1734441816-16tw28kUhFgWbe1NGhFTQJQFog4BsWPh-0-bcde22ec36a2e1807010307a18e6b5a7)
在第1章中曾讨论过,应用梯度下降算法时,应保证各特征值相差不大。观察下面的数据集特征均值及方差:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P49_33084.jpg?sign=1734441816-OBtl5UIFpxMDTxv4cir7xU8ztYUFJQ58-0-a17c15c054faae1310a6feff64f3c7b8)
发现其中一些特征值差别较大,因此调用sklearn中的StandardScaler函数对各特征值进行缩放:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P49_33085.jpg?sign=1734441816-LfLq8r7CuHhCmSut9raMHmAeaDS6nStk-0-04a522c5c7612acb647784dfb2877bc7)
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P50_33086.jpg?sign=1734441816-9hWjNzNOg8qaj8i6BZ9nJ812mH4kEHeG-0-fa35b0a579869d22726de25d52536290)
接下来,训练模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P50_33087.jpg?sign=1734441816-q9Eu2I8LXcI3WAFjsL34zSnl8xCK1Hmc-0-374c82dedb0eabea34c2900c4ad034f3)
经过700多次迭代后算法收敛。图2-3所示为训练过程中的损失(loss)曲线。
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P51_11667.jpg?sign=1734441816-0Zz9biEnp3vu7AmlHkUXjmeytGlezS4v-0-972b0c1337b4e89300076ed2d590ac87)
图2-3
使用已训练好的模型对测试集中的实例进行预测,并调用sklearn中的accuracy_score函数计算预测的准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P51_33088.jpg?sign=1734441816-7DnoHojq49Npgoo29FBLmmioRyEqyxDb-0-3b15f52ff6cd41c702b4b370c3d24153)
单次测试一下,预测的准确率为100%,再进行多次(50次)反复测试,观察平均的预测准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P51_33089.jpg?sign=1734441816-Fum4veA9xdFALW48Twdv14ag6i2QO2B5-0-abb447a81eb0a796c2316e22242a79c8)
50次测试平均的预测准确率为98.05%,这表明几乎只有一个实例被预测错误,结果令人满意。读者还可以尝试使用其他超参数的组合创建模型,但该分类问题比较简单,性能提升空间不大。
至此,Logistic回归项目就完成了。
2.4.2 Softmax回归
1. 准备数据
除了无须去掉第3类红酒样本外,Softmax回归项目的数据准备工作与Logistic回归项目的数据准备工作完全相同。
首先,调用Numpy的genfromtxt函数加载数据集:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P52_33091.jpg?sign=1734441816-Y1e1pLnunpwHkNrPSPOfPrWUDMpssA6g-0-b1e32d129a2f925d9cbc232e5626ed57)
然后,将目前y中的类标记为(1,2,3),转换为算法所使用的(0,1,2):
1. >>> y -= 1
至此,数据准备完毕。
2. 模型训练与测试
Softmax回归项目中的模型训练与测试过程与之前Logistic回归项目中的完全相同,以下叙述中某些细节不再重复。
SoftmaxRegression的超参数与LogisticRegression相同:
(1)梯度下降最大迭代次数n_iter
(2)学习率eta
(3)损失降低阈值tol(tol不为None时,开启早期停止法)
我们依然使用超参数(n_iter=2000,tol=0.01,eta=0.0001)创建模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33092.jpg?sign=1734441816-cpTx4xQl4L5xFtSbpQaSb2n3c2MVxib8-0-84e0e164d142e6cd66f550cc96550612)
将数据集切分为训练集和测试集(比例为7:3):
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33093.jpg?sign=1734441816-p12cf4nQSQrJ7Sh2vreRSeKhB5LfqH0y-0-dae47497f9f7ae6d84bcb392bddc68a6)
对各特征值进行缩放:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33094.jpg?sign=1734441816-aBrYaScqiMt4Ud8uYUbPHuH4qwfPIyTc-0-8f98837e5e12c310b389546e3292cdf8)
训练模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33095.jpg?sign=1734441816-gf0f4lbrx2klBJ3K7U3el4IMyHJ2bd1G-0-3de302c3f1faba7ab1d3a90b33726eb2)
使用已训练好的模型对测试集进行预测,并计算预测的准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33096.jpg?sign=1734441816-f0IHcCH8FYQOXZWn3mRleaoJj6XFE0Og-0-4a583836802f58f8fdd9c891d9580cad)
单次测试一下,预测的准确率为98.15%,同样,再进行多次(50次)反复测试,观察平均的预测准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P54_33098.jpg?sign=1734441816-zq6OEVQI90UlR80cSEtFShLk3CbI689D-0-21d31d3b43677b2a7903e46ae7098a7e)
50次测试平均的预测准确率为98.04%,与之前的Logistic回归性能几乎相同。
至此,Softmax回归项目也完成了。