Python 机器学习 数据归一化

1、数据归一化

当您的数据具有不同的值，甚至具有不同的度量单位时，可能很难比较它们。与米相比，公斤是多少？还是海拔比时间？

这个问题的答案是扩展。我们可以将数据缩放为易于比较的新值。

看看下表，它与我们在多元回归一章中使用的数据集相同，但是这次，volume列包含的单位是升，而不是立方米（1.0而不是1000）。

很难将体积1.0与权重790进行比较，但是如果将它们都缩放为可比较的值，我们可以很容易地看到一个值与另一个值相比较的多少。

缩放数据有多种方法，在本教程中，我们将使用一种称为数据归一的方法。

标准化方法使用以下公式：

z = (x - u) / s

其中z是新值，x是原始值，u是平均值，而s是标准值偏差。

如果从上面的数据集中获取权重列，则第一个值为790，缩放后的值为：

(790 - 1292.23) / 238.74 = -2.1

如果从上面的数据集中获取“体积”列，则第一个值为1.0，缩放后的值为：

(1.0 - 1.61) / 0.38 = -1.59

现在，您可以将-2.1与-1.59相比较，而不是将790与1.0相比较。

不必手动执行此操作， Python sklearn模块有一个称为StandardScaler()的方法，该方法返回带有转换数据集方法的Scaler对象。

例如： 

缩放“重量”和“体积”列中的所有值：请注意，前两个值为-2.1和-1.59，与我们的计算相对应：运行示例»

import pandas
from sklearn import linear_model
from sklearn.preprocessing import StandardScaler
scale = StandardScaler()

df = pandas.read_csv("cars2.csv")

X = df[['Weight', 'Volume']]

scaledX = scale.fit_transform(X)

print(scaledX)

Result:

[[-2.10389253 -1.59336644]
 [-0.55407235 -1.07190106]
 [-1.52166278 -1.59336644]
 [-1.78973979 -1.85409913]
 [-0.63784641 -0.28970299]
 [-1.52166278 -1.59336644]
 [-0.76769621 -0.55043568]
 [ 0.3046118  -0.28970299]
 [-0.7551301  -0.28970299]
 [-0.59595938 -0.0289703 ]
 [-1.30803892 -1.33263375]
 [-1.26615189 -0.81116837]
 [-0.7551301  -1.59336644]
 [-0.16871166 -0.0289703 ]
 [ 0.14125238 -0.0289703 ]
 [ 0.15800719 -0.0289703 ]
 [ 0.3046118  -0.0289703 ]
 [-0.05142797  1.53542584]
 [-0.72580918 -0.0289703 ]
 [ 0.14962979  1.01396046]
 [ 1.2219378  -0.0289703 ]
 [ 0.5685001   1.01396046]
 [ 0.3046118   1.27469315]
 [ 0.51404696 -0.0289703 ]
 [ 0.51404696  1.01396046]
 [ 0.72348212 -0.28970299]
 [ 0.8281997   1.01396046]
 [ 1.81254495  1.01396046]
 [ 0.96642691 -0.0289703 ]
 [ 1.72877089  1.01396046]
 [ 1.30990057  1.27469315]
 [ 1.90050772  1.01396046]
 [-0.23991961 -0.0289703 ]
 [ 0.40932938 -0.0289703 ]
 [ 0.47215993 -0.0289703 ]
 [ 0.4302729   2.31762392]]

2、预测CO2值

“多元回归”一章的任务是在仅知道汽车的重量和体积的情况下预测其排放的二氧化碳。

缩放数据集后，在预测值时必须使用缩放比例：

例如：

预测1.3升重2300公斤的汽车的二氧化碳排放量：运行示例»

import pandas
from sklearn import linear_model
from sklearn.preprocessing import StandardScaler
scale = StandardScaler()

df = pandas.read_csv("cars2.csv")

X = df[['Weight', 'Volume']]
y = df['CO2']

scaledX = scale.fit_transform(X)

regr = linear_model.LinearRegression()
regr.fit(scaledX, y)

scaled = scale.transform([[2300, 1.3]])

predictedCO2 = regr.predict([scaled[0]])
print(predictedCO2)

 Result:

[107.2087328]