以下是一个使用GridSearchCV进行参数调优的示例代码,其中包括Scaling和PCA作为参数进行调优:
from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.svm import SVC
# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target
# 数据预处理:特征缩放
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 数据预处理:特征降维
pca = PCA()
X_pca = pca.fit_transform(X_scaled)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_pca, y, test_size=0.2, random_state=0)
# 定义参数网格
param_grid = {
'C': [0.1, 1, 10],
'gamma': [0.1, 1, 10],
'kernel': ['linear', 'rbf']
}
# 创建模型对象
svm = SVC()
# 创建GridSearchCV对象
grid_search = GridSearchCV(estimator=svm, param_grid=param_grid, cv=5)
# 在训练集上进行参数搜索
grid_search.fit(X_train, y_train)
# 输出最佳参数和得分
print("Best parameters: ", grid_search.best_params_)
print("Best score: ", grid_search.best_score_)
# 在测试集上进行评估
best_model = grid_search.best_estimator_
accuracy = best_model.score(X_test, y_test)
print("Test accuracy: ", accuracy)
在上述代码中,首先加载了鸢尾花数据集,并进行了特征缩放和特征降维处理。然后,使用train_test_split函数将数据集划分为训练集和测试集。
接下来,定义了一个参数网格param_grid,包括不同的C、gamma和kernel的取值。然后创建了一个SVC模型对象svm。
然后,通过GridSearchCV对象grid_search进行参数搜索,其中estimator参数指定了使用的模型对象svm,param_grid参数指定了参数搜索范围,cv参数指定了交叉验证的折数。
在训练集上进行参数搜索后,可以输出最佳参数和得分。
最后,使用best_estimator_属性获取最佳模型,并在测试集上进行评估,输出准确率。