如何在比例回归模型上执行约束优化？

Question

假设我对我的数据应用高斯过程回归。在拟合模型之前，我将执行某种特征工程。在模型拟合之后，我的目标是现在在曲线上应用最小化，我打算对一些值进行约束，以找到最佳的X。然而，如果我对我的数据应用某种特征工程，并将模型拟合到特定的数据集，问题就来了，当我应用约束优化时，由于我修改了输入数据，我应该如何找出我想要约束它的值。如果这听起来令人困惑，下面的解释和一些代码可能会有所帮助：

假设我有数据：

# X (theta, alpha1, alpha2)
array([[ 9.07660169,  0.61485493,  1.70396493],
       [ 9.51498486, -5.49212002, -0.68659511],
       [10.45737558, -2.2739529 , -2.03918961],
       [10.46857663, -0.4587848 ,  0.54434441],
       [ 9.10133699,  8.38066374,  0.66538822],
       [ 9.17279647,  0.36327109, -0.30558115],
       [10.36532505,  0.87099676, -7.73775872],
       [10.13681026, -1.64084098, -0.09169159],
       [10.38549264,  1.80633583,  1.3453195 ],
       [ 9.72533357,  0.55861224,  0.74180309])

# y
array([4.93483686, 5.66226844, 7.51133372, 7.54435854, 4.92758927,
       5.0955348 , 7.26606153, 6.86027353, 7.36488184, 6.06864003])

然后我应用某种功能工程，在这种情况下，一个简单的MinMaxScaler：

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)           
scaler = MinMaxScaler()           
scaler.fit(X_train)            
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

然后，我将模型与我的数据相匹配：

kernel = C(1.0, (1e-4, 1e4))*RBF(10,(1e-3,1e3))
model = GaussianProcessRegressor(kernel = kernel, n_restarts_optimizer = 5,optimizer='fmin_l_bfgs_b')           
model.fit(X_train,y_train)

现在，我执行拟合模型的约束最小化。请注意，我将theta约束为常量值等于9。因此，这篇文章的动机是，我将theta设置为在特征工程过程之前拟合曲线之前基于样本的值

bnds = np.array([(theta_bin,theta_bin),(data_alpha1_bin.min(),data_alpha1_bin.max()),
                 (data_alpha2_bin.min(), data_alpha2_bin.max())])        
x0 = [theta_bin,0,0]
residual_plant = minimize(lambda x: -model.predict(np.array([x])), x0, method='SLSQP',bounds=bnds)

总之，我需要最小化我的机器学习拟合模型，但我也需要在拟合前对其进行特征缩放，因为这是高斯过程所需要的。问题是，我的最小化被限制在某个特征（theta）的给定常量值上，那么，我如何处理拟合到缩放特征的曲线以及基于缩放之前的值设置的约束

Answer 1

一旦你安装了scaler，就继续使用它。由于变换只是缩放而没有旋转，因此变换的theta坐标将保持不变

residual_plant = minimize(lambda x: -model.predict(scaler.transform(x)), scaler.transform(x0), method='SLSQP',bounds=bnds)

顺便说一句，你打算写：

model.fit(X_train_scaled,y_train)

对吧?？否则，在原始坐标上进行训练而不进行缩放。这在本案中似乎也是合法的。我看不出真正需要缩放。但是我相信你需要把normalize_y=True加到探地雷达上，因为它假设观测到的目标值的平均值为零，根据你提供的数据样本，情况并非如此