传递集合权重/参数以计算模型精度

Question

我有一种感觉，这个问题有一个显而易见的简单的解决办法，我可能忽略了。你知道吗

假设我有一个依赖于一些输入的模型f和一个参数集p来产生一个二元分类输出y。我现在用一个线性模型来充当f，但是我想保持结构的灵活性，以便将来可以很容易地替代神经网络或非线性模型。你知道吗

我的问题是，有没有办法从手动插入的参数计算模型的精度，而不是训练模型来生成一个最佳的参数集p？我问这个问题的原因是因为我想分析一个集成方法，但我不想拟合多个模型并平均/加权它们的预测，而是想绕过训练，从指定的分布计算随机抽样参数集p的精度。你知道吗

换句话说，我想指定如下内容：

model = linear
parameter_set = p #manually inserted array/distribution of possible parameters
sample_params = np.random.choice(parameter_set, size=100, replace=True) #a subset of the true parameter set

我现在需要计算所有100个样本参数的精度，就好像它们是100个独立的模型一样，并根据一些标准拒绝它们。重要的是，我只想在训练集中评估模型。我查看了许多库，并在中使用validation\u curve和gridsearch找到了一些相近的内容sklearn.model\选择不过，验证曲线也会对测试集进行评估，gridsearch会搜索最佳参数。我还研究了交叉验证技术，lmfit，scipy.optimize.curve\u fit曲线拟合，等等。我知道我可以手动写入函数以及一个函数来计算精度，并使用参数集循环通过它，然后根据我指定的阈值以增量方式拒绝，但这显然违背了我尝试执行的目的。你知道吗

我只是想看看是否有一个巧妙的方式来说：这里是一个模型的架构，这里是参数集，这是数据，告诉我每个精度是什么，并拒绝精度低于0.5的参数集/模型。如有任何想法或建议，将不胜感激。你知道吗