简单的PySpark BigDL测试:优化器失败

2024-04-28 21:29:09 发布

您现在位置:Python中文网/ 问答频道 /正文

在PySpark本地节点中的:https://bigdl-project.github.io/0.4.0/#ProgrammingGuide/optimization/处运行BigDL示例:

from bigdl.nn.layer import Linear
from bigdl.util.common import *
from bigdl.nn.criterion import MSECriterion
from bigdl.optim.optimizer import Optimizer, MaxIteration
import numpy as np

sc = SparkContext(appName="simple",conf=create_spark_conf())
init_engine()

model = Linear(2, 1)
samples = [
  Sample.from_ndarray(np.array([5, 5]), np.array([2.0])),
  Sample.from_ndarray(np.array([-5, -5]), np.array([-2.0])),
  Sample.from_ndarray(np.array([-2, 5]), np.array([1.3])),
  Sample.from_ndarray(np.array([-5, 2]), np.array([0.1])),
  Sample.from_ndarray(np.array([5, -2]), np.array([-0.1])),
  Sample.from_ndarray(np.array([2, -5]), np.array([-1.3]))
]

train_data = sc.parallelize(samples, 1)
optimizer = Optimizer(model, train_data, MSECriterion(), MaxIteration(100), 4)
optimizer.optimize()
model.get_weights()[0]

导致以下异常。其他BigDL测试在PySpark中工作。环境:openjdk version“1.8.0_141,Python 3.5.3(默认值,2017年1月19日,14:11:04) [GCC 6.3.0 20170118]在linux上

有什么想法吗?BigDL是一个活跃的项目吗?在

^{pr2}$

Tags: samplefromimportmodelnpnnarraypyspark
1条回答
网友
1楼 · 发布于 2024-04-28 21:29:09

BIGDL被积极维护。定义bigdl模型的正确方法是使用sequential API或{}。
顺序API

model = Sequential()
model.add(Linear(...))
model.add(Sigmoid())
model.add(Softmax())  

功能API

^{pr2}$

here。在

相关问题 更多 >