如何创建一个四维RDD(类似于4D数组)?

2024-04-29 00:12:07 发布

您现在位置:Python中文网/ 问答频道 /正文

有没有可能创建一个四维RDD像一个四维numpy ndarray使用联合或什么?你知道吗

我尝试创建一个4dnumpyndarray的RDD(如下所示),并在这个RDD上运行BigDL优化器。我设计的优化器模型只适用于4D numpy ndarray。你知道吗

   sample=np.array([[[[ 20,  21,  23],
            [ 3,  4,  5],
            [ 6,  7,  8]],

            [[ 9, 10, 11],
            [512, 13, 14],
            [15, 16, 17]],

           [[18, 19, 20],
            [21, 22, 23],
            [24, 25, 26]]],

            [[[ 30,  31,  32],
            [ 33,  34,  35],
            [ 36,  37,  38]],

           [[ 39, 310, 311],
            [312, 313, 314],
            [315, 316, 317]],

           [[318, 319, 320],
            [321, 322, 323],
            [324, 325, 326]]]])

sample_rdd = sc.parallelize(sample)

optimizer = Optimizer(
       model=model,
       training_rdd=sample_rdd,
       criterion=MarginRankingCriterion(),
       optim_method=SGD(learningrate=0.01),
       end_trigger=MaxEpoch(2),
       batch_size=1)

但在运行优化器时出现此错误: 调用o28.createDistriopTimer时出错。 : java.lang.IllegalArgumentException异常:要求失败:型号Sequentialb994f48b没有任何可训练参数。你知道吗


Tags: sample模型numpymodelnptrainingarrayoptimizer