Spark:UnpicklingError:NEWOBJ类参数在尝试将数据推送到Kinesis Firehos时具有NULL tp\u new

Question

我试图通过spark向kinesis firehose提供数据：

我遇到了一个错误 UnpicklingError:NEWOBJ类参数具有NULL tp\u new

我使用的是python版本：2.10（Anaconda版本） Spark-2.4.6-hadoop版本。 我用Boto3-将数据推送到Amazon Kinesis。在

当我试图用python脚本将数据推送到kinesis时，它工作得很好，我得到了如下所示的结果输出。。在

In [21]: aws_client.put_record_batch(DeliveryStreamName='streamname',Records=Records)

And I am getting a success message that it is pushed to kinesis : 

Out[16]: 
{u'FailedPutCount': 0,
 u'RequestResponses': [{u'RecordId': u'gfdgfdgdtgrt4rt4trfg'},
  {u'RecordId': u'hggfhhy7686ghytryhfgfdgdgtrged'}],
 'ResponseMetadata': {'HTTPStatusCode': 200,
  'RequestId': 'u'ytutujguiuuuiiuuu'}}

http://boto3.readthedocs.org/en/latest/guide/configuration.htmlhttp://boto3.readthedocs.org/en/latest/reference/services/kinesis.html#client

类似地，如果我在spark中尝试（对来自twitter的tweets进行处理并将其推到kinesis）。。在

^{pr2}$

我遇到了一个错误 UnpicklingError:NEWOBJ类参数具有NULL tp\u new

有人能帮我弄清楚为什么它不能和Spark一起工作吗？在