Python射线pyarrow.lib.arrow无效:超过最大大小(2GB)

2024-06-08 04:05:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图加载和处理大型文件使用射线。你知道吗

我使用ray是为了多处理文件和提高解决方案的速度。你知道吗

我一直遇到这个pyarrow错误:pyarrow.lib.ArrowInvalid: Maximum size exceeded (2GB)。似乎和等离子物品商店有关。你知道吗

我试着使用巨大的页面并将其装载到plasma存储中,增加init上ray对象存储的大小。你知道吗

任何帮助都会很好。你知道吗


Tags: 文件sizelib错误解决方案物品速度商店

热门问题