我在my_module
中定义了一个类MyClass
。MyClass
有一个方法pickle_myself
,该方法选取所讨论类的实例:
def pickle_myself(self, pkl_file_path):
with open(pkl_file_path, 'w+') as f:
pkl.dump(self, f, protocol=2)
我已经确定my_module
在PYTHONPATH
中。在解释器中,执行__import__('my_module')
工作正常:
>>> __import__('my_module')
<module 'my_module' from 'A:\my_stuff\my_module.pyc'>
但是,当最终加载文件时,我得到:
File "A:\Anaconda\lib\pickle.py", line 1128, in find_class
__import__(module)
ImportError: No module named my_module
我已经确定了一些事情:
我没有更改my_module.py
(Python pickling after changing a module's directory)的位置
我已经尝试使用dill
,但是仍然得到相同的错误(More on python ImportError No module named)
编辑--再现错误的玩具示例:
示例本身分布在一堆文件上。
首先,我们有一个模块ball
(存储在名为ball.py
的文件中):
class Ball():
def __init__(self, ball_radius):
self.ball_radius = ball_radius
def say_hello(self):
print "Hi, I'm a ball with radius {}!".format(self.ball_radius)
然后,我们有一个模块test_environment
:
import os
import ball
#import dill as pkl
import pickle as pkl
class Environment():
def __init__(self, store_dir, num_balls, default_ball_radius):
self.store_dir = store_dir
self.balls_in_environment = [ball.Ball(default_ball_radius) for x in range(num_balls)]
def persist(self):
pkl_file_path = os.path.join(self.store_dir, "test_stored_env.pkl")
with open(pkl_file_path, 'w+') as f:
pkl.dump(self, f, protocol=2)
然后,我们有一个模块,它具有创建环境、持久化环境和加载环境的功能,称为make_persist_load
:
import os
import test_environment
#import pickle as pkl
import dill as pkl
def make_env_and_persist():
cwd = os.getcwd()
my_env = test_environment.Environment(cwd, 5, 5)
my_env.persist()
def load_env(store_path):
stored_env = None
with open(store_path, 'rb') as pkl_f:
stored_env = pkl.load(pkl_f)
return stored_env
然后我们有一个脚本将其组合在一起,在test_serialization.py
:
import os
import make_persist_load
MAKE_AND_PERSIST = True
LOAD = (not MAKE_AND_PERSIST)
cwd = os.getcwd()
store_path = os.path.join(cwd, "test_stored_env.pkl")
if MAKE_AND_PERSIST == True:
make_persist_load.make_env_and_persist()
if LOAD == True:
loaded_env = make_persist_load.load_env(store_path)
为了便于使用这个玩具示例,I have put it all up on in a Github repository that simply needs to be cloned into your directory of choice.。请参阅包含指令的README
,我也在这里复制这些指令:
说明:
1)将存储库克隆到目录中。
2)将存储库目录添加到PYTHONPATH。
3)打开test_serialization.py
,并将变量MAKE_AND_PERSIST
设置为True
。在解释器中运行脚本。
4)关闭前一个解释器实例,启动新的解释器实例。在test_serialization.py
中,将MAKE_AND_PERSIST
更改为False
,这将以编程方式将LOAD
设置为True
。在解释器中运行脚本,导致ImportError: No module named test_environment
。
5)默认情况下,测试设置为使用dill,而不是pickle。要更改此项,请进入test_environment.py
和make_persist_load.py
,根据需要更改导入。
编辑:切换到dill'0.2.5.dev0'后,dill.detect.trace(True)
输出
C2: test_environment.Environment
# C2
D2: <dict object at 0x000000000A9BDAE8>
C2: ball.Ball
# C2
D2: <dict object at 0x000000000AA25048>
# D2
D2: <dict object at 0x000000000AA25268>
# D2
D2: <dict object at 0x000000000A9BD598>
# D2
D2: <dict object at 0x000000000A9BD9D8>
# D2
D2: <dict object at 0x000000000A9B0BF8>
# D2
# D2
编辑:在Mac/Ubuntu(即类Unix系统?)上运行时,toy示例运行得非常好。它只在Windows上失败。
如果有人遇到同样的问题,我在运行Python 2.7时遇到同样的问题,问题是在运行Linux时在windows上创建的pickle文件,我要做的是运行dos2unix,必须先使用
然后需要转换pickle文件示例
我可以从你的问题中看出,你可能正在做类似的事情,使用一个试图pickle类实例的类方法。这样做是不明智的,如果你这样做的话……那么在类的外部使用
pkl.dump
就更明智了(这里pkl
是pickle
或dill
等等)。但是,它仍可以使用此设计,请参见以下内容:然后重新启动。。。
如果你有一个复杂得多的类,我相信你会遇到麻烦,特别是如果这个类使用了位于同一目录中的另一个文件。
然后重新启动
好吧…开枪,那也行。你必须发布你的代码,这样我们就可以看到你使用的
dill
(和pickle
)失败的模式是什么。我知道让一个模块导入另一个未“安装”的模块(即在某个本地目录中),并且期望序列化“正常工作”并不适用于所有情况。参见
dill
问题: https://github.com/uqfoundation/dill/issues/128https://github.com/uqfoundation/dill/issues/129 所以这个问题: Why dill dumps external classes by reference, no matter what? 一些失败的例子和潜在的解决办法。编辑关于更新的问题:
我看不出你的问题。从命令行运行、从解释器导入(
import test_serialization
)、在解释器中运行脚本(如下所示,并在步骤3-5中指明)都可以工作。这让我觉得你可能用的是老版本的dill
?根据评论中的讨论编辑:
看起来这可能是Windows的问题,因为这似乎是唯一出现错误的操作系统。
完成一些工作后编辑(请参见:https://github.com/uqfoundation/dill/issues/140):
使用这个最小的例子,我可以在Windows上重现同样的错误,而在MacOSX上它仍然可以工作
以及
但是,如果使用
open(path, 'r') as _f
,它在Windows和MacOSX上都可以工作。所以看起来Windows上的__import__
比非Windows系统对文件类型更敏感。尽管如此,抛出一个ImportError
还是很奇怪……但这一个小小的改变应该会让它起作用。相关问题 更多 >
编程相关推荐