多个线程访问同一嵌套字典

2024-03-28 21:57:06 发布

您现在位置:Python中文网/ 问答频道 /正文

(警告新手)。我将运行一个多线程的python脚本,它将遍历成千上万个文件,并更新一个字典。更具体地说,线程将附加到存储在嵌套字典中的列表。你知道吗

例如Dict['X1']['X1PROPERTIES'],其中'X1PROPERTIES'是一个列表。你知道吗

现在,根据线程当前正在读取的文件,可能存在多个线程附加到同一个X#PROPERTIES的情况。在阅读了原子属性和锁之后,我想知道的是我是否需要使用锁。据我所知,如果它只是附加到一个列表中,我将不需要使用锁,但我有点不清楚哪些情况下锁是必要的。你知道吗

任何见解都将不胜感激。你知道吗

为了在这里添加更多的上下文,对从每个文件中提取的数据进行的实际处理非常少,结果要么是在全局字典中的列表中进行适当的追加,要么什么都没有。我需要浏览的目录和文件实在太多了。花在阅读文件上的时间是残酷的。有没有更有效的解决方案可以用来加快IO组件的速度?我想知道在这种情况下我是否误用了线程。你知道吗


Tags: 文件数据脚本警告列表字典属性情况