我试图用Python编写一个多进程程序。我已经导入了多进程模块,我试着像这样开始处理:
p = Process(target=self.Parse)
p.start()
p.join()
在这个类中,我有一个内部线程计数器,每次生成一个进程时,我都会增加这个计数器。但是当我打印线程计数时,计数不会增加。所以我打电话给你多处理.active_子级()但这返回一个空列表。程序真的不产生线程或进程,还是只是报告它?代码如下:
^{pr2}$解析函数:
def Parse(self):
self.thread+=1
self.lock.acquire()
next = self.nxtLink.popleft()
self.lock.release()
results = parser(next[0],next[1])
#print("In Parse")
self.broken[next[0]] = results.broken
for i in results.foundLinks:
if(self.thread<=self.count+5):
p = Process(target = self.request, args = (i,next[0]))
p.start()
p.join()
else:
while (self.thread>self.count+5):
pass #Waits for the thread count to drop before spawning a new thread.
p = Process(target = self.request, args = (i,next[0]))
p.start()
p.join()
self.lock.acquire()
self.thread-=1
self.lock.release()
最后,请求函数:
def request(self, requestURL, requestingPageURL):
# print(requestURL)
self.lock.acquire()
self.thread+=1
self.lock.release()
try:
before = list(self.prev)
self.lock.acquire()
self.prev.append(requestURL)
self.lock.release()
if(requestURL in before):
#print(before)
return
nextRequest = req.urlopen(requestURL)
self.lock.acquire()
self.nxtLink.append((requestURL,nextRequest))
self.lock.release()
except err.URLError:
self.lock.acquire()
try:
self.broken[requestingPageURL].append(requestURL)
except KeyError:
self.broken[requestingPageURL] = [requestURL]
self.lock.release()
finally:
self.lock.acquire()
self.thread-=1
self.lock.release()
我真的被困在为什么它不是产卵过程,但程序作为一个整体运行良好,所以我有点困惑。在
join()等待进程完成。当你有一个序列,比如:
父程序等待子程序完成,这样在检查时就没有活动的子程序。你最好只调用函数而不是生成子函数,因为你只是等待它们完成。像这样的代码通常会将流程对象放在一个列表中,执行其他工作,然后在工作完成后返回并连接它们。在
您可以添加一些调试代码来跟踪调用的内容,以验证子代码是否正在运行:
^{pr2}$一般来说,在生成的进程中添加一些日志记录是一个好主意,这样就可以跟踪代码中的python异常。在
相关问题 更多 >
编程相关推荐