进程没有生成python

2024-04-23 16:16:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图用Python编写一个多进程程序。我已经导入了多进程模块,我试着像这样开始处理:

    p = Process(target=self.Parse)
    p.start()
    p.join()

在这个类中,我有一个内部线程计数器,每次生成一个进程时,我都会增加这个计数器。但是当我打印线程计数时,计数不会增加。所以我打电话给你多处理.active_子级()但这返回一个空列表。程序真的不产生线程或进程,还是只是报告它?代码如下:

^{pr2}$

解析函数:

def Parse(self):
    self.thread+=1
    self.lock.acquire()
    next = self.nxtLink.popleft()
    self.lock.release()
    results = parser(next[0],next[1])
    #print("In Parse")
    self.broken[next[0]] = results.broken
    for i in results.foundLinks:
        if(self.thread<=self.count+5):
            p = Process(target = self.request, args = (i,next[0]))
            p.start()
            p.join()
        else:
            while (self.thread>self.count+5):
               pass   #Waits for the thread count to drop before spawning a new thread. 
            p = Process(target = self.request, args = (i,next[0]))
            p.start()
            p.join()
    self.lock.acquire()
    self.thread-=1
    self.lock.release()

最后,请求函数:

def request(self, requestURL, requestingPageURL):
    # print(requestURL)
    self.lock.acquire()
    self.thread+=1
    self.lock.release()
    try:
        before = list(self.prev)
        self.lock.acquire()
        self.prev.append(requestURL)
        self.lock.release()
        if(requestURL in before):
            #print(before)
            return
        nextRequest = req.urlopen(requestURL)
        self.lock.acquire()
        self.nxtLink.append((requestURL,nextRequest))
        self.lock.release()
    except err.URLError:
        self.lock.acquire()
        try:
            self.broken[requestingPageURL].append(requestURL)
        except KeyError:
            self.broken[requestingPageURL] = [requestURL]
        self.lock.release()
    finally:
        self.lock.acquire()
        self.thread-=1
        self.lock.release()

我真的被困在为什么它不是产卵过程,但程序作为一个整体运行良好,所以我有点困惑。在


Tags: self程序locktargetrelease进程parseprocess
1条回答
网友
1楼 · 发布于 2024-04-23 16:16:41

join()等待进程完成。当你有一个序列,比如:

p = Process(target=self.Parse)
p.start()
p.join()

父程序等待子程序完成,这样在检查时就没有活动的子程序。你最好只调用函数而不是生成子函数,因为你只是等待它们完成。像这样的代码通常会将流程对象放在一个列表中,执行其他工作,然后在工作完成后返回并连接它们。在

您可以添加一些调试代码来跟踪调用的内容,以验证子代码是否正在运行:

^{pr2}$

一般来说,在生成的进程中添加一些日志记录是一个好主意,这样就可以跟踪代码中的python异常。在

相关问题 更多 >