我写了一个脚本,可以从多个URL中提取有用的信息,在BeautifulSoup的帮助下添加到两个数组(id和names)中,然后将这些数组的值添加到一个MySQL表中,其中ids[0]和names[0]是表的第0行,依此类推。。。你知道吗
然而,我的代码非常难看,我相信有一种方法比我的更好。你知道吗
谁能给我一个提示吗?我特别需要一个关于如何通过两个数组进行迭代的输入。。。你知道吗
提前谢谢!你知道吗
#!/usr/bin/env python
from bs4 import BeautifulSoup
from urllib import urlopen
import MySQLdb
#MySQL Connection
mysql_opts = {
'host': "localhost",
'user': "********",
'pass': "********",
'db': "somedb"
}
mysql = MySQLdb.connect(mysql_opts['host'], mysql_opts['user'], mysql_opts['pass'], mysql_opts['db'])
#Add Data SQL Query
data_query = ("INSERT INTO tablename "
"(id, name) "
"VALUES (%s, %s)")
#Urls to scrape
url1 = 'http://somepage.com'
url2 = 'http://someotherpage.com'
url3 = 'http://athirdpage.com'
#URL Array
urls = (url1,url2,url3)
#Url loop
for url in urls:
soupPage = urlopen(url)
soup = BeautifulSoup (soupPage)
ids = soup.find_all('a', style="display:block")
names = soup.find_all('a', style="display:block")
i = 0
print ids.count
while (i < len(ids)):
try:
id = ids[i]
vid = id['href'].split('=')
vid = vid[1]
except IndexError:
id = "leer"
try:
name = names[i]
name = name.contents[0]
name = name.encode('iso-8859-1')
except IndexError:
name = ""
data_content = (vid, name)
cursor.execute(data_query, data_content)
emp_no = cursor.lastrowid
i = i + 1
我的评论似乎就是答案。刚刚测试过:
有关更常见的形式,请参见:How can I iterate through two lists in parallel?
抱歉,重复了。 如果有人能给答案添点什么,请随便。你知道吗
相关问题 更多 >
编程相关推荐