使用Python查找亚马逊类别

Question

我想获取amazon的分类信息，我打算通过爬虫的方式来实现，而不是使用API。我已经爬取了http://www.amazon.com，并获取了“按部门浏览”下的所有分类和子分类。我创建了一个网络服务来完成这个任务，代码在这里：

@route('/hello')
def hello():
    text=list();
    link=list();
    req = urllib2.Request("http://www.amazon.com",
                  headers={"Content-Type": "application/json"})
    html=urllib2.urlopen(req).read()
    soup = BeautifulSoup(html)
    last_page = soup.find('div', id="nav_subcats")
    for elm in last_page.findAll('a'):
        texts = elm.text
        links = elm.get('href')
        links = links.partition("&node=")[2]
        text.append(texts)
        link.append(links)
    alltext=list();
    for i,j in zip(text,link):
        alltext.append({"name":i,"id":j})
    response.content_type = 'application/json'
    print(alltext)
    return dumps(alltext)
run(host='localhost', port=8080, debug=True)

我将分类名称和分类ID作为一个JSON对象传递给我的一个成员，然后再把它传递给API，以获取每个分类的产品列表。

这段代码是用JAVA写的，代码如下：

for (int pageno = 1; pageno <= 10; pageno++) {
            String page = String.valueOf(pageno);
            String category_string = selectedOption.get("category_name").toString();
            String category_id = selectedOption.get("category_id").toString();
            final Map<String, String> params = new HashMap<String, String>(3);
            params.put(AmazonClient.Op.PARAM_OPERATION, "ItemSearch");
            params.put("SearchIndex", category_string);
            params.put("BrowseNodeId", category_id);
            params.put("Keywords", category_string);
            params.put("ItemPage", page);
            System.out.println(client.documentToString(client.getXml(params)));
            DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
            Document doc = null;
            DocumentBuilder db = dbf.newDocumentBuilder();
            InputStream is = client.getInputStream(params);

            doc = db.parse(is);
            NodeList itemList = doc.getElementsByTagName("Items");

但是当我把分类ID作为BrowseNodeId，分类名称作为关键词和搜索索引传递时，出现了这个错误：

 For example
     Search Index and Keyword -Amazon Instant Video
     BrowseNodeId-2858778011

The value you specified for SearchIndex is invalid. Valid values include [ 'All','Apparel',...................................reless','WirelessAccessories' ].

我想知道从哪个amazon的网址可以获取到所有的分类及其浏览节点。

谢谢！

网络服务数据抓取爬虫技术 json对象产品列表分类信息亚马逊分类 BrowseNodeId

使用Python查找亚马逊类别

1 个回答

撰写回答