在Python中解析响应
当我在主机上发送一些数据时:
r = urllib2.Request(url, data = data, headers = headers)
page = urllib2.urlopen(r)
soup = BeautifulSoup(page.read(), fromEncoding="cp-1251")
print page.read()
我得到了这样的结果:
[{"command":"settings","settings":{"basePath":"\/","ajaxPageState":{"theme":"spsr","theme_token":"kRHUhchUVpxAMYL8Y8IoyYIcX0cPrUstziAi8gSmMYk","css":[]},"ajax":{"edit-submit":{"callback":"spsr_calculator_form_ajax","wrapper":"calculator_form","method":"replaceWith","event":"mousedown","keypress":true,"url":"\/ru\/system\/ajax","submit":{"_triggering_element_name":"submit"}}}},"merge":true},{"command":"insert","method":null,"selector":null,"data":"\u003cdiv id=\"calculator_form\"\u003e\u003cform action=\"\/ru\/service\/calculator\" method=\"post\" id=\"spsr-calculator-form\" accept-charset=\"UTF-8\"\u003e\u003cdiv\u003e\u003cinput id=\"edit-from-ship-region-id\" type=\"hidden\" name=\"from_ship_region_id\" value=\"\" \/\u003e\n\u003cinput type=\"hidden\" name=\"form_build_id\" value=\"form-0RK_WFli4b2kUDTxpoqsGPp14B_0yf6Fz9x7UK-T3w8\" \/\u003e\n\u003cinput type=\"hidden\" name=\"form_id\" value=\"spsr_calculator_form\" \/\u003e\n\u003c\/div\u003e\n\u003cdiv class=\"bg_p\"\u003e \n\u0421\u0435\u0439\u0447\u0430\u0441 \u0412\u044b... bla bla bla
但我想要的是这样的结果:
<html><h1>bla bla bla</h1></html>
我该怎么做呢?
1 个回答
3
你得到的答案很可能是用JSON格式编码的。如果真是这样的话,使用BeautifulSoup就没什么意义了,因为它是用来解析HTML或XML的。如果你有JSON数据,就需要用JSON解析器。调用page.read()
两次也没有意义,因为第一次调用后,它不会再返回任何有用的东西。
我们可以重新写一下你的请求部分:
r = urllib2.Request(url, data = data, headers = headers)
page = urllib2.urlopen(r)
data = page.read()
现在,我们需要用JSON解析器,而不是HTML解析器。这可以通过json
库来实现(在Python 2.6及以上版本中都可以用):
import json
decoded_data = json.loads(data)
接下来,只需要找到你想提取的模型部分。考虑到你的例子,如果你想打印出包含“blabla”的那一部分,你可以这样写:
result = unicode(decoded_data[1][u'data'])
为了调试,可以尝试:
print result