如何使用特殊字符刮取数据？

Question

我正在使用python框架scrapy来刮取数据，下面是我的spider的代码：

def parse(self, response):
    hxs = HtmlXPathSelector(response)
    sites = hxs.select('//h1')
    links = hxs.select('//div[@class="pp-title"]')
    #sites = hxs.select('//div[@id="yt-lockup-content"] ')

    items = []
    for site in links:
        item = DmozItem()
        item['title'] = site.select('a/h1/text()').extract()
        item['link'] = site.select('a/@href').extract()

        items.append(item)

    return items

我用这个spider在items.json中收集数据，我用命令scrapy crawl dmoz -o items.json -t json运行spider。数据以不同的格式存储

[[{"link": ["http://www.ponudadana.hr/Planinarski-dom-Kalnik-2-dana-s-doruckom-za-dvoje-za-149kn-umjesto-300kn-7482_1"], "title": ["Planinarski dom Kalnik - 2 dana s doru\u010dkom za dvoje za 149kn umjesto 300kn!"]},

问题是像č,ž,š,đ,ž这样的特殊字符被存储为\u010或类似的字符，例如，请参见上面的单词doru\u010dkom，它应该是doručkom。有人能帮我吗，我应该使用一些编码格式吗

Answer 1

无论是JSON还是Python unicode字符串文本，\u010d表示č。即使它在JSON中是这样表示的，当您解码它时，它将显示为一个正确的字母č

>>> import json
>>> obj = json.loads("""{"link": ["http://www.ponudadana.hr/Planinarski-dom-Kalnik-2-dana-s-doruckom-za-dvoje-za-149kn-umjesto-300kn-7482_1"], "title": ["Planinarski dom Kalnik - 2 dana s doru\u010dkom za dvoje za 149kn umjesto 300kn!"]}""")
>>> obj['title']
[u'Planinarski dom Kalnik - 2 dana s doru\u010dkom za dvoje za 149kn umjesto 300kn!']
>>> print obj['title'][0]
Planinarski dom Kalnik - 2 dana s doručkom za dvoje za 149kn umjesto 300kn!

Python字符串也有同样的应用程序

>>> u"česnakas"
u'\u010desnakas'
>>> print u"česnakas"
česnakas