jsonslicer 0.1.4

jsonslicer-流json解析器

概述

jsonslicer执行流或迭代，拉取json 解析，这意味着它不会将整个json加载到内存中 能够解析非常大的json文件或流。这个 模块是用C编写的，使用yajl json解析库，因此它也相当快

jsonslicer接受json映射键或数组索引的路径，并且 提供迭代器接口，生成json数据匹配 给定路径作为完整的python对象。

示例

{"friends":[{"name":"John","age":31},{"name":"Ivan","age":26}],"colleagues":{"manager":{"name":"Jack","age":33},"subordinate":{"name":"Lucy","age":21}}}

fromjsonslicerimportJsonSlicer# Extract specific elements:withopen('people.json')asdata:ivans_age=next(JsonSlicer(data,('friends',1,'age')))# 26withopen('people.json')asdata:managers_name=next(JsonSlicer(data,('colleagues','manager','name')))# 'Jack'# Iterate over collection(s) by using wildcards in the path:withopen('people.json')asdata:forpersoninJsonSlicer(data,('friends',None)):print(person)# {'name': 'John', 'age': 31}# {'name': 'Ivan', 'age': 26}# Iteration over both arrays and dicts is possible, even at the same timewithopen('people.json')asdata:forpersoninJsonSlicer(data,(None,None)):print(person)# {'name': 'John', 'age': 31}# {'name': 'Ivan', 'age': 26}# {'name': 'Jack', 'age': 33}# {'name': 'Lucy', 'age': 21}# Map key of returned objects is available on demand...withopen('people.json')asdata:forposition,personinJsonSlicer(data,('colleagues',None),path_mode='map_keys'):print(position,person)# 'manager' {'name': 'Jack', 'age': 33}# 'subordinate' {'name': 'Lucy', 'age': 21}# ...as well as complete path informationwithopen('people.json')asdata:for*path,personinJsonSlicer(data,(None,None),path_mode='full'):print(path,person)# ('friends', 0) {'name': 'John', 'age': 31})# ('friends', 1) {'name': 'Ivan', 'age': 26})# ('colleagues', 'manager') {'name': 'Jack', 'age': 33})# ('colleagues', 'subordinate') {'name': 'Lucy', 'age': 21})# Extract all instances of deep nested fieldwithopen('people.json')asdata:age_sum=sum(JsonSlicer(data,(None,None,'age')))# 111

API

jsonslicer.JsonSlicer(
    file,
    path_prefix,
    read_size=1024,
    path_mode=None,
    yajl_allow_comments=False,
    yajl_dont_validate_strings=False,
    yajl_allow_trailing_garbage=False,
    yajl_allow_multiple_values=False,
    yajl_allow_partial_values=False,
    encoding=None,
    errors=None,
    binary=False,
)

构造迭代json解析器。它从文件（a.read（）-支持类文件对象包含json文档）读取json数据。

file是a.read（）-支持 对象 包含json文档。支持二进制和文本文件， 但是二进制的是首选的，因为解析器必须在 无论如何，在内部使用二进制数据，并且使用文本输入将需要 不必要的编码/解码，产生约3%的性能开销。 注意，jsonslicer支持unicode和二进制输出，而不管 输入格式的。

path_prefix是一个iterable（通常是一个列表或元组），指定 解析器应该提取的对象的路径或路径模式 来自JSON。

例如，在上面的示例中，路径（'friends'，0，'name'） WI从根元素降序将产生字符串 按键进入dictionary元素，然后进入数组 按索引元素0，然后按键进入字典元素 "名称"。注意，整数只匹配数组索引和字符串 只匹配字典键。

通过将none指定为 某些路径位置的占位符。例如，（none，none，'name'）将产生上述示例中的所有四个名称，因为 它匹配第二个嵌套级别上"name"键下的项 任何数组或映射结构。

无论 输入和输出编码。自动转换 内部使用的格式。

read_size是解析器一次读取的块大小。

path_mode是一个字符串，指定解析器应如何 返回路径信息和对象。以下模式是 支持：

• 'ignore'（默认值）-不输出任何路径信息，只输出 对象原样（'friends'）。

  {'name':'John','age':31}{'name':'Ivan','age':26}{'name':'Jack','age':33}{'name':'Lucy','age':21}

  此模式的常用模式是

  forobjectinJsonSlicer(...)

• "映射键"-遍历数组和元组时按原样输出对象 在遍历地图时由地图键和对象组成。

  {'name':'John','age':31}{'name':'Ivan','age':26}('manager',{'name':'Jack','age':33})('subordinate',{'name':'Lucy','age':21})

  这种格式可能看起来不一致（因此它不是默认的）。 但是在实践中，只有一个类型的集合在 时间和这种类型是已知的，因此这种格式可能是最有用的 在大多数情况下，您需要字典键。

  此模式的常用模式是

  forobjectinJsonSlicer(...)# when iterating arraysforkeyobjectinJsonSlicer(...)# when iterating maps

• "完整路径"-输出元组由所有路径组件组成 （映射键和数组索引）和作为最后一个元素的对象。

  ('friends',0,{'name':'John','age':31})('friends',1,{'name':'Ivan','age':26})('colleagues','manager',{'name':'Jack','age':33})('colleagues','subordinate',{'name':'Lucy','age':21})

  此模式的常用模式是

  for*path,objectinJsonSlicer(...)

yajl_allow_comments启用相应的yajl标志，即 记录如下：