数据包管理命令。
infdata的Python项目详细描述
#无限数据
这是一个简单的包,有助于读取无限数据格式并以这种格式获取数据。
````
$inf-pull example.com/posts==crawler-1.0.0
````
>从` example.com/posts`` crawler-1.0.0.0`版本的` crawler-1.0.0`发布数据
````````
$int init初始化文件夹.inf//
$inf login ``````````
$inf pull example.inf/post==crawler-1.com/posts``和` crawler-1.0.0.0.0.0`版本的`.com/posts网站#搜索数据集版本
$inf push file.json;将无穷大json或json-l数据上载到指定的无限大服务器
```
**注意:*标记`['example.com/posts','crawler-1.0.0']`一起定义一个唯一的`[特定于源,crawler-specific]`模式。
header line, which specifies schemas (`[S]`) and types (`[T]`) for its records.
Example:
```
[
{'': [[S],[T], 'x': [[S],[T]], 'y': [{'': [[S],[T]], 'z': [[S],[T]]}]},
{'x': '1,330.98', 'y': [{'z': 1}, {'u': 2}]},
{'x': '2,011.19', 'y': [{'z': 4}, {'u': 3}]},
]
```
The schemas, 空字符串键''''的类型规范指定记录本身的模式和类型(每个级别都需要用大括号分隔),而其余键指定可通过键访问的数据的模式和类型。
如果要指定,则必须将“x”强制转换为“float”,也就是说[海拔](https://www.wikidata.org/wiki/q2633778/wiki/q2633778),我们可以做到:
````
[
>>>>{[],'x':{'['str'],['http://www.wikidata.org/wiki/q2633778']]]},
{{'x':'1330.98,'y':[{'z''z''z':1},{'u':2}},
{'x':'2011.19,'y':[{'z''z':4{'4'4{'z''''>>>{'4},
{},{u':3}},
]
```
规则中,可以包括lambda表达式,也可以包括lambda表达式后的最终类型:
``````
[
[
{{{:[['float','lambda x:x.x.replace(“,”,“,”),['http://www.wikidata.org/wiki/q2633778']]}}},
{'x'''1330.98','y':[{'z''y':1},{'u''u':2}},
{'x'>{'x''x'x''2011.19''2011.19','y''y':['z''z''z'['x''x'':4},{'u':3},
]
```
最终的数据变成:
````
normalize(
[
{'x'x':[['float',“lambda x:x.x.replace(',',','')”,['http://www.wiki data.org/wiki/q2633778']]},
{'x':'1330.98','y':[{'z'z':1},{'u':2}},
{'x':'2011.19','y':[[['y''y'y':['2011.19'
>{'z':4},{'u':3},
]
`````
[
{'q2633778:1330.98,'y':[{'z''z':1},{'u':2}},
{{'q2633778:2011.19,'y':[{'z'z':4},{'u':3}},
>
`````
>
有时我们希望在csv中包含schema和type(`s`,`t`)。在这种情况下,我们使用` ``来分隔它们:
````
www.wikidata.org/wiki/q82799,姓氏str,lambda x:x[:10]https://www.wikidata.org/wiki/q101352,
```
这是一个简单的包,有助于读取无限数据格式并以这种格式获取数据。
````
$inf-pull example.com/posts==crawler-1.0.0
````
>从` example.com/posts`` crawler-1.0.0.0`版本的` crawler-1.0.0`发布数据
````````
$int init初始化文件夹.inf//
$inf login ``````````
$inf pull example.inf/post==crawler-1.com/posts``和` crawler-1.0.0.0.0.0`版本的`.com/posts网站#搜索数据集版本
$inf push file.json;将无穷大json或json-l数据上载到指定的无限大服务器
```
**注意:*标记`['example.com/posts','crawler-1.0.0']`一起定义一个唯一的`[特定于源,crawler-specific]`模式。
header line, which specifies schemas (`[S]`) and types (`[T]`) for its records.
Example:
```
[
{'': [[S],[T], 'x': [[S],[T]], 'y': [{'': [[S],[T]], 'z': [[S],[T]]}]},
{'x': '1,330.98', 'y': [{'z': 1}, {'u': 2}]},
{'x': '2,011.19', 'y': [{'z': 4}, {'u': 3}]},
]
```
The schemas, 空字符串键''''的类型规范指定记录本身的模式和类型(每个级别都需要用大括号分隔),而其余键指定可通过键访问的数据的模式和类型。
如果要指定,则必须将“x”强制转换为“float”,也就是说[海拔](https://www.wikidata.org/wiki/q2633778/wiki/q2633778),我们可以做到:
````
[
>>>>{[],'x':{'['str'],['http://www.wikidata.org/wiki/q2633778']]]},
{{'x':'1330.98,'y':[{'z''z''z':1},{'u':2}},
{'x':'2011.19,'y':[{'z''z':4{'4'4{'z''''>>>{'4},
{},{u':3}},
]
```
规则中,可以包括lambda表达式,也可以包括lambda表达式后的最终类型:
``````
[
[
{{{:[['float','lambda x:x.x.replace(“,”,“,”),['http://www.wikidata.org/wiki/q2633778']]}}},
{'x'''1330.98','y':[{'z''y':1},{'u''u':2}},
{'x'>{'x''x'x''2011.19''2011.19','y''y':['z''z''z'['x''x'':4},{'u':3},
]
```
最终的数据变成:
````
normalize(
[
{'x'x':[['float',“lambda x:x.x.replace(',',','')”,['http://www.wiki data.org/wiki/q2633778']]},
{'x':'1330.98','y':[{'z'z':1},{'u':2}},
{'x':'2011.19','y':[[['y''y'y':['2011.19'
>{'z':4},{'u':3},
]
`````
[
{'q2633778:1330.98,'y':[{'z''z':1},{'u':2}},
{{'q2633778:2011.19,'y':[{'z'z':4},{'u':3}},
>
`````
>
有时我们希望在csv中包含schema和type(`s`,`t`)。在这种情况下,我们使用` ``来分隔它们:
````
www.wikidata.org/wiki/q82799,姓氏str,lambda x:x[:10]https://www.wikidata.org/wiki/q101352,
```