刮刀刮削微框架
scraptor的Python项目详细描述
scraptor是一个自命不凡的-自命不凡的，因为它甚至不能完成其目标的一半功能（然而）-scraptor框架想要扩展和增长。scraptor是一个儿童霸王龙刮刀，仍在学习很多。也许有一天，scraptor会实现他的目标。
syntax
==
scraptor将数据定义为字段集。为了指定一个字段，可以使用decorator@field并指定一个回调函数，该函数在保存结果之前处理结果。一个字段可以包含多个参数。定义字段的语法是：
`` python
@field（css_selector，name，attr）
def callback（field_value）：
“attr”是可选的
````
以下字段从链接
```python
@field（'a'，name=“link”，attr='ref'）
def clean（link）：
return link.replace（“http://”，”）.replace（“https://”，”）
````
如果输入attr，该字段返回元素的文本值
``python
@field（'p'，name='paragraph'）
def-censor（text）：
replacement\u dictionary=[（“操”，“好”），（“屎”，“好”）]
replacement\u dictionary中的单词：
text.replace（word[0]，word[1]）
return text
````
scrape和定义容器节点的css选择器（nodeoftype）。如果写入nodeoftype，容器节点就是整个文档。
``python
run（url=“https://twitter.com/i/moments”，nodeoftype=“.momentcapsulesummary”）
```
example
==
下面的示例提取图像的url和twitters moments的标题。它保存为示例链接。py
``python
来自scraptor import*
@field（“.momentcapsuledetails title”，name=“title”）
def y（x）：return x
@field（“.momentmediaatem entity--image”，name=“imagesurl”，attr=“src”）
def y（x）：return x
run（url=“https://twitter.com/i/moments”，nodeoftype=“.momentcapsulesummary”）
'title'：u'lebron&steph继续nba统治'}
{imagesurl'：u'https://pbs.twimg.com/media/cuhyzbru8aalaot.png:large'，'title'：u'when slack gons down'}
{imagesurl'：u'https://pbs.twimg.com/media/cudo5giucae8omt.jpg:large'，“标题”：u“只有黑人才知道名人”}
{imagesurl:u“https://pbs.twimg.com/media/cughf-twsaq5fts.jpg:large”，“标题”：u“新王座游戏海报挑逗乔恩·斯诺的命运”}
{imagesurl:u“https://o.twimg.com/2/proxy.jpg？DZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ-r4rilsu'，“标题”：u“令人垂涎欲滴的感恩节酱”}
{'imagesurl'：u'https://o.twimg.com/2/proxy.jpg？在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性vfp0q1ild8ead3qzo'，“title”：你“给我们看你的胖宠物”}
{imagesurl'：你“https://pbs.twimg.com/tweet_video_thumb/cuf9-rsw4aa3dwc.png”，“title”：你“祝你有一天医生快乐，whovians'}
````
todo
==
实现以下功能：
类描述
=----
类存储后端保存。目前的目标是Firebase和csv、xml、html和json类型的文件。
存储使用的类格式
用于查找分页dom元素的决策树，或使用操作继续进行抓取。
类指令可能是cli？
类图像存储仅针对imgurl
syntax
==
scraptor将数据定义为字段集。为了指定一个字段，可以使用decorator@field并指定一个回调函数，该函数在保存结果之前处理结果。一个字段可以包含多个参数。定义字段的语法是：
`` python
@field（css_selector，name，attr）
def callback（field_value）：
“attr”是可选的
````
以下字段从链接
```python
@field（'a'，name=“link”，attr='ref'）
def clean（link）：
return link.replace（“http://”，”）.replace（“https://”，”）
````
如果输入attr，该字段返回元素的文本值
``python
@field（'p'，name='paragraph'）
def-censor（text）：
replacement\u dictionary=[（“操”，“好”），（“屎”，“好”）]
replacement\u dictionary中的单词：
text.replace（word[0]，word[1]）
return text
````
scrape和定义容器节点的css选择器（nodeoftype）。如果写入nodeoftype，容器节点就是整个文档。
``python
run（url=“https://twitter.com/i/moments”，nodeoftype=“.momentcapsulesummary”）
```
example
==
下面的示例提取图像的url和twitters moments的标题。它保存为示例链接。py
``python
来自scraptor import*
@field（“.momentcapsuledetails title”，name=“title”）
def y（x）：return x
@field（“.momentmediaatem entity--image”，name=“imagesurl”，attr=“src”）
def y（x）：return x
run（url=“https://twitter.com/i/moments”，nodeoftype=“.momentcapsulesummary”）
'title'：u'lebron&steph继续nba统治'}
{imagesurl'：u'https://pbs.twimg.com/media/cuhyzbru8aalaot.png:large'，'title'：u'when slack gons down'}
{imagesurl'：u'https://pbs.twimg.com/media/cudo5giucae8omt.jpg:large'，“标题”：u“只有黑人才知道名人”}
{imagesurl:u“https://pbs.twimg.com/media/cughf-twsaq5fts.jpg:large”，“标题”：u“新王座游戏海报挑逗乔恩·斯诺的命运”}
{imagesurl:u“https://o.twimg.com/2/proxy.jpg？DZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ-r4rilsu'，“标题”：u“令人垂涎欲滴的感恩节酱”}
{'imagesurl'：u'https://o.twimg.com/2/proxy.jpg？在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性很强；在中国，人们对生活的依赖性vfp0q1ild8ead3qzo'，“title”：你“给我们看你的胖宠物”}
{imagesurl'：你“https://pbs.twimg.com/tweet_video_thumb/cuf9-rsw4aa3dwc.png”，“title”：你“祝你有一天医生快乐，whovians'}
````
todo
==
实现以下功能：
类描述
=----
类存储后端保存。目前的目标是Firebase和csv、xml、html和json类型的文件。
存储使用的类格式
用于查找分页dom元素的决策树，或使用操作继续进行抓取。
类指令可能是cli？
类图像存储仅针对imgurl
欢迎加入QQ群-->： 979659372
