从各种网络资源中获取信息
webrecon的Python项目详细描述
网络侦察
Source Code 这个软件包的目的是帮助用户在Interwebz上搜索几乎所有的东西(合法的)。您可以使用这个包,它包装了其他云包和sdk,以便于使用和集成。
本项目的目标
- 创建可以处理搜索的单个源代码存储库
- 允许其他项目在集成和代码更改最少的情况下使用搜索
- 无服务器框架,如aws lambda、google云功能和azure自动化。如果平台允许python具有依赖项,
webrecon
应该能够在那里运行。
- 无服务器框架,如aws lambda、google云功能和azure自动化。如果平台允许python具有依赖项,
- 一般来说,容器集群如ecs、eks、kubernetes等,基本上都是docker。
使用
使用google cse进行搜索
要使用google自定义搜索引擎,您需要使用gcse.search()
函数。您可以通过import
ing webrecon.gcse
将库包含在源代码中。有关参数等的最新注释,请参见docstring。
您可以发送python的gcse api提供的任何参数,还可以发送更多的参数。
从字母表googlez中更新的参数列表可以找到here和当前支持的从webrecon.gsce.search()
搜索的参数列表
q
<;string>;:此参数是实际的搜索词。使用Google search operators会有帮助。filters
<;[string]>;:发送搜索结果中可能找到的键列表,以便可以在实际的最终结果集中筛选处理的结果。key
<;string>;:google的开发人员密钥。您可以在GCSE控制台中找到它(手动登录浏览器,amigoritos)。cx
<;string>;:gcse id。与key
参数相同。kwargs
<;keyword args>;:可以将任意数量的参数作为键值对传递到参数列表的末尾。这些参数将被尽职地传递给实际的google自定义搜索方法。
示例
from webrecon import gcse
...
res = gcse.search('intext:HUGO BOSS Genesis 2 Virgin Wool Dress Pants',
'title',
'link',
num=3,
exactTerm='Genesis 2')
print(res)
[
{
'title': 'Hugo Boss Pants',
'link': 'https://www.macys.com/shop/b/hugo-boss-pants?id=78110'
},
{
'title': 'HUGO BOSS 100% Wool Pants for Men for sale | eBay',
'link': 'https://www.ebay.com/b/HUGO-BOSS-100-Wool-Pants-for-Men/57989/bn_4243898'
},
{
'title': "HUGO BOSS | Trousers for Men | Elegant and Casual Men's Trousers",
'link': 'https://www.hugoboss.com/us/men-pants/'
}
]