serpextract-meiqia 2019.1.15.0

命令行

命令行用法，返回由 逗号并用引号括起来：

$ serpextract "http://www.google.ca/url?sa=t&rct=j&q=ars%20technica"
"Google","ars technica"

您还可以打印出当前在中可用的所有SearchEngineParser的列表 本地缓存通过：

$ serpextract -l

Python

fromserpextractimportget_parser,extract,is_serp,get_all_query_paramsnon_serp_url='http://arstechnica.com/'serp_url=('http://www.google.ca/url?sa=t&rct=j&q=ars%20technica&source=web&cd=1&ved=0CCsQFjAA''&url=http%3A%2F%2Farstechnica.com%2F&ei=pf7RUYvhO4LdyAHf9oGAAw&usg=AFQjCNHA7qjcMXh''j-UX9EqSy26wZNlL9LQ&bvm=bv.48572450,d.aWc')get_all_query_params()# ['key', 'text', 'search_for', 'searchTerm', 'qrs', 'keyword', ...]is_serp(serp_url)# Trueis_serp(non_serp_url)# Falseget_parser(serp_url)# SearchEngineParser(engine_name='Google', keyword_extractor=['q'], link_macro='search?q={k}', charsets=['utf-8'])get_parser(non_serp_url)# Noneextract(serp_url)# ExtractResult(engine_name='Google', keyword=u'ars technica', parser=SearchEngineParser(...))extract(non_serp_url)# None

naive检测

piwik和serpextract使用的搜索引擎解析器的列表远非如此 详尽的。如果希望serpextract尝试猜测给定的引用url是否是serp， 您可以指定use_naive_method=True到serpextract.is_serp或serpextract.extract。 默认情况下，naive方法被禁用。

naive搜索引擎检测尝试在^{tt8}中找到r'\.?search\.'的实例$ 一个网址。如果找到，serpextract将尝试在 按顺序查找以下参数的URL:

_naive_params = ('q', 'query', 'k', 'keyword', 'term',)

如果找到其中一个，则提取关键字并将ExtractResult构造为：

ExtractResult(domain, keyword, None)  # No parser, but engine name and keyword

# Not a recognized search engine by serpextractserp_url='http://search.piccshare.com/search.php?cat=web&channel=main&hl=en&q=test'is_serp(serp_url)# Falseextract(serp_url)# Noneis_serp(serp_url,use_naive_method=True)# Trueextract(serp_url,use_naive_method=True)# ExtractResult(engine_name=u'piccshare', keyword=u'test', parser=None)

自定义分析器

如果您有一个自定义搜索引擎，您希望跟踪当前没有的 受piwik/serpextract支持，您可以创建自己的 serpextract.SearchEngineParser并将其显式传递给 serpextract.is_serp或serpextract.extract或添加 到分析器的内部列表。

# Create a parser for PiccSharefromserpextractimportSearchEngineParser,is_serp,extractmy_parser=SearchEngineParser(u'PiccShare',# Engine nameu'q',# Keyword extractoru'/search.php?q={k}',# Link macrou'utf-8')# Charsetserp_url='http://search.piccshare.com/search.php?cat=web&channel=main&hl=en&q=test'is_serp(serp_url)# Falseextract(serp_url)# Noneis_serp(serp_url,parser=my_parser)# Trueextract(serp_url,parser=my_parser)# ExtractResult(engine_name=u'PiccShare', keyword=u'test', parser=SearchEngineParser(engine_name=u'PiccShare', keyword_extractor=[u'q'], link_macro=u'/search.php?q={k}', charsets=[u'utf-8']))

您还可以将自定义解析器永久添加到 serpextract维护，这样就不必再显式地传递解析器 对象到serpextract.is_serp或serpextract.extract。

fromserpextractimportSearchEngineParser,add_custom_parser,is_serp,extractmy_parser=SearchEngineParser(u'PiccShare',# Engine nameu'q',# Keyword extractoru'/search.php?q={k}',# Link macrou'utf-8')# Charsetadd_custom_parser(u'search.piccshare.com',my_parser)serp_url='http://search.piccshare.com/search.php?cat=web&channel=main&hl=en&q=test'is_serp(serp_url)# Trueextract(serp_url)# ExtractResult(engine_name=u'PiccShare', keyword=u'test', parser=SearchEngineParser(engine_name=u'PiccShare', keyword_extractor=[u'q'], link_macro=u'/search.php?q={k}', charsets=[u'utf-8']))