funnelweb 1.1.1

爬网-要导入的HTML

FunnelWeb从实时网站、磁盘上的文件夹或文件夹导入HTML 在带有HTML的磁盘上，该HTML是从实时网站检索的，并且可能仍然具有绝对的 指向该网站的链接。

漏斗Web只能导入它可以爬网的内容，即链接自的内容 HTML。如果您的站点包含javascript链接或受密码保护的内容，则 你可能需要执行一些额外的步骤才能让漏斗网爬行 内容：

要对实时网站进行爬网，请为爬网程序提供一个基本的http url以开始爬网。 此URL必须是站点中所有其他URL的起始URL。

例如

$> easy_install funnelweb

7

将爬网程序限制为前50页，然后转换内容 进入一个本地plone站点。

你爬行的站点将在本地缓存，因此如果你再次运行漏斗网，它将运行得更快。如果你愿意 要禁用本地缓存，请使用

$> easy_install funnelweb

8

如果要重置缓存，刷新其数据，请将爬网程序缓存设置为无

$> easy_install funnelweb

9

默认情况下，缓存存储在var/funnelwebcache/{siteurl}/中。您可以使用：

$> buildout

0

您还可以通过使用 文件：// 样式的url来抓取包含相对链接的html本地目录。

$> buildout

1

或者如果本地目录包含从网站保存的HTML，并且其中可能包含绝对URL， 您可以将此设置为缓存。爬虫程序将始终首先查找缓存

$> buildout

2

以下内容不会爬网任何大于4MB的内容

$> buildout

3

按正则表达式跳过爬网链接

$> buildout

4

如果funnelweb在解析某些页面的html时遇到问题，可以进行预处理 分析之前的HTML。例如

$> buildout

5

如果您想跳过处理某些mimetype类型的链接，可以使用 下降：条件 选项。此tales表达式确定将进一步处理的内容

$> buildout

6

模板

FunnelWeb有一个内置的聚类算法，它尝试从HTML模板中自动提取内容。 这是缓慢的，并不总是有效的。通常，您需要输入自己的模板提取规则。

如果要关闭自动模板

$> buildout

规则的形式是

$> buildout

例如

$> buildout

注意，对于单个模板，例如tempLate1，所有的xpath都需要匹配否则 将跳过该模板并尝试下一个模板。如果你愿意的话 因此，模板匹配不需要一个xpath，然后使用关键字 optional 或 optionaltext 而不是xpath之前的 文本 或 html 。

默认管道中有四个模板，分别是 template1 ， template2 ， template3 和 template4

当在单个模板中应用xpath时，它匹配的html将从页面中删除。 同一模板中的另一个规则与同一HTML片段不匹配。

如果内容部分对plone没有用处（例如，多余的文本、标题或描述），则可以有效地删除该html 从内容。

要帮助调试模板规则，可以设置调试模式

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

在templateauto上设置调试模式将为您提供有关其使用的规则的详细信息。

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

有关xpath的更多信息，请参见

• http://www.w3schools.com/xpath/default.asp
• http://blog.browsermob.com/2009/04/test-your-selenium-xpath-easy-with-firebug/

网站分析

为了提供一个看起来更干净的plone站点，有几个选项要分析 整个爬网网站并清理干净。默认情况下，这些功能处于关闭状态。

确定项是否为容器的默认页（它有许多链接 到该容器中的项目，即使不包含在该文件夹中），然后移动 在该文件夹中，使用

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

2

通过分析反向链接文本，您可以自动找到更好的页面标题

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

3

下面将查找仅由一个页面引用的项，并将它们移到 以该页作为默认视图的新文件夹。

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

4

或者，下面只移动图像附件，并将索引html用作新的 新创建文件夹的默认页的名称

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

5

下面将根据tales表达式整理url

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

6

如果您想在内容上传前移动内容，也可以使用urltidy步骤，例如

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

7

如果您想隐藏导航中的内容，可以使用 hideguess

< Buff行情> $>；bin/funnelweb–hideguess:condition=python:item['path']=='musthide'

上传到plone

上载通过远程XML-RPC调用进行，因此可以在任何地方对实时运行的站点进行上载。

设置网站的上载位置以供使用

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

8

目前只支持通过在url中设置用户名和密码进行基本身份验证。如果没有目标 设置后，网站将被爬网，但不会上载。

如果要更改上载内容的类型

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb

$> buildout init
$> bin/buildout

9

这将为项目类型设置一个新值。您可以设置此条件，例如

$> bin/funnelweb

0

或者对新类型使用更复杂的表达式

< Buff行情> $>；bin/funnelweb–changetype:value=python:item['''u path'].startswith（'/news'）和'newnewstype'或item[''u type]

默认情况下，funnelweb将基于原始的已爬网url自动创建plone别名，以便任何旧链接 将自动重定向到新清理的URL。您可以通过

$> bin/funnelweb

1

您可以通过设置以下内容来更改发布到哪个状态的项目

$> bin/funnelweb

2

漏斗网会在plone的导航中隐藏某些项目，如果该项目只链接过 从内容区域内。您可以通过

$> bin/funnelweb

3

你可以得到一个本地文件表示通过使用以下命令进行编程

$> bin/funnelweb

4

阅读文档

作为一个例子，下面的构建将创建一个漏斗web脚本 将常规sphinx文档转换为远程plone内容 在Plonehelpcenter中

$> bin/funnelweb

5

乔姆拉

按wordpress

德鲁巴 todo

其他

在此处添加您自己的示例

使用外部蓝图

如果您决定需要自定义管道，并且希望安装转换 使用尚未包含在漏斗网或Transmogrifier中的蓝图的步骤，可以包括 他们在漏斗网构建部分使用 鸡蛋选项

$> bin/funnelweb

9

但是，只有当蓝图包包含以下setuptools entrypoint时，这才有效 在其 设置中。py

[transmogrifier]
include = funnelweb.remote

[crawler]
url=http://collective-docs.readthedocs.org/en/latest/

0 < div > 注

一些更具变幻莫测性的蓝图假设它们是在一个巴龙内部运行的。 进程，如 plone.app.transmogrifier 中的进程（请参见 http://pypi.python.org/pypi/plone.app.transmogrifier ）。漏斗网 不在plone进程中运行，因此这些蓝图将不起作用。如果 如果你想把内容上传到plone中，你可以使用 transmogrify.ploneremote 提供替代实现 它将通过XML-RPC远程上传内容。 transmogrify.ploneremote 已经包含在漏斗网中 漏斗Web的默认管道使用什么。