Operation-Pluto 0.1.1

可用数据

当前连接的数据源：

管道组织

• 抓取网站，回填过去的数据，并构建文件目录。 全部按代码执行。
• 数据源中的一个表对应于一个目标文件。
• 管道任务是有状态的尽可能少地覆盖源文件

先决条件

• Python 3.5
• Luigi 2.7

开始

安装Python3.5并克隆此存储库：

# Clone this repository
$ git clone https://github.com/hydra-lab/operation-pluto

安装Python依赖项：

# Installing with Conda may not work
$ pip install -r requirements.txt

设置Luigi配置文件：

# Rename luigi.cfg.sample to luigi.cfg
$ mv luigi.cfg.sample luigi.cfg

[proxies]
https = https://username:password@hostname:port/

测试安装应提取新数据并将其解析为 文件夹test/data：

$ python -m luigi --module main RunMock --local-scheduler
$ ls test/data

高级作业编排在main.py中完成。例如RunAll() 是初始化整个data目录和触发器的包装类 所有处理任务。在生产中，任务应该在luigi上运行 服务器因为luigi守护进程不会在windows上运行，所以只需运行：

# Run Luigi server on http://localhost:8082
$ luigid
# Run task on Luigi server
$ python -m luigi --module main RunAll

计划管道定期在任务计划程序或cron中运行。设置 run.sh在Windows上：

# Script on Windows
start luigid
python -m luigi --module main RunAll
cmd "/c taskkill /IM "luigid.exe" /T /F"

许可证

本项目根据GNU Affero通用公共许可证获得许可， 版本3.0请参阅许可证以获取完整的许可证文本。