aiscalator 0.1.14

主要功能

aiscalator是一个工具箱，可以帮助您的团队精简 从创新到产品化的过程：

• Jupyter工作台

  • 探索数据和原型解决方案

• Docker包装工具

  • 共享代码，部署可复制的环境

• 气流机械

  • 安排任务，改进产品

• 数据科学和数据工程最佳实践

安装

测试是否安装了必备软件：

docker --version
docker-compose --version
pip --version

安装自动计算器工具：

git clone https://github.com/Aiscalate/aiscalator.git
cd aiscalator/
make install

太好了，我们现在可以用升降器了！

以下安装命令是完全可选的，因为它们处理 准备Docker图片。如果你现在选择不做，他们 将在以后需要时进行构建。

但是，由于生成Docker图像需要一定的时间 下载、安装软件包，有时甚至编译它们 安装步骤可以立即启动。因此，你 应该可以去享受一个美好的咖啡休息！

你可能想用aiscalator定制你的环境，这个 会问你几个问题：

aiscalator setup

构建Docker映像以运行Jupyter环境：

aiscalator jupyter setup

生成Docker图像以运行气流：

# aiscalator airflow setup <path-to-workspace-folder>
# for example,
aiscalator airflow setup $PWD

开始工作

处理jupyter的aiscalator命令用airlow术语定义任务； 在我们的例子中，它们都被包装在一个Docker容器中。我们还提到 它们是台阶。

而aiscalator关于气流的命令是用来编写、调度和监视的 有向无环图。它们定义了工作流是如何由多个 步骤、它们的依赖关系和执行时间或触发器。

朱庇特

创建一个新的jupyter笔记本，定义相应的aiscalator步骤：

# aiscalator jupyter new <path-to-store-new-files>
# For example,
aiscalator jupyter new project
# (CTRL + c to kill when done)

或者您可以编辑现有的AISCALATER步骤：

# aiscalator jupyter edit <aiscalator step>
# For example, if you cloned the git repository:
aiscalator jupyter edit resources/example/example.conf
# (CTRL + c to kill when done)

在没有图形用户界面的情况下运行步骤：

# aiscalator jupyter run <aiscalator task>
# For example, if you cloned the git repository:
aiscalator jupyter run resources/example/example.conf

气流

启动气流服务：

aiscalator airflow start

创建新的aiscalator dag，定义气流作业：

# aiscalator airflow new <path-to-store-new-files>
# For example,
aiscalator airflow new project
# (CTRL + c to kill when done)

或者您可以编辑现有的AISCAR DAG：

# aiscalator airflow edit <aiscalator DAG>
# For example, if you cloned the git repository:
aiscalator airflow edit resources/example/example.conf
# (CTRL + c to kill when done)

将aiscalator dag计划到本地气流dags文件夹中：

# aiscalator airflow push <aiscalator DAG>
# For example, if you cloned the git repository:
aiscalator airflow push resources/example/example.conf

停止气流服务：

aiscalator airflow stop

0.1.0（2018-11-07）

• pypi上的第一个alpha版本。

0.1.11（2019-04-26）

• Added docker_image.docker_extra_options list feature

0.1.13（2019-06-23）

• Handle errors in Jupytext conversions
• aiscalator run subcommand exit code propagated to cli
• Concurrent aiscalator run commands is possible