luigi实用包装
luigi-dais的Python项目详细描述
#daisy
[luigi]的薄包装(https://github.com/spotify/luigi)用于实用程序。
=pd.dataframe({“a”:[1,2,3],“b”:[4,5,6]})
df
a b
0 1 4
1 2 5
2 3 6
target=daisy.csvTarget(“./output.csv”“/output.csv”
转储
target.dump(df
/>
加载
df2=target.load()
df2
a b
0 1 4
1 2 5
2 3 6
` daisy.formattedLocalTargetBase`也继承了“luigi.localtaget`
`
`因此,原始API也被启用。
task
`daisy.task`的输出继承了'luigi.task',并提供默认的'output`功能。
通过“ext”属性设置文件扩展名,
daisy自动用默认文件名配置相应的“formattedlocaltarget”。
=luigi.parameter()
def output(self):
return daisy.csvtarget(./data/taska/taska/taska(param1={}.csv.csv.format(self.param1))
```
;多输出
````python
class taska(daisy.task)多输出
````python
```````多输出
```````````````````````class
>类taska(taska(dais“,
“metadata”:“json”
}
```
相当于:
``python
class taska(luigi.task):
param1=luigi.parameter()
def output(self):
返回{
“vectors”:daisy.npytarget(“./data/taska/taska(param1={}.npy.format(self.param1)),
“元数据”:daisy.json target(“./data/taska/taska/taska/taska(param1={{}.json.json.format(self.param1))
>
````
目前可用的扩展名和文件类型如下:
;target class;object class;object type;object class;ext扩展名;
----;
/>; `NPY目标`|` Numpy.ndarray ``` npy```````npy`````````````````json```````````````` pickle````` pickltarget```` pickltarget ```````pkl`` pickl````````````` pickl``````````````````````````````````````````````````````````````````````````````````````````` pickl配置
对于配置,编辑“luigi.cfg”的“daisy”部分。
``ini
[daisy]
[luigi]的薄包装(https://github.com/spotify/luigi)用于实用程序。
=pd.dataframe({“a”:[1,2,3],“b”:[4,5,6]})
df
a b
0 1 4
1 2 5
2 3 6
target=daisy.csvTarget(“./output.csv”“/output.csv”
转储
target.dump(df
/>
加载
df2=target.load()
df2
a b
0 1 4
1 2 5
2 3 6
` daisy.formattedLocalTargetBase`也继承了“luigi.localtaget`
`
`因此,原始API也被启用。
task
`daisy.task`的输出继承了'luigi.task',并提供默认的'output`功能。
通过“ext”属性设置文件扩展名,
daisy自动用默认文件名配置相应的“formattedlocaltarget”。
=luigi.parameter()
def output(self):
return daisy.csvtarget(./data/taska/taska/taska(param1={}.csv.csv.format(self.param1))
```
;多输出
````python
class taska(daisy.task)多输出
````python
```````多输出
```````````````````````class
>类taska(taska(dais“,
“metadata”:“json”
}
```
相当于:
``python
class taska(luigi.task):
param1=luigi.parameter()
def output(self):
返回{
“vectors”:daisy.npytarget(“./data/taska/taska(param1={}.npy.format(self.param1)),
“元数据”:daisy.json target(“./data/taska/taska/taska/taska(param1={{}.json.json.format(self.param1))
>
````
目前可用的扩展名和文件类型如下:
;target class;object class;object type;object class;ext扩展名;
----;
/>;
对于配置,编辑“luigi.cfg”的“daisy”部分。
``ini
[daisy]