Kedro的实用程序和扩展的集合
more-kedro的Python项目详细描述
更多kedro:锤子和扳手:
Kedro的实用程序和扩展的集合
安装
$ pip install more-kedro
hooks.TypedParameters
启用参数字典的动态键入和验证。在
用法
通过将TypedParameters
钩子添加到KedroContext
激活:
现在您可以在parameters.yml
中指定类型:
training__type:my_project.nodes.model.TrainingParamstraining:num_iter:100learning_rate:0.001
或者如果你通过了TypedParameters(inline=True)
:
training:type:my_project.nodes.model.TrainingParamsnum_iter:100learning_rate:0.001
第一种方法的好处是可以覆盖conf/local/
中的参数值
不必重新指定类型。在
任何具有输入params:training
的节点现在都将被注入
相当于TrainingParams(num_iter=100, learning_rate=0.001)
而不是raw
字典。你可以使用任何自定义类,dataclass,
pydantic型号或任何其他型号
调用以获取参数的验证和键入。类型必须包含
类型对象的完整位置和名称,以便可以导入它
从你的项目的根。在
参数是在您的DataCatalog
创建后立即键入的,因此任何失败
会在你的凯德罗跑步开始前浮出水面。在
datasets.TryLoadDataSet
使用基础数据集定义来加载和保存的数据集,但如果 引发异常,它返回默认值。如果存在某些 数据对于管道是可选的。在
用法
TryLoadDataSet
有两个参数,dataset
这是一个普通的数据集定义,
以及可选的default_value
,这是加载失败时要返回的值
(默认为None
)。catalog.yml
中的条目示例:
companies:dataset:type:pandas.CSVDataSetfilepath:"path/to/companies.csv"default_value:null
捐款
如果你有任何有用的Kedro实用程序,比如runner、hook、datasets或其他任何工具-PR非常受欢迎!在
- 项目
标签: