Kedro的实用程序和扩展的集合

more-kedro的Python项目详细描述


更多kedro:锤子和扳手:

Kedro的实用程序和扩展的集合

安装

$ pip install more-kedro

hooks.TypedParameters

启用参数字典的动态键入和验证。在

用法

通过将TypedParameters钩子添加到KedroContext激活:

^{pr2}$

现在您可以在parameters.yml中指定类型:

training__type:my_project.nodes.model.TrainingParamstraining:num_iter:100learning_rate:0.001

或者如果你通过了TypedParameters(inline=True)

training:type:my_project.nodes.model.TrainingParamsnum_iter:100learning_rate:0.001

第一种方法的好处是可以覆盖conf/local/中的参数值 不必重新指定类型。在

任何具有输入params:training的节点现在都将被注入 相当于TrainingParams(num_iter=100, learning_rate=0.001)而不是raw 字典。你可以使用任何自定义类,dataclass, pydantic型号或任何其他型号 调用以获取参数的验证和键入。类型必须包含 类型对象的完整位置和名称,以便可以导入它 从你的项目的根。在

参数是在您的DataCatalog创建后立即键入的,因此任何失败 会在你的凯德罗跑步开始前浮出水面。在

datasets.TryLoadDataSet

使用基础数据集定义来加载和保存的数据集,但如果 引发异常,它返回默认值。如果存在某些 数据对于管道是可选的。在

用法

TryLoadDataSet有两个参数,dataset这是一个普通的数据集定义, 以及可选的default_value,这是加载失败时要返回的值 (默认为None)。catalog.yml中的条目示例:

companies:dataset:type:pandas.CSVDataSetfilepath:"path/to/companies.csv"default_value:null

捐款

如果你有任何有用的Kedro实用程序,比如runner、hook、datasets或其他任何工具-PR非常受欢迎!在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java在JSP中添加自定义隐式对象   java MasterMindResource泄漏?   不同的c#java结果加密   java为什么安卓 studio显示“constraintlayout中缺少约束”错误?   java Make Logback将日志打印到文件中   java如何在Google应用程序引擎中设置日期时间?   jeditorpane如何阻止java HTMLEditorKit自动关闭我的标记   返回到Activity onCreate()时,不会调用java函数   java为什么我在这个对象上得到一个NullPointerException?   在java中,如何使用包含数组的参数调用图形方法?   java如何在Play framework 2应用程序中存储Akka参与者列表?   ssh使用java将文件从一个solaris 9复制到另一个solaris 9   网络Java服务器正在等待客户端响应   java Spring mvc从formBackingObject()重定向到页面   java Spark:JavaRDD<Tuple2>到javapairdd<>   java如何动态调用基类中由字符串值指定的子类方法?