dask与xgboost的相互作用

dask-xgboost的Python项目详细描述


使用xgboost和dask进行分布式训练。分布式

此存储库使您能够使用xgboost执行分布式培训 dask.array和dask.dataframe集合。

pip install dask-xgboost

示例

fromdask.distributedimportClientclient=Client('scheduler-address:8786')# connect to clusterimportdask.dataframeasdddf=dd.read_csv('...')# use dask.dataframe to load anddf_train=...# preprocess datalabels_train=...importdask_xgboostasdxgbparams={'objective':'binary:logistic',...}# use normal xgboost paramsbst=dxgb.train(client,params,df_train,labels_train)>>>bst# Get back normal XGBoost result<xgboost.core.Boosterat...>predictions=dxgb.predict(client,bsg,data_test)

工作原理

有关使用dask.dataframe进行预处理的更多信息,请参见 Dask.dataframe documentation

一旦您创建了合适的数据和标签,我们就可以开始分发 XGBoost培训。每个dask工作人员都设置一个xgboost从机并 他们有足够的信息找到对方。然后达斯克工人们 内存中的pandas数据帧到xgboost(一个dask数据帧就是多个pandas 数据帧分布在许多机器的内存中。XGBoost手柄 无dask干扰的分布式自主训练。XGBoost然后是hands 返回单个xgboost.Boosterresult对象。

较大示例

有关更严重的示例,请参见

历史记录

开发过程中的对话发生在dmlc/xgboost #2032

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java构造函数SimpleCommandBus()不可见   Java字符串和返回   java不能在类中使用上下文?   使用Java为SOAP定制DataHandler   java“访问被拒绝”在编译servlet时   java嵌入Jetty,在给定时间后终止请求   java如何使用预先指定的URL限制AWS S3 bucket中对象的上传大小?   java理解Azure文件存储:未知hostException   java将对象作为参数传递是否会产生与将其存储在字段中相同级别的耦合?   https告诉java客户端代码接受自签名证书   Java中的简单*权威DNS服务器*   Java解压缩字节数组错误数据检查   当我用SpringDoc和接口描述API规范时,java Spring控制器验证似乎不起作用   在Java中使用PHash(OpenCV)   Kotlin中的java简单继承示例   java Infinispan:ISPN004016:服务器不再位于群集中(127.0.0.1:11222),正在从池中删除   2行滑动菜单安卓本机JAVA   使用日期选择器时Android Studio中的java 4错误   java在<之间删除内容!和/>