aws上的r簇
rcluster的Python项目详细描述
r cluster使得在aws上启动和访问r集群变得简单,并且 无障碍。
此存储库将:
- 创建与AWS帐户的连接
- 使用所需的软件和配置创建和保存ami
- 允许您启动管理器和指定数量的工作节点,
自动化它们之间的网络连接并托管
默认cluster用户下基于nfs的主文件夹:
- “/home/cluster”在经理和所有员工之间共享
- “/home/cluster/hostfile”包含可访问工作进程的IP 节点和备用管理器节点,根据 可用的工作内核
- clusteruser的“.rprofile”定义r函数 defaultCluster(),它自动将主机文件引用到 创建基于psock的群集
之后,在管理器上正常登录rstudio服务器,运行 defaultCluster(),并使用返回的并行集群对象 parLapply()及其同级。
开始
首先,必须在本地创建并保存aws访问密钥id和 密钥访问密钥 (instructions)。
接下来,从命令行运行rcluster-config。注意这个 默认情况下,函数将写入您的aws访问密钥和机密访问 用户目录中隐藏文件夹的键,无需添加 安全。
当前有三个功能可启动和管理R群集:
- rcluster-使用默认值在aws上启动r集群 配置文件。此功能将打开默认浏览器 管理器实例上的rstudio服务器登录页 活着。
- rcluster-open-访问活动r集群(在 您的Web浏览器指向rstudio服务器实例(如果可用)。
- rcluster-terminate-终止与 rcluster配置。