fanstore在计算机集群中收集本地存储空间，以便使用更大的数据集进行分布式神经网络训练
fanstore的Python项目详细描述
#概述 fanstore是一种支持并行神经网络训练的共享对象存储。fanstore通过fusepy提供一个posix兼容的文件系统接口，并通过mpi4py提供低延迟通信。fanstore可以在运行时使用主存储器、ram磁盘和本地存储器进行瞬时并行i/o。
#开始 ` sbatch bin/fanstore.slurm `
#手动启动fanstore ##完整的imagenet数据集 ` module load python3 mpiexec.hydra -f../test/hostfile-ppn 1 python3 fanstore.py /tmp/amfora /tmp/data --loadscatter/work/00946/zzhang/imagenet/16-parts--loadbcast/work/00946/zzhang/imagenet/16-parts-validation & `
##ImageNet数据集的四分之一 ` mpiexec.hydra -f../test/hostfile-ppn 1 python3 fanstore.py /tmp/amfora /tmp/data --loadscatter /work/00946/zzhang/imagen et/16-parts-test--loadbcast/work/00946/zzhang/imagenet/16-parts-validation & `
#运行horovod应用程序 ` module load cuda/9.0 cudnn/7.0 mpiexec.hydra -f /work/00946/zzhang/maverick2/fanstore/test/hostfile -ppn 4 python3 keras_imagenet_resnet50_fanstore.py `
#在终止作业之前 ` for h in `cat ../test/hostfile`; do ssh $h "rm -rf /tmp/data; mkdir /tmp/data; mkdir -p /tmp/amfora; rm /tmp/fuse-fanstore.log; fusermount -u /tmp/amfora"; done `
欢迎加入QQ群-->： 979659372
