理性激活
rational-activations的Python项目详细描述
Rational激活-可学习的Rational激活函数
首先介绍Padé激活单元中的as-PAU：深层神经网络激活函数的端到端学习
Arxiv链接：https://arxiv.org/abs/1907.06732
1。关于Padé激活单元
理性激活是一种新颖的可学习的激活函数。理性主义将激活函数编码为有理函数，可以使用反向传播以端到端的方式进行训练，并且可以像普通的激活函数（例如ReLU）一样将其集成到任何神经网络中。在
在理性的比赛和预测性的训练中表现优于一般的预测性训练。 因此，减轻了网络设计师不得不致力于一个可能表现不佳的选择。在
2。依赖关系
PyTorch>=1.4.0
CUDA>=10.1
3。安装
要安装rational\u activations模块，可以使用pip，但是：
：bangbang:您应该小心计算机上运行的CUDA版本。在
要获取CUDA版本：
^{pr2}$对于your相应版本的CUDA，请使用以下命令块之一：
CUDA 10.2（Pythorch>；=1.5.0）
pip3 install -U pip wheel
pip3 install torch rational-activations
CUDA 10.1（Pythorch==1.4.0）
Python3.6 pip3 install -U pip wheel
pip3 install torch==1.4.0
pip3 install https://iron.aiml.informatik.tu-darmstadt.de/wheelhouse/cuda-10.1/rational_activations-0.0.19-cp36-cp36m-manylinux2014_x86_64.whl
Python3.7
pip3 install -U pip wheel
pip3 install torch==1.4.0
pip3 install https://iron.aiml.informatik.tu-darmstadt.de/wheelhouse/cuda-10.1/rational_activations-0.0.19-cp37-cp37m-manylinux2014_x86_64.whl
pip3 install -U pip wheel
pip3 install torch==1.4.0
pip3 install https://iron.aiml.informatik.tu-darmstadt.de/wheelhouse/cuda-10.1/rational_activations-0.0.19-cp38-cp38-manylinux2014_x86_64.whl
其他CUDA/Pythorch
对于python的任何其他组合，请从源代码安装：
pip3 install airspeed
git clone https://github.com/ml-research/rational_activations.git
cd rational_activations
python3 setup.py install --user
如果您在安装rational时遇到任何问题，请联系this person。在
4。有理函数在神经网络中的应用
Rational可以像任何其他通用的激活函数一样被集成。在
import torch
from rational_torch import Rational
model = torch.nn.Sequential(
torch.nn.Linear(D_in, H),
Rational(), # e.g. instead of torch.nn.ReLU()
torch.nn.Linear(H, D_out),
)
5。待实施
- [十] 制作文档
- [十] 在文档中创建教程
- []Tensorflow工作版本
- []自动查找函数列表的初始近似权重
- []修复+增强自动manylinux生产脚本。在
- []添加python3.9支持
- []制作CUDA 11.0兼容版本
- []修复毒物测试，在提交前让他们检查
- 项目
标签：
欢迎加入QQ群-->： 979659372
