碲化物解码工具箱
telluride-decoding的Python项目详细描述
telluride_解码库
(这不是谷歌的官方产品!)在
这个存储库包含Python/Tensorflow代码来解码感知信号 从大脑数据。我们使用的感知信号通常是音频 特征。大脑数据是几种信号之一,比如脑电图, MEG和ECoG。在
碲化物解码工具箱面向大规模解码 实验。你可以 在实验室里做一些小实验。但是这个包保存了所有的数据 文件,这样数据就不必放入内存中,因此更容易运行 数十个或数百个并行测试。在
许可证
此代码使用Apache许可证2.0。有关详细信息,请参见许可证文件。在
目的
这段代码构建和训练连接感知信号的模型,主要是 音频,到大脑信号,可以是EEG,MEG或ECOG。一个常见的用途 算法类型是解码听觉注意,如下图所示。在
在注意力解码中,我们希望知道用户是两个(或更多)信号中的哪一个 参加。一个信号(向上的蓝色箭头)表示该信号 整个大脑都在处理,所有区域都“兴奋”。另一个 信号被听觉系统听到,但没有被注意到,也没有 招募尽可能多的大脑。两个信号的处理方式不同 产生不同的大脑信号。在
该软件通过构建 例如,使用脑电图信号来预测 有人值守的音频信号。在
文件
要遵循的文档(但代码中有大量注释) 本规范的三个主要部分是:
- 摄取:用于读取各种文件格式并将数据转换为 t解码程序使用的记录
- 解码:用于建立、训练和测试连接音频和大脑的模型 信号。在
- 推断:用于在实际数据或测试数据上运行模型。这个模型可以实际运行 时间。在
安装
要安装此软件,您可以执行此命令,该命令将自动 安装必要的先决条件:
pip install telluride-decoding
使用此代码
这个库是用Python3编写的,使用Tensorflow2。这个 解码代码可以作为独立程序运行,也可以作为库运行,或者在 Colab,Python的一种形式 包裹在一个交互式笔记本里。在
有一个完整的端到端的codelab来描述如何使用这些程序 对公共数据集执行注意力解码。使用Unix计算机和 生成GitHub并验证代码是否正常工作 我们在谷歌得到的结果。代码实验室在这里 doc/DecodingCodelab.md
你也可以把这个程序用作Colab中的库。科拉布让人 以交互方式接收数据、构建模型并测试其性能。给你 例如:
- Telluride4:摄取并测试线性回归。 colab
可以找到有关独立解码程序的文档 here。这个版本在分布式环境中很有用, 可能需要进行参数搜索。每次运行程序 测试一组参数。在
代码使用CPU或GPU(如果可用)。TPU支持即将到来。在
参考文献
詹姆斯·奥沙利文,AJ Power,尼玛·梅斯加拉尼,S.拉贾拉姆,约翰·福克斯, 芭芭拉·辛恩·坎宁安、马尔科姆·斯兰尼、希哈布·沙玛、爱德华·拉勒。 鸡尾酒会环境中的注意力选择可以从 单次试验脑电图。 Cereb Cortex。2015年7月;25(7):1697-706。在
Daniel D.E.Wong,Søren A.Fuglsang,Jens Hjortkjær,Enea Ceolini, 马尔科姆·斯兰尼,阿兰·德·切维尼。 时间响应函数估计方法的比较 听觉注意解码。 神经科学前沿。doi:10.3389/fnins.2018.00531。在
这个包包含Python和Tensorflow代码为深沉的教规 相关分析算法。(早期的MATLAB实现可以是 在https://ttic.uchicago.edu/~wwang5/dccae.html)找到
王,韦兰和阿罗拉,拉曼和利弗斯库,凯伦和比尔姆斯,杰夫。 关于深度多视角表征学习, 国际机器学习会议,第1083-1092页, 2015在
安德鲁,加伦和阿罗拉,拉曼和比尔姆斯,杰夫和利弗斯库,凯伦。 深正则相关分析。 国际机器学习会议,第1247-1255页, 2013https://ttic.uchicago.edu/~klivescu/papers/andrew_icml2013.pdf
- 项目
标签: