评分者评分建模工具
rsmtool的Python项目详细描述
简介
笔试和口语测试答案的自动评分是教育自然语言处理中一个日益增长的领域。自动评分引擎使用机器学习模型,根据从这些响应的文本/音频中提取的特征预测这些响应的分数。自动评分引擎的例子包括Project Essay Grade用于书面回答和SpeechRater用于口头回答。
rater评分建模工具(rsmtool)是一个python包,它在一个管道中自动组合多个分析,这些分析通常在构建和评估此类评分模型时进行。rsmtool的输出是一个全面的、可定制的html统计报告,其中包含这些多个分析的输出。虽然rsmtool确实使使用单个命令运行一组标准分析变得非常简单,但它也完全可自定义,允许用户轻松排除不需要的分析、修改默认分析,甚至在报告中包括自定义分析。
<>我们预期RSMToo工具的主要用户是研究开发新的自动评分引擎或改进现有的评分引擎的研究者。请注意,rsmtool本身并不是一个评分引擎,而是一个用于构建和评估机器学习模型的工具,这些模型可用于此类引擎中。有关安装和使用,请参见official documentation。
要求
- python 3.6
- numpy
- scipy
- scikit-learn
- statsmodels
- skll
- pandas
- ipython
- jupyter
- notebook
- seaborn
贡献
对rsmtool的贡献是非常受欢迎的。请参阅documentation,了解如何开始为rsmtool开发新功能或功能。
引用
如果您在工作中使用rsmtool,您可以引用它如下:
mla
马德纳尼,尼廷和卢基纳,阿纳斯塔西娅。“rsmtool:构建和评估自动评分模型的工具集合”。《开放源码软件杂志》1(3),2016年。
双键
@article{MadnaniLoukina2016,doi={10.21105/joss.00033},url={http://dx.doi.org/10.21105/joss.00033},year={2016},month={jul},publisher={The Open Journal},volume={1},number={3},author={Nitin Madnani and Anastassia Loukina},title={{RSMTool}: A Collection of Tools for Building and Evaluating Automated Scoring Models},journal={{Journal of Open Source Software}}}