用于方便访问Coursera Research数据导出的命令行工具。
courseraresearchexports的Python项目详细描述
课程研究导出图片::https://travis ci.org/coursera/coursera research exports.svg
:目标:https://travis ci.org/coursera/courseraresearchexports
此项目是一个库,由一个命令行界面和一个客户端组成,用于与coursera的研究导出进行交互。coursera为研究目的提供的数据的最新文档
可在gitbooks
,《coursera数据导出指南》lt;https://coursera.gitbooks.io/data exports/>;` ` ` `.
安装
----
要安装此软件包,请执行::
pip install courserresearchexports
`pip<;https://pip.pypa.io/en/latest/index.html>;``是一个python包管理器。
如果您的计算机上没有安装``pip`',请遵循
`安装说明<;https://pip.pypa.io/en/latest/installing.htmlpgrade pip>;``对于您的平台。
pi/virtualenv>;`
安装::
virtualenv venv
source venv/bin/activate
pip install courserresearchexports
注意:"containers"子命令要求"docker"已安装在您的计算机上。请参阅'docker installation instructions<;http://docs.docker.com/index.html>;``了解平台
的具体信息。
autocomplete
^^^^^^^^^^^^
p安装autocomplete并执行activate global python argcomplete。打开一个新的shell并按tab键以获取自动完成功能。
有关更多详细信息,请参阅argcomplete文档。
setup
----
oauth2client config authorize——app manage_research_exports
若要使用"容器"功能,必须运行一个docker实例。
请参阅docker"入门指南"lt;https://docs.docker.com/engine/getstarted/>;`\br/>以获取平台的安装说明。
升级
----
----
项目包括一个命令行工具。运行::
courserResearchExports-h
获取功能、标志和文档的完整列表。类似地,通过运行:
courserResearchExports jobs-h
jobs
^^^^^
提交一个研究导出请求或检索挂起的和已完成的导出作业的状态,
uest
~/>
将"`$course\u slug`"替换为您的课程slug(课程slug是url中
`/learn`后面的部分。对于"https://www.coursera.org/learn/machine learning``,
slug是"machine learning`"。
如果您知道您的课程ID,您也可以使用"-course\u id"。这对于非公开的可用课程也是必需的。
h模式包括还有出口。(例如,对于人口统计表)::
courseraresearch导出作业请求表——course-slug$course-slug\
——模式人口统计——目的"测试数据导出"
guide<;https://coursera.gitbooks.io/data exports/data_tables_guide/>;` `.
如果您是数据协调人,则可以请求在数据导出的
域之间链接用户ID::
courserarresearchExports作业请求表--course_slug$course_slug\
--目的"测试数据导出"--用户ID哈希链接
/>默认情况下,clickstream导出将在已导出的天数内缓存结果。若要忽略整个日期范围内的缓存和请求导出,请传入标记"`--ignore_existing`"。
列出您所做的所有数据导出请求的详细信息和状态::
courserResearchExports作业获取所有信息
~~~
检索导出请求的详细信息和状态::
courserResearchExports作业获取$export请求信息
download
~~~~~~~~
下载已完成的表或单击流到本地目标::
courserResearchExports作业下载$export请求ID
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
由于单击流导出的大小,我们保留已完成的下载链接
Amazon S3上的Clickstream导出请求。每天的clickstream数据被保存到一个单独的文件中,通过运行以下命令可以检索到这些文件的下载链接:
courserarresearch导出作业clickstream下载链接--course悻slug$course悻slug
containers
^^^^^^^^^^
create
~使用Postgres图像创建Docker容器,并将导出数据加载到容器上的Postgres数据库中。要从导出创建Docker容器,请首先使用"jobs"命令"request"导出。然后,
使用`$export_request_id``,创建一个docker容器,其中:
courserarresearchexports containers create--export_request_id$export_request_id
这将下载数据导出并将所有数据加载到容器上运行的数据库中。这可能需要一些时间,具体取决于出口的大小。要使用已下载的导出创建docker容器
(请先解压缩存档)::
courserResearchExports容器创建--导出数据文件夹/路径/到/数据导出/
查看容器名称、数据库名称、地址和端口以连接到数据库。使用"db connect$container_name"命令打开psql shell。
list
~~~~~
列出由"courserResearchExports"创建的所有容器的详细信息:
start
~~~
启动容器::
courseraresearchExports containers开始$container廑name
stop
~~~~~
stop容器::
courserarresearchExports containers停止$container廑name
remove
~~~~~
remove容器::
courserarresearchExports containers remove$container廑name
db
^
~在Postgres数据库中。我们计划在这个项目中包含通常使用的非规范化视图。若要创建其中一个视图,请执行以下操作:
(即"人口统计调查"视图)::
courserResearchExports db create\view$container\name--view\name人口统计调查
ate_view$container_name--sql_file/path/to/sql/file/new_view.sql
这将使用文件名作为视图名创建一个视图,在本例中为"new_view"。
注意:由于"user_id"列因合作伙伴和用户id散列而异,请参阅
SQL F导出指南格式设置指南。
unload\u to_csv
~~~~~~~~~~~~~~~~~
将表或视图导出到csv文件。例如,如果在上述部分中创建了"人口统计调查"
,请使用此命令创建csv::
CourseraResearch导出db unload\u到csv$容器名称--关系人口统计调查--dest/path/to/dest/
list\u tables
~在停靠数据库中重新发送:
courserResearchExports db list廑tables$container廑name
list廑views
~~~~~~
列出停靠数据库中存在的所有视图:
courserResearchExports db list廑views$container廑name
bugs/issues/功能请求请使用GitHub Issue Tracker来记录您在使用此工具时遇到的任何错误或其他问题。
xports``在python中
`virtualenv<;https://pypi.python.org/pypi/virtualenv>;` `.
要正确设置环境,请执行以下操作::
virtualenv venv
source venv/bin/activate
python set up.py develop
pip install-r test_requirements.txt
测试要运行测试,只需运行:``notests``,或``tox`.
要检查,只需运行::
pep8 courserResearchExports测试
:目标:https://travis ci.org/coursera/courseraresearchexports
此项目是一个库,由一个命令行界面和一个客户端组成,用于与coursera的研究导出进行交互。coursera为研究目的提供的数据的最新文档
可在gitbooks
,《coursera数据导出指南》lt;https://coursera.gitbooks.io/data exports/>;` ` ` `.
安装
----
要安装此软件包,请执行::
pip install courserresearchexports
`pip<;https://pip.pypa.io/en/latest/index.html>;``是一个python包管理器。
如果您的计算机上没有安装``pip`',请遵循
`安装说明<;https://pip.pypa.io/en/latest/installing.htmlpgrade pip>;``对于您的平台。
pi/virtualenv>;`
安装::
virtualenv venv
source venv/bin/activate
pip install courserresearchexports
注意:"containers"子命令要求"docker"已安装在您的计算机上。请参阅'docker installation instructions<;http://docs.docker.com/index.html>;``了解平台
的具体信息。
autocomplete
^^^^^^^^^^^^
p安装autocomplete并执行activate global python argcomplete。打开一个新的shell并按tab键以获取自动完成功能。
有关更多详细信息,请参阅argcomplete文档。
setup
----
oauth2client config authorize——app manage_research_exports
若要使用"容器"功能,必须运行一个docker实例。
请参阅docker"入门指南"lt;https://docs.docker.com/engine/getstarted/>;`\br/>以获取平台的安装说明。
升级
----
----
项目包括一个命令行工具。运行::
courserResearchExports-h
获取功能、标志和文档的完整列表。类似地,通过运行:
courserResearchExports jobs-h
jobs
^^^^^
提交一个研究导出请求或检索挂起的和已完成的导出作业的状态,
uest
~/>
将"`$course\u slug`"替换为您的课程slug(课程slug是url中
`/learn`后面的部分。对于"https://www.coursera.org/learn/machine learning``,
slug是"machine learning`"。
如果您知道您的课程ID,您也可以使用"-course\u id"。这对于非公开的可用课程也是必需的。
h模式包括还有出口。(例如,对于人口统计表)::
courseraresearch导出作业请求表——course-slug$course-slug\
——模式人口统计——目的"测试数据导出"
guide<;https://coursera.gitbooks.io/data exports/data_tables_guide/>;` `.
如果您是数据协调人,则可以请求在数据导出的
域之间链接用户ID::
courserarresearchExports作业请求表--course_slug$course_slug\
--目的"测试数据导出"--用户ID哈希链接
/>默认情况下,clickstream导出将在已导出的天数内缓存结果。若要忽略整个日期范围内的缓存和请求导出,请传入标记"`--ignore_existing`"。
列出您所做的所有数据导出请求的详细信息和状态::
courserResearchExports作业获取所有信息
检索导出请求的详细信息和状态::
courserResearchExports作业获取$export请求信息
download
~~~~~~~~
下载已完成的表或单击流到本地目标::
courserResearchExports作业下载$export请求ID
由于单击流导出的大小,我们保留已完成的下载链接
Amazon S3上的Clickstream导出请求。每天的clickstream数据被保存到一个单独的文件中,通过运行以下命令可以检索到这些文件的下载链接:
courserarresearch导出作业clickstream下载链接--course悻slug$course悻slug
containers
^^^^^^^^^^
create
~使用Postgres图像创建Docker容器,并将导出数据加载到容器上的Postgres数据库中。要从导出创建Docker容器,请首先使用"jobs"命令"request"导出。然后,
使用`$export_request_id``,创建一个docker容器,其中:
courserarresearchexports containers create--export_request_id$export_request_id
这将下载数据导出并将所有数据加载到容器上运行的数据库中。这可能需要一些时间,具体取决于出口的大小。要使用已下载的导出创建docker容器
(请先解压缩存档)::
courserResearchExports容器创建--导出数据文件夹/路径/到/数据导出/
查看容器名称、数据库名称、地址和端口以连接到数据库。使用"db connect$container_name"命令打开psql shell。
list
~~~~~
列出由"courserResearchExports"创建的所有容器的详细信息:
start
~~~
启动容器::
courseraresearchExports containers开始$container廑name
stop
~~~~~
stop容器::
courserarresearchExports containers停止$container廑name
remove
~~~~~
remove容器::
courserarresearchExports containers remove$container廑name
db
^
(即"人口统计调查"视图)::
courserResearchExports db create\view$container\name--view\name人口统计调查
ate_view$container_name--sql_file/path/to/sql/file/new_view.sql
这将使用文件名作为视图名创建一个视图,在本例中为"new_view"。
注意:由于"user_id"列因合作伙伴和用户id散列而异,请参阅
SQL F导出指南格式设置指南。
unload\u to_csv
~~~~~~~~~~~~~~~~~
将表或视图导出到csv文件。例如,如果在上述部分中创建了"人口统计调查"
,请使用此命令创建csv::
CourseraResearch导出db unload\u到csv$容器名称--关系人口统计调查--dest/path/to/dest/
list\u tables
~在停靠数据库中重新发送:
courserResearchExports db list廑tables$container廑name
list廑views
~~~~~~
列出停靠数据库中存在的所有视图:
courserResearchExports db list廑views$container廑name
bugs/issues/功能请求请使用GitHub Issue Tracker来记录您在使用此工具时遇到的任何错误或其他问题。
xports``在python中
`virtualenv<;https://pypi.python.org/pypi/virtualenv>;` `.
要正确设置环境,请执行以下操作::
virtualenv venv
source venv/bin/activate
python set up.py develop
pip install-r test_requirements.txt
测试要运行测试,只需运行:``notests``,或``tox`.
要检查,只需运行::
pep8 courserResearchExports测试