用于方便访问Coursera Research数据导出的命令行工具。

courseraresearchexports的Python项目详细描述


课程研究导出图片::https://travis ci.org/coursera/coursera research exports.svg
:目标:https://travis ci.org/coursera/courseraresearchexports

此项目是一个库,由一个命令行界面和一个客户端组成,用于与coursera的研究导出进行交互。coursera为研究目的提供的数据的最新文档
可在gitbooks
,《coursera数据导出指南》lt;https://coursera.gitbooks.io/data exports/>;` ` ` `.


安装
----

要安装此软件包,请执行::

pip install courserresearchexports

`pip<;https://pip.pypa.io/en/latest/index.html>;``是一个python包管理器。


如果您的计算机上没有安装``pip`',请遵循
`安装说明<;https://pip.pypa.io/en/latest/installing.htmlpgrade pip>;``对于您的平台。

pi/virtualenv>;`
安装::

virtualenv venv
source venv/bin/activate
pip install courserresearchexports


注意:"containers"子命令要求"docker"已安装在您的计算机上。请参阅'docker installation instructions<;http://docs.docker.com/index.html>;``了解平台
的具体信息。

autocomplete
^^^^^^^^^^^^

p安装autocomplete并执行activate global python argcomplete。打开一个新的shell并按tab键以获取自动完成功能。


有关更多详细信息,请参阅argcomplete文档。

setup
----


oauth2client config authorize——app manage_research_exports

若要使用"容器"功能,必须运行一个docker实例。
请参阅docker"入门指南"lt;https://docs.docker.com/engine/getstarted/>;`\br/>以获取平台的安装说明。

升级
----

----

项目包括一个命令行工具。运行::

courserResearchExports-h

获取功能、标志和文档的完整列表。类似地,通过运行:


courserResearchExports jobs-h


jobs
^^^^^
提交一个研究导出请求或检索挂起的和已完成的导出作业的状态,

uest
~/>
将"`$course\u slug`"替换为您的课程slug(课程slug是url中
`/learn`后面的部分。对于"https://www.coursera.org/learn/machine learning``,
slug是"machine learning`"。

如果您知道您的课程ID,您也可以使用"-course\u id"。这对于非公开的可用课程也是必需的。

h模式包括还有出口。(例如,对于人口统计表)::

courseraresearch导出作业请求表——course-slug$course-slug\
——模式人口统计——目的"测试数据导出"

guide<;https://coursera.gitbooks.io/data exports/data_tables_guide/>;` `.


如果您是数据协调人,则可以请求在数据导出的
域之间链接用户ID::

courserarresearchExports作业请求表--course_slug$course_slug\
--目的"测试数据导出"--用户ID哈希链接

/>默认情况下,clickstream导出将在已导出的天数内缓存结果。若要忽略整个日期范围内的缓存和请求导出,请传入标记"`--ignore_existing`"。

列出您所做的所有数据导出请求的详细信息和状态::


courserResearchExports作业获取所有信息

~~~
检索导出请求的详细信息和状态::


courserResearchExports作业获取$export请求信息

download
~~~~~~~~
下载已完成的表或单击流到本地目标::

courserResearchExports作业下载$export请求ID

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
由于单击流导出的大小,我们保留已完成的下载链接
Amazon S3上的Clickstream导出请求。每天的clickstream数据被保存到一个单独的文件中,通过运行以下命令可以检索到这些文件的下载链接:


courserarresearch导出作业clickstream下载链接--course悻slug$course悻slug

containers
^^^^^^^^^^

create
~使用Postgres图像创建Docker容器,并将导出数据加载到容器上的Postgres数据库中。要从导出创建Docker容器,请首先使用"jobs"命令"request"导出。然后,
使用`$export_request_id``,创建一个docker容器,其中:

courserarresearchexports containers create--export_request_id$export_request_id

这将下载数据导出并将所有数据加载到容器上运行的数据库中。这可能需要一些时间,具体取决于出口的大小。要使用已下载的导出创建docker容器
(请先解压缩存档)::


courserResearchExports容器创建--导出数据文件夹/路径/到/数据导出/

查看容器名称、数据库名称、地址和端口以连接到数据库。使用"db connect$container_name"命令打开psql shell。


list
~~~~~
列出由"courserResearchExports"创建的所有容器的详细信息:


start
~~~
启动容器::

courseraresearchExports containers开始$container廑name


stop
~~~~~
stop容器::


courserarresearchExports containers停止$container廑name

remove
~~~~~
remove容器::


courserarresearchExports containers remove$container廑name


db
^

~在Postgres数据库中。我们计划在这个项目中包含通常使用的非规范化视图。若要创建其中一个视图,请执行以下操作:

(即"人口统计调查"视图)::


courserResearchExports db create\view$container\name--view\name人口统计调查


ate_view$container_name--sql_file/path/to/sql/file/new_view.sql

这将使用文件名作为视图名创建一个视图,在本例中为"new_view"。


注意:由于"user_id"列因合作伙伴和用户id散列而异,请参阅
SQL F导出指南格式设置指南。

unload\u to_csv
~~~~~~~~~~~~~~~~~
将表或视图导出到csv文件。例如,如果在上述部分中创建了"人口统计调查"
,请使用此命令创建csv::


CourseraResearch导出db unload\u到csv$容器名称--关系人口统计调查--dest/path/to/dest/

list\u tables
~在停靠数据库中重新发送:

courserResearchExports db list廑tables$container廑name

list廑views
~~~~~~
列出停靠数据库中存在的所有视图:


courserResearchExports db list廑views$container廑name


bugs/issues/功能请求请使用GitHub Issue Tracker来记录您在使用此工具时遇到的任何错误或其他问题。





xports``在python中
`virtualenv<;https://pypi.python.org/pypi/virtualenv>;` `.
要正确设置环境,请执行以下操作::


virtualenv venv
source venv/bin/activate
python set up.py develop
pip install-r test_requirements.txt

测试要运行测试,只需运行:``notests``,或``tox`.

要检查,只需运行::

pep8 courserResearchExports测试

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
使用jaxrpc的Java eclipse WebService客户端   java编程方式在对象上写入名称   java Spring批处理:重试后跳过   java Android错误:错误:任务执行失败:应用程序:transformClassesWithDexForDebug'   带有清单文件nullPointerException的java Android元数据   spring Java Quartz调度作业停止运行   JavaMockito:如何在不调用实际方法的情况下,模拟带有参数和无效返回类型的静态方法?   java Tomcat连接池问题无法在关闭的连接上调用方法   java如何交换列表中的项目?   java如何停止线程并通过Toast在线程中正确显示文本?   java为什么连续写入OutputStream时偏移量0不会导致重复字节?   java我无法生成头文件   不兼容的返回类型错误java   修改值后键值对的java Jolt转换规范   java有自动更新Javadoc的工具吗?   java线程如何在ints自身实例类中共享变量   java继承一个非gwt模块   java Hibernate xml配置   使用netty4异步调用的java链接HTTP请求响应