jupyter和cdsw的数据科学工作空间
dsws的Python项目详细描述
数据科学工作区(DSW)
主要功能
除了依赖库之外,dsws没有提供任何功能。相反,它提供了一致和简洁地使用现有库的约定。惯例包括:
- 数据访问的配置在会话开始时实例化,具体用于分析。
- 配置不仅包括源数据连接,还包括连接中的环境首选项,如默认数据库和资源队列。
- 连接和查询的通用方法语法。
- 对于ipython环境,包括用于执行sql的行和单元格魔术
- 配置文件启动脚本的一致性方法。
- 能够从python会话中转换到已配置的cli。
环境
包括库和clis
Excel库、类、配置和类型。
package | default name | class | type | Incl | Exp | Roadmap |
---|---|---|---|---|---|---|
impyla | impyla | ws_impyla.py | conn | X | ||
pyodbc | pyodbc | ws_pyodbc.py | conn | X | ||
iopro | iopro | ws_iopro.py | conn | X | ||
ibis | ibis | ws_ibis.py | conn | X | ||
pyspark | spark (sql) | ws_spark.py | sess | X | ||
SQLAlchemy | sa | ws_sqlalchemy.py | conn | X | ||
dask-yarn | dy | ws_daskyarn.py | sess | X | ||
phoenixdb | pheonix | ws_pheonix.py | conn | X | ||
pydruid | druid | ws_druid.py | conn | X | ||
pyflink | flink | ws_flink.py | conn | X | ||
pandasql | ps | ws_ps.py | X |