apache drill的python驱动程序。
pydrill的Python项目详细描述
pydrill
用于Apache Drill的python驱动程序。
hadoop、nosql和云存储的无模式sql查询引擎
- 自由软件:麻省理工学院许可证
- 文档:https://pydrill.readthedocs.org。
功能
- python 2/3兼容性,
- 支持所有rest api调用,包括profiles/options/metricsdocs with full list。
- 将结果映射到内部python类型,
- 与pandas数据帧的兼容性,
- 使用pam演练身份验证,
安装
来自https://pypi.python.org/pypi/pydrill的版本:
$ pip install pydrill
来自Git的最新版本:
$ pip install git+git://github.com/PythonicNinja/pydrill.git
样本使用
from pydrill.client import PyDrill drill = PyDrill(host='localhost', port=8047) if not drill.is_active(): raise ImproperlyConfigured('Please run Drill first') yelp_reviews = drill.query(''' SELECT * FROM `dfs.root`.`./Users/macbookair/Downloads/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_review.json` LIMIT 5 ''') for result in yelp_reviews: print("%s: %s" %(result['type'], result['date'])) # pandas dataframe df = yelp_reviews.to_dataframe() print(df[df['stars'] > 3])
历史记录
0.3.4(2017-04-24)
- 更新了PYPI列表详细说明
0.3.3(2017-04-24)
- 修复PYPI安装
0.3.2(2017-04-18)
- 支持数据帧上的数据类型
0.3.1(2017-03-06)
- 支持使用pam进行钻取身份验证
0.3(2017-02-15)
- 请求-响应编码(UTF-8)
- 支持Python3.6支持
0.1.1(2016-05-21)
- 固定的Python要求
0.1.0(2016-05-19)
- 第一次小版本
- 更新的文档
0.0.2(2016-04-24)
- pypi上的第一个版本。
- 度量/存储/选项/统计的实现
- 构建由Docker容器进行测试,运行Apache Drill
- 支持带有resultquery.to_dataframe的pandas
0.0.1(2015-12-28)
- 项目开始