从配置单元进行无客户端数据检索。
hivehone的Python项目详细描述
蜂巢蜜
将数据从远程配置单元提取到本地Windows操作系统(不带Hadoop客户端)。
最困难的部分是找出expect+pbrun。
因为有两个交互问题我不得不在密码后暂停。
mode expect+pbrun详细信息如下:https://github.com/hive-scripts/hivehoney/blob/master/expect_pbrun_howto.md
数据访问路径。
Windows desktop->
SSH->
Linux login->
pbrun service login->
kinit
beeline->
SQL->
save echo on Windows
按如下方式运行:
set PROXY_HOST=your_bastion_host
set SERVICE_USER=you_func_user
set LINUX_USER=your_SOID
set LINUX_PWD=your_pwd
python hh.py --query_file=query.sql
查询.sql
从gfocnnsg_work.pytest limit 1000000中选择*;
结果:
TOTAL BYTES: 60000127
Elaplsed: 79.637 s
exit status: 0
0
[]
TOTAL Elaplsed: 99.060 s
数据转储.csv
c:\tmp>dir data_dump.csv
Directory of c:\tmp
09/04/2018 12:53 PM 60,000,075 data_dump.csv
1 File(s) 60,000,075 bytes
0 Dir(s) 321,822,720 bytes free