一个简单的包，让您可以使用python将其Sqoop到HDFS/Hive/HBase中
sqoopit的Python项目详细描述
sqoop it公司
一个python包，它允许您使用sqoop将RDBMS中的HDFS/Hive/HBase数据进行sqoop。在
要通过pip安装包，请运行
pip install sqoopit
然后可以使用
fromsqoopit.SqoopImportimportSqoopsqoop=Sqoop(help=True)code=sqoop.perform_import()
这将打印命令的输出
sqoop --help
对你的父亲；例如
^{pr2}$有用资源
- 用于Python的HBase客户端：happybase
一个更具体的例子
以下代码
sqoop=Sqoop(fs='hdfs://remote-cluster:8020',hive_drop_import_delims=True,fields_terminated_by='\;',enclosed_by='\'"\'',escaped_by='\\\\',null_string='\'\'',null_non_string='\'\'',table='sample_table',target_dir='hdfs://remote-cluster/user/hive/warehouse/db/sample_table',delete_target_dir=True,connect='jdbc:oracle:thin:@//your_ip:your_port/your_schema',username='user',password='pwd',num_mappers=2,bindir='/path/to/bindir/folder')sqoop.perform_import()
将执行以下命令
sqoop import -fs hdfs://remote-cluster:8020 --hive-drop-import-delims --fields-terminated-by \; --enclosed-by \'\"\' --escaped-by \\\\ --null-string \'\' --null-non-string \'\' --table sample_table --target-dir hdfs://remote-cluster/user/hive/warehouse/db/sample_table --delete-target-dir --connect jdbc:oracle:thin:@//your_ip:your_port/your_schema --username user --password pwd --num-mappers 2 --bindir /path/to/bindir/folder
条件建筑
使用set_param，unset_param函数来构建有条件的sqoop导入。在
sqoop=Sqoop(table="MyTable")sqoop.set_param(param="--connect",value="jdbc:a_valid_string")iftaget_is_hbase:added_table=sqoop.set_param(param="--hbase-table",value="MyTable")added_key=sqoop.set_param(param="--hbase-row-key",value="Id_MyTable")ifadded_tableandadded_key:print("all params added :D")sqoop.perform_import()
正在执行
- 处理sqoop作业
- 更多测试覆盖
待办事项
- 添加缺少的参数
- 项目
标签：
欢迎加入QQ群-->： 979659372
