将csv/csv gzip文件从s3 bucket上载到redshift表的连接器。
S3ToRedshift的Python项目详细描述
s3toredshift
将csv/csv gzip文件从s3 bucket上载到redshift表的连接器。
要求
- python 3+（在3.7中测试）
- 熊猫>；=0.25.0
- 大熊猫>；=0.1.2
- S3connector=0.1.3
使用PIP安装
$ pip install S3ToRedshift
用法
导入库。
fromS3ToRedshiftimportS3ToRedshift
通过定义aws访问凭据、redshift凭据和区域名称来创建实例。根据计算机的访问权限，可能不需要这些参数。
s3_to_redshift=S3ToRedshift(aws_access_key_id='##########',aws_secret_access_key='##########',region_name='##########',host='##########',user='##########',password='##########',dbname='##########',port='##########',iam_role='##########')
导入的模块有几个功能。有关详细信息，请参阅相应的帮助。
s3_to_redshift.upload_csv(schema_name, table_name, bucket_name, object_name, file_type, if_exists, csv_null_identifier)
欢迎加入QQ群-->： 979659372
