google云dataproc api客户端库
google-cloud-dataproc的Python项目详细描述
Google Cloud Dataproc API:在google云平台上管理基于hadoop的集群和作业。
快速启动
要使用此库,首先需要执行以下步骤:
- Select or create a Cloud Platform project.
- Enable billing for your project.
- Enable the Google Cloud Dataproc API.
- Setup Authentication.
安装
使用pip在virtualenv中安装此库。virtualenv是 创建独立的python环境。它解决的基本问题是 依赖项和版本,以及间接权限。
使用virtualenv,无需系统即可安装此库 安装权限,且不会与已安装的系统发生冲突 依赖关系。
支持的python版本
python=3.5
不推荐的python版本
python==2.7。Python2.7支持将于2020年1月1日取消。
Mac/Linux
pip install virtualenv
virtualenv <your-env>
source <your-env>/bin/activate
<your-env>/bin/pip install google-cloud-dataproc
窗口
pip install virtualenv
virtualenv <your-env>
<your-env>\Scripts\activate
<your-env>\Scripts\pip.exe install google-cloud-dataproc
示例用法
fromgoogle.cloudimportdataproc_v1client=dataproc_v1.ClusterControllerClient()project_id=''region=''# Iterate over all resultsforelementinclient.list_clusters(project_id,region):# process elementpass# Or iterate over results one page at a timeforpageinclient.list_clusters(project_id,region).pages:forelementinpage:# process elementpass
下一步
- 阅读google cloud dataproc api的Client Library Documentation 查看客户端上其他可用方法的API。
- 阅读Product documentation了解有关产品的更多信息,并查看 如何引导。