在aws中在几分钟内创建企业级hadoop集群。

aws-hadoop的Python项目详细描述


在AWS中创建企业级Hadoop群集。
=======

作者:rakesh varma

概述
--

在几分钟内在AWS中创建企业级Hadoop群集。

安装/使用安装了[terraform](https://www.terraform.io/intro/getting-started/install.html)。需要运行此解决方案。
> BR/>确保AWS证书存在于您的本地“~/.AW/Cudiess”文件中。
>如果您使用的是名为“test”的aws-awu配置文件,那么您的“凭据”文件应该是这样的:

``sh
[test]
aws-access-key=somawawawawasaccesskeyid
aws-secret-access-key=somawawawawssecsecsecsecretaccesskey
````



``config.ini`创建一个具有适当设置的“config.ini` config.ini`创建一个具有适当设置的config.ini` config.ini`文件。

``sh
[默认值]





;美国焊接学会设置
aws_region=us-east-1
aws_profile=test
terraform_s3_bucket=hadoop terraform state
ssh_private_key=key.pem
vpc_id=vpc-883883883
vpc_subnets=[
'subnet-89dad652',
'subnet-7887z892',
‘子网F300B8Z8’子网F300B8Z8’


hadoop _namenodeu实例类型=t2.micro
hadoop _secondarynamen节点实例类型=t2.micro
hadoop _数据节点实例类型=t2.micro
hadoop _数据节点数量=2


hadoop设置
hadoop _复制因子=2
````



.ini`文件已准备就绪安装libs并运行。建议使用virtualenv。

```
pip install aws hadoop
````
在python中运行此命令以创建hadoop集群。
`````
from aws hadoop.install import install
install().create()
```



``sh
pip install-r requirements.txt
``````
``sh
aws-hadoop.install import install
install().create()
````

Note some of the settings are optional.

###### aws_region

The aws_region where your terraform state bucket and your hadoop resources get created (eg: us-east-1)

##### aws_profile

The aws_profile that is used in your local `~/.aws/credentials` file.

##### terraform_s3_bucket

The terraform state 信息将保存在指定的s3存储桶中。确保aws配置文件具有对s3存储桶的写访问权限。


指定的“ssh\u密钥对”将允许使用公钥创建hadoop ec2。
如果是,请确保您的计算机在` ~/.ssh/`目录下具有私钥。





<<<<<<<<<<<<<<<<<<<<<<<<<<<<
>指定您的aws区域的vpc id您的aws区域的vpc id您的aws区域的vpc id您的aws区域应该在其中创建terraform资源。


<
<<<<<<<<<<<
<<<<<<<<<<<<<<<<<<<<<<<<<<
vpc_子网是包含一个或多个子网ID的列表项。可以指定任意数量的子网ID。Hadoop EC2将在多个子网中创建。

未指定,则默认实例类型为“t2.micro”

未指定,则默认实例类型为t2。micro

未指定则默认实例类型为t2。micro


\hadoop\u data nodes\u count(可选)


指定应创建的hadoop数据节点数。如果未指定,则默认值设置为2


未指定,则默认值设置为2。

ssh用户(可选)
ssh用户(可选)
ssh用户,例如:ubuntu


ssh密钥文件(可选)
这是密钥文件的位置。ssh登录是通过私钥/公钥对完成的。


欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java数据结构和算法实现字典   java RecyclerView执行项目单击   php解析数据组织时出错。json。JSONException:值<!java类型的DOCTYPE。无法将lang.String转换为JSONObject(Android)   java无法修复ArrayIndexOutOfBoundsException   是否可以将java转换为java。util。Date()到int?   java J2ME本机Mp3播放器,用于播放大于1.5 MB的Mp3文件   java如何在JAXWS web服务上抛出自定义错误?   在Graphstream中检索鼠标单击的图形   java Servlet不显示来自数据库的图像   使用Jackson框架的@RequestBody注释的java Spring引导ObjectMapper   web服务如何查看为Java程序生成的SOAP请求和响应   java打印出三维数组并得到组合的整数值   使用ExtentReports打印Arraylist时发生java错误   java如何在历史日期运行oozie?   java LIBGDX:SpriteBatch draw未在iOS上绘制   java如何将两个具有一些公共实体的不同JSON转换为pojo?   java JPA/Hibernate试图在具有复合Id(和双重属性)的实体中存储太多参数   java如何使用@Resource注册bean