在aws中在几分钟内创建企业级hadoop集群。
aws-hadoop的Python项目详细描述
在AWS中创建企业级Hadoop群集。
=======
作者:rakesh varma
概述
--
在几分钟内在AWS中创建企业级Hadoop群集。
安装/使用安装了[terraform](https://www.terraform.io/intro/getting-started/install.html)。需要运行此解决方案。
> BR/>确保AWS证书存在于您的本地“~/.AW/Cudiess”文件中。
>如果您使用的是名为“test”的aws-awu配置文件,那么您的“凭据”文件应该是这样的:
``sh
[test]
aws-access-key=somawawawawasaccesskeyid
aws-secret-access-key=somawawawawssecsecsecsecretaccesskey
````
``config.ini`创建一个具有适当设置的“config.ini` config.ini`创建一个具有适当设置的config.ini` config.ini`文件。
``sh
[默认值]
;美国焊接学会设置
aws_region=us-east-1
aws_profile=test
terraform_s3_bucket=hadoop terraform state
ssh_private_key=key.pem
vpc_id=vpc-883883883
vpc_subnets=[
'subnet-89dad652',
'subnet-7887z892',
‘子网F300B8Z8’子网F300B8Z8’
hadoop _namenodeu实例类型=t2.micro
hadoop _secondarynamen节点实例类型=t2.micro
hadoop _数据节点实例类型=t2.micro
hadoop _数据节点数量=2
hadoop设置
hadoop _复制因子=2
````
.ini`文件已准备就绪安装libs并运行。建议使用virtualenv。
```
pip install aws hadoop
````
在python中运行此命令以创建hadoop集群。
`````
from aws hadoop.install import install
install().create()
```
``sh
pip install-r requirements.txt
``````
``sh
aws-hadoop.install import install
install().create()
````
Note some of the settings are optional.
###### aws_region
The aws_region where your terraform state bucket and your hadoop resources get created (eg: us-east-1)
##### aws_profile
The aws_profile that is used in your local `~/.aws/credentials` file.
##### terraform_s3_bucket
The terraform state 信息将保存在指定的s3存储桶中。确保aws配置文件具有对s3存储桶的写访问权限。
指定的“ssh\u密钥对”将允许使用公钥创建hadoop ec2。
如果是,请确保您的计算机在` ~/.ssh/`目录下具有私钥。
<<<<<<<<<<<<<<<<<<<<<<<<<<<<
>指定您的aws区域的vpc id您的aws区域的vpc id您的aws区域的vpc id您的aws区域应该在其中创建terraform资源。
<
<<<<<<<<<<<
<<<<<<<<<<<<<<<<<<<<<<<<<<
vpc_子网是包含一个或多个子网ID的列表项。可以指定任意数量的子网ID。Hadoop EC2将在多个子网中创建。
未指定,则默认实例类型为“t2.micro”
未指定,则默认实例类型为t2。micro
未指定则默认实例类型为t2。micro
\hadoop\u data nodes\u count(可选)
指定应创建的hadoop数据节点数。如果未指定,则默认值设置为2
未指定,则默认值设置为2。
ssh用户(可选)
ssh用户(可选)
ssh用户,例如:ubuntu
ssh密钥文件(可选)
这是密钥文件的位置。ssh登录是通过私钥/公钥对完成的。
=======
作者:rakesh varma
概述
--
在几分钟内在AWS中创建企业级Hadoop群集。
安装/使用安装了[terraform](https://www.terraform.io/intro/getting-started/install.html)。需要运行此解决方案。
> BR/>确保AWS证书存在于您的本地“~/.AW/Cudiess”文件中。
>如果您使用的是名为“test”的aws-awu配置文件,那么您的“凭据”文件应该是这样的:
``sh
[test]
aws-access-key=somawawawawasaccesskeyid
aws-secret-access-key=somawawawawssecsecsecsecretaccesskey
````
``config.ini`创建一个具有适当设置的“config.ini` config.ini`创建一个具有适当设置的config.ini` config.ini`文件。
``sh
[默认值]
;美国焊接学会设置
aws_region=us-east-1
aws_profile=test
terraform_s3_bucket=hadoop terraform state
ssh_private_key=key.pem
vpc_id=vpc-883883883
vpc_subnets=[
'subnet-89dad652',
'subnet-7887z892',
‘子网F300B8Z8’子网F300B8Z8’
hadoop _namenodeu实例类型=t2.micro
hadoop _secondarynamen节点实例类型=t2.micro
hadoop _数据节点实例类型=t2.micro
hadoop _数据节点数量=2
hadoop设置
hadoop _复制因子=2
````
.ini`文件已准备就绪安装libs并运行。建议使用virtualenv。
```
pip install aws hadoop
````
在python中运行此命令以创建hadoop集群。
`````
from aws hadoop.install import install
install().create()
```
``sh
pip install-r requirements.txt
``````
``sh
aws-hadoop.install import install
install().create()
````
Note some of the settings are optional.
###### aws_region
The aws_region where your terraform state bucket and your hadoop resources get created (eg: us-east-1)
##### aws_profile
The aws_profile that is used in your local `~/.aws/credentials` file.
##### terraform_s3_bucket
The terraform state 信息将保存在指定的s3存储桶中。确保aws配置文件具有对s3存储桶的写访问权限。
指定的“ssh\u密钥对”将允许使用公钥创建hadoop ec2。
如果是,请确保您的计算机在` ~/.ssh/`目录下具有私钥。
<<<<<<<<<<<<<<<<<<<<<<<<<<<<
>指定您的aws区域的vpc id您的aws区域的vpc id您的aws区域的vpc id您的aws区域应该在其中创建terraform资源。
<
<<<<<<<<<<<
<<<<<<<<<<<<<<<<<<<<<<<<<<
vpc_子网是包含一个或多个子网ID的列表项。可以指定任意数量的子网ID。Hadoop EC2将在多个子网中创建。
未指定,则默认实例类型为“t2.micro”
未指定,则默认实例类型为t2。micro
未指定则默认实例类型为t2。micro
\hadoop\u data nodes\u count(可选)
指定应创建的hadoop数据节点数。如果未指定,则默认值设置为2
未指定,则默认值设置为2。
ssh用户(可选)
ssh用户(可选)
ssh用户,例如:ubuntu
ssh密钥文件(可选)
这是密钥文件的位置。ssh登录是通过私钥/公钥对完成的。