Hadoop URI实用程序
LindexUR的Python项目详细描述
林德苏里
BigData URI实用程序
我们的想法是，存储的每个信息都可以使用URI寻址，在这种情况下，我们喜欢使用HDFS和HIVE。在那里
在林德苏里是有效的（uri）：如果uri有效，则返回true，它是一个静态方法，可以快速使用。在
luri=LindexURI（uri）
在luri.i分区（）
如果配置单元uri正在定义分区表，则返回true
如果uri=“配置单元：//databasename/tablename？dt=201212“luri.i分区返回True。在
在luri.getPartitions（）
返回描述配置单元分区的字典
如果uri=“配置单元：//databasename/tablename？dt=201212英寸luri.getPartitions收益率（）
订单数据（'dt'：'201212'）
在luri.getDatabase（）
从配置单元uri获取数据库名称（可以修改此名称以同时使用HDFS路径）
如果uri=“配置单元：//databasename/tablename？dt=201212“luri.getDatabase（）返回“databasename”
在鲁里。盖塔（）
从配置单元uri获取表名，可以修改为同时使用HDFS路径
如果uri=“配置单元：//databasename/tablename？dt=201212“luri.getDatabase（）返回“tablename”
在luri.getHDFSHostName（）
获取HDFS主机名
如果uri=“hdfs://hdfs prod/warehouse/databasename.db/tablename.db/dt=201212" luri.getHDFSHostName返回“hdfs prod”
在luri.getHDFSPath（）
从HDFS uri获取路径
如果uri=“hdfs://hdfs prod/warehouse/databasename.db/tablename.db/dt=201212" luri.getHDFSPath（）退货仓库/数据库名.db/表名.db/dt=201212'
在luri.getSchema（）
获取架构
如果uri=“hdfs://hdfs prod/warehouse/databasename.db/tablename.db/dt=201212" luri.getSchema（）返回“hdfs”
在luri.getPartitionsAsHDFSPath（）
将分区坐标转换为HDFS路径
p=OrderedDict（'dt'：'201212'，'country'：'AU'） dt=201212&country=AU
在luri.gethdfspath分区（）
将HDFS路径转换为分区坐标字典
'hdfs://hdfs-production/Vault/Docomodigital/Production/Newton/events/prod/year=2018/month=08/day=07/hour=09'
root path : "/Vault/Docomodigital/Production/Newton/events/prod/"
partitions : {
"year" : "2018",
"month" : "08",
"day" : "07",
"hour" : "09"
}
在露瑞。看起来很有分寸（）
如果HDFS路径可以定义分区，则返回true
- 项目
标签：
欢迎加入QQ群-->： 979659372
