Hiveql内核
hiveqlKernel的Python项目详细描述
#hiveql内核
###要求
如果要使用kerberos进行连接:
` sudo apt-get install python3-devlibsasl2-devlibsasl2-2libsasl2-modules-gssapi-mit `
###安装
要安装内核:
` pip install --upgrade hiveqlKernel jupyter hiveql install --user `
###连接配置
有两种方法可用于连接配置单元服务器:
- 直接在笔记本中
- 使用配置文件
如果配置文件存在,则每次运行新的hiveql内核时,都必须在笔记本中配置连接。笔记本中的配置将覆盖配置文件中的配置(如果存在)。
####直接在笔记本单元格中配置
在笔记本单元格中,复制并粘贴此内容,更改配置以满足您的需要,然后运行它。
` $$ url=hive://<kerberos-username>@<hive-host>:<hive-port>/<db-name> $$ connect_args={"auth": "KERBEROS", "kerberos_service_name": "hive", "configuration": {"tez.queue.name": "myqueue"}} $$ pool_size=5 $$ max_overflow=10 `
这些参数传递给sqlalchemy,后者将pyhive注册为“hive”sql后端。 请参见[github.com/dropbox/pyhive](https://github.com/dropbox/PyHive/#sqlalchemy)。
####使用配置文件进行配置
默认情况下,hiveql内核在~/.hiveql_kernel.conf中查找配置文件。您可以使用配置单元内核配置文件指定另一个路径。
内容必须是这样的(json格式):
` { "url": "hive://<kerberos-username>@<hive-host>:<hive-port>/<db-name>", "connect_args" : { "auth": "KERBEROS", "kerberos_service_name":"hive", "configuration": {"tez.queue.name": "myqueue"}}, "pool_size": 5, "max_overflow": 10, "default_limit": 20, "display_mode": "be" } `
###用法
在hiveql内核中,可以直接在单元格中键入hiveql,它会显示一个包含结果的html表。
您还可以使用其他选项,例如更改默认显示限制(=20),如下所示:
` $$ default_limit=50 `
扩展了一些蜂窝函数。它们允许用一些模式进行过滤。
` SHOW TABLES <pattern> SHOW DATABASES <pattern> `
###运行测试
` python -m pytest `
玩得开心!