Hiveql内核

hiveqlKernel的Python项目详细描述


#hiveql内核

###要求

如果要使用kerberos进行连接:

` sudo apt-get install python3-devlibsasl2-devlibsasl2-2libsasl2-modules-gssapi-mit `

###安装

要安装内核:

` pip install --upgrade hiveqlKernel jupyter hiveql install --user `

###连接配置

有两种方法可用于连接配置单元服务器:

  • 直接在笔记本中
  • 使用配置文件

如果配置文件存在,则每次运行新的hiveql内核时,都必须在笔记本中配置连接。笔记本中的配置将覆盖配置文件中的配置(如果存在)。

####直接在笔记本单元格中配置

在笔记本单元格中,复制并粘贴此内容,更改配置以满足您的需要,然后运行它。

` $$ url=hive://<kerberos-username>@<hive-host>:<hive-port>/<db-name> $$ connect_args={"auth": "KERBEROS", "kerberos_service_name": "hive", "configuration": {"tez.queue.name": "myqueue"}} $$ pool_size=5 $$ max_overflow=10 `

这些参数传递给sqlalchemy,后者将pyhive注册为“hive”sql后端。 请参见[github.com/dropbox/pyhive](https://github.com/dropbox/PyHive/#sqlalchemy)。

####使用配置文件进行配置

默认情况下,hiveql内核在~/.hiveql_kernel.conf中查找配置文件。您可以使用配置单元内核配置文件指定另一个路径。

内容必须是这样的(json格式):

` { "url": "hive://<kerberos-username>@<hive-host>:<hive-port>/<db-name>", "connect_args" : { "auth": "KERBEROS", "kerberos_service_name":"hive", "configuration": {"tez.queue.name": "myqueue"}}, "pool_size": 5, "max_overflow": 10, "default_limit": 20, "display_mode": "be" } `

###用法

在hiveql内核中,可以直接在单元格中键入hiveql,它会显示一个包含结果的html表。

您还可以使用其他选项,例如更改默认显示限制(=20),如下所示:

` $$ default_limit=50 `

扩展了一些蜂窝函数。它们允许用一些模式进行过滤。

` SHOW TABLES <pattern> SHOW DATABASES <pattern> `

###运行测试

` python -m pytest `

玩得开心!

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java操作数组上的字符串   java JAXB内容未实例化   图形在Java中如何绘制垂直居中的字符串?   java Apache Ant:使用Junit时出现NoClassDefFoundError   java无法从服务器上运行perl脚本   如何在java中沿树进行预排序遍历,并打印0和1以对应每个节点上的特定字符?   java如何创建。p12文件?   java线程访问无效   java只匹配命名空间中的XML节点,而不知道NS前缀   从java获取2d arraylist元素   数组Java动态集合对象   java Xpath通过通配符或布尔运算查找以相同名称开头的节点?   java注释元素类型   java在中看不到Super()。反编译后的类文件