选择clickhouse data,convert to pandas dataframes

clickhouse2pandas的Python项目详细描述


单击家庭2和

选择clickhouse数据,使用ClickHouse HTTP interface转换为pandas数据帧和各种其他格式。

功能

  • 默认情况下,传输数据是compressed,这减少了网络流量,从而减少了下载数据的时间。
  • 带有一个动态下载标签,显示下载了多少数据。
  • 将clickhouse查询结果转换为正确的pandas数据类型,例如ClickHouse DateTime->;pandas datetime64。
  • 最小依赖项、5个标准python库(urllib、http、gzip、json、time)和1个外部库(pandas)。

安装

pip install clickhouse2pandas

使用量

importclickhouse2pandasasch2pdconnection_url='http://user:password@clickhouse_host:8123'query='select * from system.numbers limit 1000000'df=ch2pd.select(connection_url,query)# df is a pandas dataframe converted from ClickHouse query result

API参考

clickhouse2pandas.select(connection_url,query=None,convert_to='DataFrame',settings=None)

返回由“convert_to”参数指定的格式化查询结果。

参数:

  • 连接url:指向clickhouse http接口的连接url,例如http://user:password@clickhouse_host:8123
  • query:对于sql查询,查询应该以“select”开头
  • convert_to:将查询结果转换为特定格式,可以是以下格式之一:“dataframe”、“tabseparated”、“tabseparateddraw”、“tabseparatedwithnames”、“tabseparatedwithnamesandtypes”、“csv”、“csvwithnames”、“values”、“vertical”、“json”、“jsoncompact”、“jsoneachrow”、“tskv”、“prettycompact”,“PrettyCompactMonoBlock”、“PrettyNoeScapes”、“PrettySpace”、“XML”。请参阅clickhouseInput and Output Formats
  • settings:包含设置键值的dict,默认设置为{enable_http_compression':1,'send_progress_in_http_headers':0,'log_querys':1,'connect_timeout':10,'receive_timeout':300,'send_timeout':300,'output_format_json_quote_64bit_integers':0,'wait_end_of_query':0}。请参阅clickhouseSettings

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java嵌套循环打印一个数字,旁边有相同数量的星号   java JodReports替代方案   java如何将模型类parcelable对象从片段传递到活动?   java JCS缓存删除功能不删除特定元素   如何打开。Java的dll文件。   java在这种情况下如何选择聚合根?   java从CellEditorListener获取编辑的TreeNode   Java到web服务和mysql   从openssl ec在Java中创建公钥时出现加密无效密钥异常   Java数组:添加多个数组的元素时忽略空数组   java在初始化后向fragment发送数据   JButtons的java数组正在返回void   若联接列不包含特定值,则java JPA条件生成器仅返回实体   java ActionBar问题:NPE   java Portlet是被广泛使用还是非常罕见?