Python中文
首页
教程
问答
标签
搜索
登录
注册
如何使用pyspark将sql语句的结果发送到for循环?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在尝试将sql结果发送到for循环。我刚接触过spark和python,请帮忙。在</p> <pre><code> from pyspark import SparkContext sc =SparkContext() from pyspark.sql import HiveContext hive_context = HiveContext(sc) #bank = hive_context.table("cip_utilities.file_upload_temp") data=hive_context.sql("select * from cip_utilities.cdm_variable_dict") hive_context.sql("describe cip_utilities.cdm_variables_dict").registerTempTable("schema_def") temp_data=hive_context.sql("select * from schema_def") temp_data.show() data1=hive_context.sql("select col_name from schema_def where data_type<>'string'") data1.show() </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我想你应该问问你自己为什么要迭代数据。在</p> <p>你在做汇总吗?转换数据?如果是这样,可以考虑使用spark API。在</p> <p>打印一些文本?如果是这样,则使用.collect()并将数据检索回驱动程序进程。然后,可以用通常的python方法循环结果。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
plt.savefig不会覆盖现有文件
4 回答
plt.savefig不保存图像
2 回答
plt.savefig在jupyter笔记本中不起作用
9 回答
plt.savefig在从另一个fi调用时停止工作
1 回答
plt.savefig在调用plt.show之前保存空数字
8 回答
plt.save不创建png文件
8 回答
plt.scatter overlay分类数据帧列
5 回答
Plt.Scatter:如何添加title、xlabel和ylab
8 回答
plt.scatter()绘图与Matplotlib中的plt.plot()绘图类似
1 回答
plt.scatter错误'NoneType'对象在成功运行后没有属性'sqrt'
1 回答
plt.set_title()中的标题字符串有误
8 回答
plt.show()
5 回答
plt.show()不在Jupyter笔记本上渲染任何内容
5 回答
plt.show()不打印plt.plot only plt.scatter
4 回答
plt.show()不显示三维散射图像
1 回答
plt.show()不显示任何内容
7 回答
plt.show()不显示数据,而是保留它供下一个图表使用(spyder)
1 回答
plt.show()使终端挂起
9 回答
plt.show()无法使用此代码
1 回答
plt.show()没有打开新的图形风
10 回答