允许在azure databricks环境中更方便地使用pyspark的工具组合。

SparkSafeDelta的Python项目详细描述


#spark-safe delta
允许在azure数据块环境中更方便地使用pyspark的工具组合。

将数据写入MySQL并在必要时重新分区。


依赖项:

>1。mysql connector java 8_0_13
dbfs:/filestore/jars/7b863f06_67cf_4a51_8f3b_67d414d808b3-barnymysql_8_0_13_4ac45-2f7c7.jar

http://dev.mysql.com/doc/connector-j/en/
https://mvnrepository.com/artifact/mysql/mysql connector java

它依赖于定义mysql凭证的方法之外的常量变量,这些变量也可以指定为参数:

*mysql url
*mysql驱动程序
*mysql用户
*mysql密码
*mysql ssl ca路径
*mysql查询超时

写入
*p_mysql_db_name-要写入的数据库的名称
*p_mysql_table_name-要写入的表的名称
*p_num_partitions-分区的数量,如果-1,运行时使用spark环境中定义的默认分区数量或特定的delta

method默认参数:

url=mysql-url,
driver=mysql-driver,
user=mysql-user,
password=mysql-password,
ssl-ca=mysql-ssl-ca-path,
query timeout=mysql_query廑timeout


用法示例:


mysql设置在以下方法之外定义:
mysql廑driver=“com.mysql.jdbc.driver”
mysql url=“jdbc:mysql://hostname:port/database?useUnicode=true&characterEncoding=utf-8&useJDBCCompliantTimeZoneShift=true&;uselegacydatetimecode=false“
mysql_query_timeout=0

mysql_user=”user@namespace“
mysql_password=”example_password“
mysql_ssl_ca_path=”/mnt/alex experiments blob/certs/cert.txt“

方法执行本身
写入mysql数据(p_spark_dataframe=target_data,PyMySqLydBase= DestnIsTyBdAnMeNeX.Bur/>>BR/>第3类。ReaveFixBuffs
BR/> ReaveVielStudio()方法从指定的数据文件中删除列。“不存在列”< BR/>< BR> > BR/>< BR/>方法允许获取表,或查询为火花数据文件。结果BR/> > BR/>示例用法:
Read MySQL(Table SynNe=客户)< BR/> Read MySQL(Table SynNe= H2.客户)
Read MySQL(Table SynNe= H2客户,URL=MySQL LURL),driver=mysql驱动程序,user=mysql用户,password=mysql密码,ssl-ca=mysql安全路径,query timeout=mysql查询超时



\4.list\u可用的mysql表


br/>method允许列出特定用户可用的所有表。
returnws-spark数据帧,结果



br/>#啊!/usr/bin/env python

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java需要64位jdk 1.5 for windows   eclipse运算符+对于参数类型java是未定义的。双,爪哇。双人   未下载文件扩展名为的java文件   java不支持带有POST的媒体类型   从动态创建的多个EditText读取文本时发生java错误   java无法为同一xpath单击多个按钮   如何在Java中动态格式化字符串   java Android Clear Middle活动   多线程Java内存模型volatile和x86   git在Java中通过Jgit忽略文件或文件夹   java“决策无法区分输入的备选方案1、2…”   子类的javajpa继承   java需要弄清楚如何操作mutator来弄清楚一个类,教授说,我对如何操作感到困惑   java如何使用JDBC将数据从文件复制到PostgreSQL?