允许在azure databricks环境中更方便地使用pyspark的工具组合。
SparkSafeDelta的Python项目详细描述
#spark-safe delta
允许在azure数据块环境中更方便地使用pyspark的工具组合。
将数据写入MySQL并在必要时重新分区。
依赖项:
>1。mysql connector java 8_0_13
dbfs:/filestore/jars/7b863f06_67cf_4a51_8f3b_67d414d808b3-barnymysql_8_0_13_4ac45-2f7c7.jar
http://dev.mysql.com/doc/connector-j/en/
https://mvnrepository.com/artifact/mysql/mysql connector java
它依赖于定义mysql凭证的方法之外的常量变量,这些变量也可以指定为参数:
*mysql url
*mysql驱动程序
*mysql用户
*mysql密码
*mysql ssl ca路径
*mysql查询超时
写入
*p_mysql_db_name-要写入的数据库的名称
*p_mysql_table_name-要写入的表的名称
*p_num_partitions-分区的数量,如果-1,运行时使用spark环境中定义的默认分区数量或特定的delta
method默认参数:
url=mysql-url,
driver=mysql-driver,
user=mysql-user,
password=mysql-password,
ssl-ca=mysql-ssl-ca-path,
query timeout=mysql_query廑timeout
用法示例:
mysql设置在以下方法之外定义:
mysql廑driver=“com.mysql.jdbc.driver”
mysql url=“jdbc:mysql://hostname:port/database?useUnicode=true&characterEncoding=utf-8&useJDBCCompliantTimeZoneShift=true&;uselegacydatetimecode=false“
mysql_query_timeout=0
mysql_user=”user@namespace“
mysql_password=”example_password“
mysql_ssl_ca_path=”/mnt/alex experiments blob/certs/cert.txt“
方法执行本身
写入mysql数据(p_spark_dataframe=target_data,PyMySqLydBase= DestnIsTyBdAnMeNeX.Bur/>>BR/>第3类。ReaveFixBuffs
BR/> ReaveVielStudio()方法从指定的数据文件中删除列。“不存在列”< BR/>< BR> > BR/>< BR/>方法允许获取表,或查询为火花数据文件。结果BR/> > BR/>示例用法:
Read MySQL(Table SynNe=客户)< BR/> Read MySQL(Table SynNe= H2.客户)
Read MySQL(Table SynNe= H2客户,URL=MySQL LURL),driver=mysql驱动程序,user=mysql用户,password=mysql密码,ssl-ca=mysql安全路径,query timeout=mysql查询超时
\4.list\u可用的mysql表
br/>method允许列出特定用户可用的所有表。
returnws-spark数据帧,结果
br/>#啊!/usr/bin/env python
允许在azure数据块环境中更方便地使用pyspark的工具组合。
将数据写入MySQL并在必要时重新分区。
依赖项:
>1。mysql connector java 8_0_13
dbfs:/filestore/jars/7b863f06_67cf_4a51_8f3b_67d414d808b3-barnymysql_8_0_13_4ac45-2f7c7.jar
http://dev.mysql.com/doc/connector-j/en/
https://mvnrepository.com/artifact/mysql/mysql connector java
它依赖于定义mysql凭证的方法之外的常量变量,这些变量也可以指定为参数:
*mysql url
*mysql驱动程序
*mysql用户
*mysql密码
*mysql ssl ca路径
*mysql查询超时
写入
*p_mysql_db_name-要写入的数据库的名称
*p_mysql_table_name-要写入的表的名称
*p_num_partitions-分区的数量,如果-1,运行时使用spark环境中定义的默认分区数量或特定的delta
method默认参数:
driver=mysql-driver,
user=mysql-user,
password=mysql-password,
ssl-ca=mysql-ssl-ca-path,
query timeout=mysql_query廑timeout
用法示例:
mysql设置在以下方法之外定义:
mysql廑driver=“com.mysql.jdbc.driver”
mysql url=“jdbc:mysql://hostname:port/database?useUnicode=true&characterEncoding=utf-8&useJDBCCompliantTimeZoneShift=true&;uselegacydatetimecode=false“
mysql_query_timeout=0
mysql_user=”user@namespace“
mysql_password=”example_password“
mysql_ssl_ca_path=”/mnt/alex experiments blob/certs/cert.txt“
方法执行本身
写入mysql数据(p_spark_dataframe=target_data,PyMySqLydBase= DestnIsTyBdAnMeNeX.Bur/>>BR/>第3类。ReaveFixBuffs
BR/> ReaveVielStudio()方法从指定的数据文件中删除列。“不存在列”< BR/>< BR> > BR/>< BR/>方法允许获取表,或查询为火花数据文件。结果BR/> > BR/>示例用法:
Read MySQL(Table SynNe=客户)< BR/> Read MySQL(Table SynNe= H2.客户)
Read MySQL(Table SynNe= H2客户,URL=MySQL LURL),driver=mysql驱动程序,user=mysql用户,password=mysql密码,ssl-ca=mysql安全路径,query timeout=mysql查询超时
\4.list\u可用的mysql表
br/>method允许列出特定用户可用的所有表。
returnws-spark数据帧,结果
br/>#啊!/usr/bin/env python