通过电子邮件验证datafram中存储的值

Question

我正在尝试验证存储在Azure Databricks中数据场中的电子邮件地址。在

我尝试使用validate\u email，但这给了我一个错误：No module named validate_email

from validate_email import validate_email

df1 = emailvalidation[emailvalidation["EmailAddress"].apply(validate_email)]
print (df1)

我希望看到数据框中的有效电子邮件地址被标记为有效/无效并存储到不同的DF。在

Answer 1

例如，可以使用用户定义函数udf来实现这一点

from validate_email import validate_email
from pyspark.sql.types import BooleanType
from pyspark.sql.functions import udf

valid_email_udf = udf(lambda e: validate_email(e), BooleanType())

emailvalidation.withColumn('is_valid', valid_email_udf('EmailAddress')).show()

+          +    +
|               email|is_valid|
+          +    +
|waqas.siddiqi@hot...|    true|
|                inva|   false|
+          +    +