pyspark中like的用法

1.构造数据

#创建dataframe
from pyspark.sql.types import *
rdd = sc.parallelize([('Alice', 160),('Andy', 159),('Bob', 170),('Cindy', 165),('Rose', 160)])
schema = StructType([
    StructField("name", StringType(), True),
    StructField("height", IntegerType(), True)
])
df = spark.createDataFrame(rdd, schema)

结果如下：

2.如果想要查找出以”A”开头的同学姓名呢，这个时候可以用like来进行模糊匹配

df.filter(df.name.like("A%")).show()

结果如下：

3.如果想要查找出不以”A”开头的同学姓名呢，当然在上面的基础上加个否定就可以了

df.filter(~df.name.like("%A%")).show()

结果如下：

4.小提醒
在不同的语言中通配符的表示不一样，有的用”*”，有的用”%”
在hive中对like的否定不是用”~”，可以直接用not(A like B)