本文共 780 字,大约阅读时间需要 2 分钟。
val spark = SparkSession . builder(). appName("example").master("local").getOrCreate()spark.read.json("student.json").createOrReplaceTempView("student")spark.sql("select name from student where age>18").show()
从SQL到Spark RDD 要经过逻辑计划和物理计划两个阶段:
逻辑计划将用户的SQL语句转成树型数据结构,SQL中逻辑映射到逻辑算子树的不同节点。逻辑阶段生成的逻辑算子树不会直接体提交,
值作为中间阶段。逻辑算子树形成需要以下三个阶段: Unresolved LogicalPlan(数据结构,不含任何数据信息)–>Analyzed LogicalPlan(节点中绑定各种信息)–>Optimized LogicalPlan(优化低效的逻辑计划)将逻辑计划生成的逻辑算子树进行转换,生成物理算子树。
物理算子树直接生成RDD或对RDD进行转换,物理计划也包括三个阶段: PhysicalPlan(算子树列表)–>SparkPlan(最优算子树)–>Prepared SparkPlan(生成RDD执行action操作)SQL解析到提交之前,都在Driver端进行,不涉及分布式环境。
在代码中,进行如下转换: 其中FileSourceScanExec构造数据源对应的RDD,FilterExec和ProjectExec中的execute函数对RDD执行transformation SparkSession的sql通过以上及阶段的转换生成QueryExecution对象,即查询执行。转载地址:http://wykai.baihongyu.com/