Spark-SQL与Hive集成及数据分析实践

一、Spark-SQL连接Hive的配置

Spark-SQL支持与Hive无缝集成，可通过以下方式操作Hive：

1. 内嵌Hive：无需额外配置，直接使用，但生产环境不推荐。

2. 外部Hive：

   将`hive-site.xml`、`core-site.xml`、`hdfs-site.xml`复制到Spark的`conf/`目录。

   将MySQL驱动放入`jars/`目录，重启Spark服务即可连接Hive元数据。

3. 代码操作Hive：

   - 添加依赖`spark-hive`和`hive-exec`，配置`SparkSession`时启用Hive支持：

     ```scala

     val spark = SparkSession.builder()

         .enableHiveSupport()

         .config("spark.sql.warehouse.dir", "hdfs://node01:9000/user/hive/warehouse")

         .getOrCreate()

     ```

   若遇权限问题，可设置`System.setProperty("HADOOP_USER_NAME", "node01")`。

二、实验：统计有效数据及用户分布

实验目标

统计满足条件（uid、phone、addr均非空）的有效数据条数，并找出用户数量最多的前20个地址。

实现步骤

1. 数据预处理：

   使用`get_json_object`解析JSON格式数据，提取所需字段：

   ```sql

   SELECT

       get_json_object(json_column, '$.uid') AS uid,

       get_json_object(json_column, '$.phone') AS phone,

       get_json_object(json_column, '$.addr') AS addr

   FROM raw_table

   ```

2. 过滤有效数据：

   ```sql

   CREATE TEMPORARY VIEW valid_data AS

   SELECT * FROM parsed_table

   WHERE uid IS NOT NULL AND phone IS NOT NULL AND addr IS NOT NULL

   ```

3. 统计结果：

   - 有效数据总数：

     ```sql