遍历所有文件夹，并把文件里所有的csv合并为一个dataframe

import os
import pandas as pd

def load_and_combine_csv(root_dir):
    # 初始化一个空的列表来存储所有的DataFrame
    df_list = []

    # 遍历根目录下的所有文件夹及子文件夹
    for subdir, _, files in os.walk(root_dir):
        for file in files:
            if file.endswith(".csv"):
                # 构造文件的完整路径
                file_path = os.path.join(subdir, file)
                
                # 读取CSV文件为DataFrame
                df = pd.read_csv(file_path)
                
                # 将DataFrame添加到列表中
                df_list.append(df)

    # 将所有的DataFrame合并为一个
    combined_df = pd.concat(df_list, ignore_index=True)
    
    return combined_df

# 使用函数遍历并合并CSV文件
root_directory = 'path_to_your_directory'  # 根目录路径
combined_data = load_and_combine_csv(root_directory)

# 查看合并后的数据
print(combined_data.head())