pidstat指令分析

1. 功能介绍

pidstat(Process ID Statistics)，进程ID统计信息，是 Linux 系统中用于监控进程资源使用情况的核心工具，属于 sysstat 套件的一部分。它能够提供多维度性能数据，帮助开发者快速定位系统瓶颈。

pidstat 支持监控进程的以下资源使用情况：

• CPU：用户态（%usr）、内核态（%sys）、虚拟化（%guest）的利用率。
• 内存：物理内存（RSS）、虚拟内存（VSZ）、缺页错误率（minflt/s, majflt/s）。
• I/O：磁盘读写速率（kB_rd/s, kB_wr/s）。
• 上下文切换：自愿/非自愿切换次数（cswch/s, nvcswch/s）。
• 线程级统计：支持线程粒度的资源监控。

2. 语法介绍

语法结构如下：

pidstat [options] [interval] [count]

参数	作用	典型场景	示例命令
-u	默认参数，显示CPU使用率	分析计算密集型进程	pidstat -u 1 5（每1秒采样，共5次）13
-r	监控内存使用	排查内存泄漏或高负载进程	pidstat -r -p 1234（指定PID）25
-d	显示磁盘I/O	定位磁盘瓶颈或异常读写	pidstat -d 2（每2秒采样）46
-w	上下文切换统计	分析线程调度问题	pidstat -w -t（结合线程监控）17
-T ALL	监控进程及子线程	多线程应用性能分析	pidstat -T ALL -C java（按进程名过滤）26
-l	显示完整命令行	识别同名进程差异	pidstat -l -u
-t	显示线程CPU、内存、上下文切换统计信息	分析多线程应用中某个线程占用过高资源	pidstat -t -u 2 3 -p 1234 (显示进程 1234 中所有线程的 CPU 使用情况 每隔 2 秒，共 3 次）

输出字段说明：

• CPU相关字段

  -sh-4.4$ pidstat -u 1 2
  Linux 5.4.0-150-generic (root123)       2025年04月17日  _x86_64_        (8 CPU)16时47分44秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command16时47分45秒     0       379    0.00    0.99    0.00    0.00    0.99     2  plymouthd16时47分45秒   121      1239    1.98    0.00    0.00    0.00    1.98     0  gsd-color16时47分45秒  1001      2589   44.55   55.45    0.00    0.00  100.00     5  svn16时47分45秒  1001      3103    0.99    0.00    0.00    0.00    0.99     6  java16时47分45秒  1003      3824    0.99    0.00    0.00    0.00    0.99     6  pidstat16时47分45秒  1032      3856   67.33    0.99    0.00    0.00   68.32     0  cc116时47分45秒     0      7403    0.00    6.93    0.00    0.00    6.93     3  kworker/u16:0+flush-8:016时47分45秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command16时47分46秒     0        10    0.00    1.00    0.00    0.00    1.00     2  rcu_sched16时47分46秒     0       379    0.00    1.00    0.00    0.00    1.00     6  plymouthd16时47分46秒   121      1239    2.00    0.00    0.00    0.00    2.00     2  gsd-color16时47分46秒  1001      2589   45.00   54.00    0.00    0.00   99.00     5  svn16时47分46秒  1001      3103    1.00    0.00    0.00    0.00    1.00     6  java16时47分46秒  1003      3824    0.00    1.00    0.00    0.00    1.00     6  pidstat16时47分46秒  1032      3856  100.00    0.00    0.00    0.00  100.00     0  cc116时47分46秒     0      7403    0.00    4.00    0.00    0.00    4.00     7  kworker/u16:0+flush-8:016时47分46秒  1003     23206    0.00    1.00    0.00    0.00    1.00     7  smbd平均时间:   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command平均时间:     0        10    0.00    0.50    0.00    0.00    0.50     -  rcu_sched平均时间:     0       379    0.00    1.00    0.00    0.00    1.00     -  plymouthd平均时间:   121      1239    1.99    0.00    0.00    0.00    1.99     -  gsd-color平均时间:  1001      2589   44.78   54.73    0.00    0.00   99.50     -  svn平均时间:  1001      3103    1.00    0.00    0.00    0.00    1.00     -  java平均时间:  1003      3824    0.50    0.50    0.00    0.00    1.00     -  pidstat平均时间:  1032      3856   83.58    0.50    0.00    0.00   84.08     -  cc1平均时间:     0      7403    0.00    5.47    0.00    0.00    5.47     -kworker/u16:0+flush-8:0平均时间:  1003     23206    0.00    0.50    0.00    0.00    0.50     -  smbd
  

  • %usr：用户态CPU时间，高值可能需优化算法;
  • %sys：内核态CPU时间，持续高位需检查系统调用或驱动;
  • %guest：虚拟机占用时间，虚拟化环境中需关注宿主机资源分配;

• 内存相关字段

  -sh-4.4$ pidstat -r -p 3103 1 3
  Linux 5.4.0-150-generic (root123)       2025年04月17日  _x86_64_        (8 CPU)16时59分09秒   UID       PID  minflt/s  majflt/s     VSZ     RSS   %MEM  Command16时59分10秒  1001      3103      0.00      0.00 13093100  172672   0.53  java16时59分11秒  1001      3103      2.00      0.00 13093100  172672   0.53  java16时59分12秒  1001      3103      0.00      0.00 13093100  172672   0.53  java平均时间:  1001      3103      0.67      0.00 13093100  172672   0.53  java
  

  • RSS：物理内存占用量（KB），结合 %MEM 可判断是否触发OOM;
  • minflt/s：次要缺页错误（无需磁盘I/O），通常无害;
  • majflt/s：主要缺页错误（需磁盘加载），频繁出现可能内存不足;

• IO 相关字段

  -sh-4.4$ pidstat -d 2 2
  Linux 5.4.0-150-generic (root123)       2025年04月17日  _x86_64_        (8 CPU)17时05分20秒   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command17时05分22秒  1016     23699     -1.00     -1.00     -1.00       2  smbd17时05分22秒   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command17时05分24秒  1016     23699     -1.00     -1.00     -1.00       6  smbd平均时间:   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command平均时间:  1016     23699     -1.00     -1.00     -1.00       4  smbd    
  

  • kB_rd/s：每秒读取数据量，异常高值可能因频繁文件访问或缓存未命中;
  • kB_wr/s：每秒写入数据量，结合 iostat 可分析磁盘队列深度;

3. 应用场景

1. CPU 性能分析

   • 排查高CPU占用进程

     • 问题：系统负载高，top 显示某进程 CPU 占用 90%，需确认具体原因（用户态 / 内核态）

     • 命令：

         pidstat -u 1 5 -p <PID>  # 每秒监控进程的 CPU 细分，持续 5 次
       

     • 关键输出：
       - %usr（用户态）高：可能是程序逻辑问题（如死循环）

       • %sys（内核态）高：可能是频繁系统调用或 I/O 等待

   • 多线程程序 CPU 分析

     • 问题：Java 进程整体 CPU 200%，需确定是否某线程异常

     • 命令：

       pidstat -t -u 2 -p <PID>  # 显示进程内所有线程的 CPU 占用
       

     • 关键输出：

       • 某线程 %CPU 持续 100%+：可能是线程死锁或无限循环

       • 示例：

         PID   TID    %CPU   Command
         1234  1235   198.00  java  # 线程 1235 占用近 2 核，结合 jstack 定位堆栈
         

2. 内存问题分析

   • 追踪内存泄漏

     • 问题：进程内存持续增长，怀疑泄漏

     • 命令：

       -sh-4.4$ pidstat -r -p 14576 5
       Linux 5.4.0-150-generic (root123)       2025年04月17日  _x86_64_        (8 CPU)19时39分33秒   UID       PID  minflt/s  majflt/s     VSZ     RSS   %MEM  Command
       19时39分38秒  1003     14576 330221.00      0.00 24509920 24506448  74.83  enum
       19时39分43秒  1003     14576 182500.20      0.51 31634620 31445264  96.02  enum
       19时39分48秒  1003     14576  18247.94      0.00 31952872 31410668  95.91  enum
       19时39分53秒  1003     14576      0.00      0.00 31952872 31377392  95.81  enum
       19时39分58秒  1003     14576   8408.20      0.00 32121040 31366188  95.77  enum
       19时40分03秒  1003     14576  14859.60      0.00 32418304 31378212  95.81  enum
       19时40分08秒  1003     14576   2509.28      3.15       0       0   0.00  enum
       

     • 关键输出：

       • RSS（常驻内存）持续增加且无回落：可能泄漏
       • MEM%单位为KB (进程RSS / 系统总物理内存)占比很大，内存明显泄露

3. 磁盘 I/O 瓶颈定位

   • 识别高 I/O 进程

     • 问题：磁盘利用率 100%，需找到具体进程

     • 命令：

       pidstat -d 1 -p ALL  # 每秒显示所有进程的 I/O 统计
       

     • 关键输出:

       • kB_rd/s（读速率） /kB_wr/s（写速率）：定位读写大户

     • 示例：

       PID    kB_rd/s  kB_wr/s  Command
       4567   5000.00   200.00   mysqld  # MySQL 每秒读 5MB，可能索引缺失导致全表扫描
       

4. 分析上下文切换

   • 进程上下文切换

     • 问题：系统负载高但 CPU 使用率低，可能是上下文切换频繁

     • 命令:

       pidstat -w 1 -p <PID>  # 每秒显示进程的上下文切换次数
       

     • 关键输出：

     • cswch/s（自愿切换）：线程等待资源（如 I/O）

     • nvcswch/s（非自愿切换）：内核强制调度（如时间片耗尽）

     • 示例：

       PID    cswch/s  nvcswch/s  Command
       1234   10000     500        java  # 高自愿切换，可能线程阻塞在网络或锁
       

   • 优化多线程调度

     • 问题：某线程独占 CPU，其他线程饥饿

     • 命令：

       pidstat -t -w -p <PID>  # 线程级上下文切换统计
       

     • 解决：通过 taskset 绑定线程到特定 CPU，减少跨核调度开销