服务器故障排查记录

这段时间硬件组同学一直在公司服务器上调试PLC,系统是ubuntu，今天跟我说服务器连接不上了，立即开始排查

先试试ssh，第一次连接不上，第二次连上了，非常卡顿，卡顿的要死

根据本人从入坑到现在拥有和管理的服务器已经有七八个（1G1C,0.5G1C,2G2C,2G4C,32G24C,320G144C都玩过）的经验，一般有至少三种常见情况

服务器内存沾满
服务器CPU沾满（有服务器被恶意攻击经验）
磁盘沾满
带宽低

公司服务器内存320G,磁盘3T,等了好久好不容易ssh上了

top一下

sh
top - 18:20:33 up 30 days,  6:51,  3 users,  load average: 49.36, 49.18, 28.12
任务: 721 total,  24 running, 697 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.1 us, 71.8 sy,  0.0 ni, 17.5 id, 10.6 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem : 290049.6 total,    686.8 free, 289362.9 used,    233.7 buff/cache
MiB Swap:   8192.0 total,      0.1 free,   8191.9 used.    686.8 avail Mem

 进程号 USER      PR  NI    VIRT    RES    SHR    %CPU  %MEM     TIME+ COMMAND                                                   
   7402 tan       20   0 3528984   5376      0 S  1331   0.0  38:55.08 snap
   2044 mysql     20   0 3409784 359032    448 S 318.3   0.1 175:34.63 mysqld
   1928 root      20   0 2910072  16128   6272 S 231.9   0.0  50:27.93 containerd
   3084 root      20   0  671448 316908    448 S 210.7   0.1     17,50 ToDesk_Service
3803870 tan       20   0 8900700  18188   2688 S 182.0   0.0  30:49.55 rustdesk
   5451 tan       20   0  810640  96680   6032 R 162.9   0.0     23,40 ToDesk                                                    
3452403 tan       20   0  293.1g 277.8g   6272 R 141.7  98.1 142:33.20 python  // 罪魁祸首                         
    819 root      19  -1   51244  10740  10292 R 100.0   0.0  23:48.90 systemd-journal                                           
   4889 tan       20   0 9143912 328180  31640 R 104.6   0.1    14d+6h gnome-shell                                               
   6163 tan       20   0 3443540  19832  10304 R 104.3   0.0 187:36.24 gjs

一看不得了，负载和内存都高得不得了，特别是内存，罪魁祸首是python程序

想起下午开组会的时候中途突然相应很慢，还是重启了一下才好的，现在看来就是这个原因了

这个python程序是研究生用python写的，丢给我此时了下功能就直接用fastapi封装了一下就扔上面去了

我还确认了一下，因为PLC的代码也是用python写的


ps -p 3452403 -o pid,ppid,user,group,vsz,rss,cmd

展示信息


tan@changtai:~/sy$ ps -p 3452403 -o pid,ppid,user,group,vsz,rss,cmd
    PID    PPID USER     GROUP       VSZ   RSS CMD
3452403       1 tan      tan      307305120 291295520 python main.py

赶紧杀了，kill 3452403

瞬间变流畅了