一、环境说明
应用名称:新备份服务器
OS:RHEL7
二、故障描述
存储:日立G350
主机操作系统:红帽7 64位
使用方式:multipath多路径聚合后的盘,LVM方式使用,文件格式为EXT4
情况:主机所连接的存储空间爆满,文件系统无法读写。
对存储空间进行回收,其它几台连接了该存储的主机经重新挂载目录后恢复读写。
该异常主机 multipath -ll 输出显示为 “failed ready running”状态,pvs 输出显示找不到设备。
![1733293030492080.png 1.png](/data/upload/image/20241204/1733293030492080.png)
存储映射过来的盘只读,链路聚合不成功。
![1733293069800004.png 1733293066315538.png](http://a8y.gt5cheats.com/data/upload/image/20241204/1733293069800004.png)
![1733293099717168.png 3.png](/data/upload/image/20241204/1733293099717168.png)
![1733293110702016.png 44.png](/data/upload/image/20241204/1733293110702016.png)
![1733293120123518.png 5.png](/data/upload/image/20241204/1733293120123518.png)
重启过主机,删除过路径的设备重扫,依然失败。
三、处理过程
登录光交
查看主机端口和存储端口
![1733293144174309.jpg 6 (2).jpg](/data/upload/image/20241204/1733293144174309.jpg)
![1733293237374574.jpg 7.jpg](/data/upload/image/20241204/1733293237374574.jpg)
![1733293455475623.jpg 8.jpg](/data/upload/image/20241204/1733293455475623.jpg)
存储通信也正常
主机端收集sosreport
存储映射的块设备ro
cat /sys/block/sdb/ro
1
cat /sys/block/sdj/ro
1
![1733293976175185.jpg 10.jpg](/data/upload/image/20241204/1733293976175185.jpg)
存储端查看日志:
![1733294032411081.jpg 11.jpg](/data/upload/image/20241204/1733294032411081.jpg)
![1733294139468408.png 12.png](/data/upload/image/20241204/1733294139468408.png)
![1733294173544694.png 13.png](/data/upload/image/20241204/1733294173544694.png)
“DP Protect attribute setting of DRU”怀疑存储在lun被写满后,将lun设为只读。
找到Data Retentain,查看lun的读写状态。
老版本界面如下:Actions—Other Functon—Data Retention
![1733294216134682.png 14.png](/data/upload/image/20241204/1733294216134682.png)
新版本actions里没有这个选项,需要开启第二窗口,如下:
![1733295243268941.png 15.png](/data/upload/image/20241204/1733295243268941.png)
![1733295252606757.png 16.png](/data/upload/image/20241204/1733295252606757.png)
![1733297144498414.png 18.png](/data/upload/image/20241204/1733297144498414.png)
开启第二窗口后,Other Functon就有Data Retention功能:
![1733297302263819.png 19.png](/data/upload/image/20241204/1733297302263819.png)
![1733297317854581.png 20.png](/data/upload/image/20241204/1733297317854581.png)
![1733299876978935.png 23.png](/data/upload/image/20241204/1733299876978935.png)
![1733303887501721.png 24.png](/data/upload/image/20241204/1733303887501721.png)
将Attribute为Protect的LDEV改为读写:
![1733303897941472.png 25.png](/data/upload/image/20241204/1733303897941472.png)
修改完,Apply
![1733303935123006.jpg 26.jpg](/data/upload/image/20241204/1733303935123006.jpg)
主机对block进行rescan
echo 1 > /sys/block/sdb/device/rescan
echo 1 > /sys/block/sdj/device/rescan
![1733304103312038.jpg 27.jpg](/data/upload/image/20241204/1733304103312038.jpg)
重启后lvm可以使用,文件系统可以挂起。至此故障处理完毕。