30. ceph pg balance¶
ceph 均衡PG [1] [2] ， 使每个OSD的pg数量相等
30.1. 开启均衡¶
ceph balancer status # 查看状态
ceph mgr module enable balancer # 启用模块（默认）
ceph balancer on # 启用平衡
ceph balancer mode upmap # 设置模式（修改PG mapping）
ceph balancer mode crush-compat # 设置模式（修改weight）
ceph osd set-require-min-compat-client luminous # 设置兼容版本（upmap模式需要此设置）
less /var/log/ceph/ceph.audit.log # 查看调整日志
ceph osd df # 查看调整结果
ceph osd getmap -o osd1.map
osdmaptool osd.map --upmap out.txt --upmap-pool cephfs_data
osdmaptool osd1.map --upmap out1.txt --upmap-pool cephfs_data --upmap-max 300
30.2. 均衡之前¶
[root@ceph1 ~]# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
0 ssd 7.27739 1.00000 7452G 67386M 7386G 0.88 0.76 127
1 ssd 7.27739 1.00000 7452G 84810M 7369G 1.11 0.96 154
2 ssd 7.27739 1.00000 7452G 90694M 7363G 1.19 1.03 163
3 ssd 7.27739 1.00000 7452G 95630M 7358G 1.25 1.08 163
4 ssd 7.27739 1.00000 7452G 99986M 7354G 1.31 1.13 154
5 ssd 7.27739 1.00000 7452G 72930M 7380G 0.96 0.83 139
6 ssd 7.27739 1.00000 7452G 89674M 7364G 1.18 1.02 149
7 ssd 7.27739 1.00000 7452G 83170M 7370G 1.09 0.94 143
8 ssd 7.27739 1.00000 7452G 89210M 7364G 1.17 1.01 168
9 ssd 7.27739 1.00000 7452G 81254M 7372G 1.06 0.92 161
10 ssd 7.27739 1.00000 7452G 86194M 7367G 1.13 0.98 142
11 ssd 7.27739 1.00000 7452G 79042M 7374G 1.04 0.90 135
12 ssd 7.27739 1.00000 7452G 91098M 7363G 1.19 1.03 162
13 ssd 7.27739 1.00000 7452G 86222M 7367G 1.13 0.98 160
14 ssd 7.27739 1.00000 7452G 83950M 7370G 1.10 0.95 158
15 ssd 7.27739 1.00000 7452G 75662M 7378G 0.99 0.86 162
16 ssd 7.27739 1.00000 7452G 76582M 7377G 1.00 0.87 158
17 ssd 7.27739 1.00000 7452G 79886M 7374G 1.05 0.90 143
18 ssd 7.27739 1.00000 7452G 80078M 7373G 1.05 0.91 142
19 ssd 7.27739 1.00000 7452G 86226M 7367G 1.13 0.98 155
20 ssd 7.27739 1.00000 7452G 98662M 7355G 1.29 1.12 162
21 ssd 7.27739 1.00000 7452G 97010M 7357G 1.27 1.10 170
22 ssd 7.27739 1.00000 7452G 91694M 7362G 1.20 1.04 163
23 ssd 7.27739 1.00000 7452G 83654M 7370G 1.10 0.95 152
24 ssd 7.27739 1.00000 7452G 84558M 7369G 1.11 0.96 144
25 ssd 7.27739 1.00000 7452G 93190M 7361G 1.22 1.06 148
26 ssd 7.27739 1.00000 7452G 96062M 7358G 1.26 1.09 163
27 ssd 7.27739 1.00000 7452G 78042M 7375G 1.02 0.88 150
28 ssd 7.27739 1.00000 7452G 94458M 7359G 1.24 1.07 136
29 ssd 7.27739 1.00000 7452G 89714M 7364G 1.18 1.02 137
30 ssd 7.27739 1.00000 7452G 101G 7350G 1.36 1.17 175
31 ssd 7.27739 1.00000 7452G 101G 7350G 1.36 1.18 169
32 ssd 7.27739 1.00000 7452G 90318M 7363G 1.18 1.02 161
33 ssd 7.27739 1.00000 7452G 87510M 7366G 1.15 0.99 147
34 ssd 7.27739 1.00000 7452G 99118M 7355G 1.30 1.12 180
35 ssd 7.27739 1.00000 7452G 84338M 7369G 1.11 0.96 138
36 ssd 7.27739 1.00000 7452G 78362M 7375G 1.03 0.89 149
37 ssd 7.27739 1.00000 7452G 83610M 7370G 1.10 0.95 142
38 ssd 7.27739 1.00000 7452G 82210M 7371G 1.08 0.93 163
39 ssd 7.27739 1.00000 7452G 78970M 7374G 1.03 0.89 156
40 ssd 7.27739 1.00000 7452G 95034M 7359G 1.25 1.08 145
41 ssd 7.27739 1.00000 7452G 95082M 7359G 1.25 1.08 151
42 ssd 7.27739 1.00000 7452G 86190M 7367G 1.13 0.98 141
43 ssd 7.27739 1.00000 7452G 81322M 7372G 1.07 0.92 143
44 ssd 7.27739 1.00000 7452G 78938M 7374G 1.03 0.89 149
45 ssd 7.27739 1.00000 7452G 91010M 7363G 1.19 1.03 167
46 ssd 7.27739 1.00000 7452G 83302M 7370G 1.09 0.94 138
47 ssd 7.27739 1.00000 7452G 83266M 7370G 1.09 0.94 137
48 ssd 7.27739 1.00000 7452G 81142M 7372G 1.06 0.92 147
49 ssd 7.27739 1.00000 7452G 90910M 7363G 1.19 1.03 141
50 ssd 7.27739 1.00000 7452G 92578M 7361G 1.21 1.05 155
51 ssd 7.27739 1.00000 7452G 69102M 7384G 0.91 0.78 129
52 ssd 7.27739 1.00000 7452G 95318M 7358G 1.25 1.08 154
53 ssd 7.27739 1.00000 7452G 95289M 7358G 1.25 1.08 168
54 ssd 7.27739 1.00000 7452G 82046M 7371G 1.08 0.93 148
55 ssd 7.27739 1.00000 7452G 87358M 7366G 1.14 0.99 165
56 ssd 7.27739 1.00000 7452G 91318M 7362G 1.20 1.03 166
57 ssd 7.27739 1.00000 7452G 93522M 7360G 1.23 1.06 156
58 ssd 7.27739 1.00000 7452G 102G 7349G 1.37 1.18 168
59 ssd 7.27739 1.00000 7452G 101966M 7352G 1.34 1.15 157
60 ssd 7.27739 1.00000 7452G 72946M 7380G 0.96 0.83 132
61 ssd 7.27739 1.00000 7452G 77718M 7376G 1.02 0.88 122
62 ssd 7.27739 1.00000 7452G 89394M 7364G 1.17 1.01 160
63 ssd 7.27739 1.00000 7452G 112G 7339G 1.51 1.30 174
64 ssd 7.27739 1.00000 7452G 98122M 7356G 1.29 1.11 161
65 ssd 7.27739 1.00000 7452G 84386M 7369G 1.11 0.96 141
66 ssd 7.27739 1.00000 7452G 100830M 7353G 1.32 1.14 180
67 ssd 7.27739 1.00000 7452G 93634M 7360G 1.23 1.06 171
68 ssd 7.27739 1.00000 7452G 73758M 7380G 0.97 0.84 138
69 ssd 7.27739 1.00000 7452G 81202M 7372G 1.06 0.92 141
70 ssd 7.27739 1.00000 7452G 92550M 7361G 1.21 1.05 155
71 ssd 7.27739 1.00000 7452G 89542M 7364G 1.17 1.01 159
72 ssd 7.27739 1.00000 7452G 94414M 7359G 1.24 1.07 171
73 ssd 7.27739 1.00000 7452G 92546M 7361G 1.21 1.05 171
74 ssd 7.27739 1.00000 7452G 81190M 7372G 1.06 0.92 151
75 ssd 7.27739 1.00000 7452G 87006M 7367G 1.14 0.99 158
76 ssd 7.27739 1.00000 7452G 96202M 7358G 1.26 1.09 175
77 ssd 7.27739 1.00000 7452G 88338M 7365G 1.16 1.00 141
78 ssd 7.27739 1.00000 7452G 108G 7343G 1.45 1.26 169
79 ssd 7.27739 1.00000 7452G 85245M 7368G 1.12 0.97 150
TOTAL 582T 6897G 575T 1.16
MIN/MAX VAR: 0.76/1.30 STDDEV: 0.12
30.3. 均衡过程¶
[root@ceph1 ~]# ceph -s
cluster:
id: 9326d103-6d2e-4d8e-9434-e47e964d1f91
health: HEALTH_WARN
23187/1745280 objects misplaced (1.329%)
services:
mon: 4 daemons, quorum ceph1,ceph2,ceph3,ceph4
mgr: ceph1(active)
mds: cephfs-1/1/1 up {0=ceph4=up:active}, 3 up:standby
osd: 80 osds: 80 up, 80 in; 82 remapped pgs
data:
pools: 2 pools, 4096 pgs
objects: 568k objects, 2272 GB
usage: 6916 GB used, 575 TB / 582 TB avail
pgs: 0.073% pgs not active
23187/1745280 objects misplaced (1.329%)
4004 active+clean
62 active+remapped+backfill_wait
26 active+remapped+backfilling
3 peering
1 active+clean+remapped
io:
recovery: 1213 MB/s, 303 objects/s
30.4. 均衡之后¶
[root@ceph1 ~]# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
0 ssd 7.27739 1.00000 7452G 82494M 7371G 1.08 0.93 151
1 ssd 7.27739 1.00000 7452G 82294M 7371G 1.08 0.93 155
2 ssd 7.27739 1.00000 7452G 86054M 7367G 1.13 0.97 154
3 ssd 7.27739 1.00000 7452G 87710M 7366G 1.15 0.99 150
4 ssd 7.27739 1.00000 7452G 96582M 7357G 1.27 1.09 151
5 ssd 7.27739 1.00000 7452G 78626M 7375G 1.03 0.89 155
6 ssd 7.27739 1.00000 7452G 86410M 7367G 1.13 0.98 150
7 ssd 7.27739 1.00000 7452G 88502M 7365G 1.16 1.00 154
8 ssd 7.27739 1.00000 7452G 84710M 7369G 1.11 0.96 154
9 ssd 7.27739 1.00000 7452G 77894M 7375G 1.02 0.88 153
10 ssd 7.27739 1.00000 7452G 89790M 7364G 1.18 1.02 152
11 ssd 7.27739 1.00000 7452G 83482M 7370G 1.09 0.95 149
12 ssd 7.27739 1.00000 7452G 87630M 7366G 1.15 0.99 156
13 ssd 7.27739 1.00000 7452G 85030M 7368G 1.11 0.96 151
14 ssd 7.27739 1.00000 7452G 79566M 7374G 1.04 0.90 152
15 ssd 7.27739 1.00000 7452G 76942M 7376G 1.01 0.87 155
16 ssd 7.27739 1.00000 7452G 75326M 7378G 0.99 0.85 154
17 ssd 7.27739 1.00000 7452G 84622M 7369G 1.11 0.96 152
18 ssd 7.27739 1.00000 7452G 85998M 7368G 1.13 0.97 152
19 ssd 7.27739 1.00000 7452G 86298M 7367G 1.13 0.98 154
20 ssd 7.27739 1.00000 7452G 94190M 7360G 1.23 1.07 154
21 ssd 7.27739 1.00000 7452G 90726M 7363G 1.19 1.03 156
22 ssd 7.27739 1.00000 7452G 87898M 7366G 1.15 1.00 156
23 ssd 7.27739 1.00000 7452G 82450M 7371G 1.08 0.93 150
24 ssd 7.27739 1.00000 7452G 90090M 7364G 1.18 1.02 154
25 ssd 7.27739 1.00000 7452G 94414M 7359G 1.24 1.07 153
26 ssd 7.27739 1.00000 7452G 93522M 7360G 1.23 1.06 157
27 ssd 7.27739 1.00000 7452G 80406M 7373G 1.05 0.91 153
28 ssd 7.27739 1.00000 7452G 99870M 7354G 1.31 1.13 153
29 ssd 7.27739 1.00000 7452G 96382M 7357G 1.26 1.09 154
30 ssd 7.27739 1.00000 7452G 94618M 7359G 1.24 1.07 159
31 ssd 7.27739 1.00000 7452G 94893M 7359G 1.24 1.07 154
32 ssd 7.27739 1.00000 7452G 85850M 7368G 1.13 0.97 155
33 ssd 7.27739 1.00000 7452G 88750M 7365G 1.16 1.01 153
34 ssd 7.27739 1.00000 7452G 88910M 7365G 1.17 1.01 154
35 ssd 7.27739 1.00000 7452G 96822M 7357G 1.27 1.10 156
36 ssd 7.27739 1.00000 7452G 83758M 7370G 1.10 0.95 155
37 ssd 7.27739 1.00000 7452G 87394M 7366G 1.15 0.99 150
38 ssd 7.27739 1.00000 7452G 81154M 7372G 1.06 0.92 156
39 ssd 7.27739 1.00000 7452G 76602M 7377G 1.00 0.87 158
40 ssd 7.27739 1.00000 7452G 98358M 7355G 1.29 1.11 152
41 ssd 7.27739 1.00000 7452G 92886M 7361G 1.22 1.05 151
42 ssd 7.27739 1.00000 7452G 92146M 7362G 1.21 1.04 149
43 ssd 7.27739 1.00000 7452G 90126M 7364G 1.18 1.02 158
44 ssd 7.27739 1.00000 7452G 83350M 7370G 1.09 0.94 153
45 ssd 7.27739 1.00000 7452G 82242M 7371G 1.08 0.93 153
46 ssd 7.27739 1.00000 7452G 91098M 7363G 1.19 1.03 149
47 ssd 7.27739 1.00000 7452G 90058M 7364G 1.18 1.02 148
48 ssd 7.27739 1.00000 7452G 85786M 7368G 1.12 0.97 154
49 ssd 7.27739 1.00000 7452G 98862M 7355G 1.30 1.12 152
50 ssd 7.27739 1.00000 7452G 91434M 7362G 1.20 1.04 153
51 ssd 7.27739 1.00000 7452G 80554M 7373G 1.06 0.91 149
52 ssd 7.27739 1.00000 7452G 94966M 7359G 1.24 1.08 152
53 ssd 7.27739 1.00000 7452G 90673M 7363G 1.19 1.03 153
54 ssd 7.27739 1.00000 7452G 85718M 7368G 1.12 0.97 153
55 ssd 7.27739 1.00000 7452G 81618M 7372G 1.07 0.92 152
56 ssd 7.27739 1.00000 7452G 86982M 7367G 1.14 0.99 155
57 ssd 7.27739 1.00000 7452G 91050M 7363G 1.19 1.03 154
58 ssd 7.27739 1.00000 7452G 94478M 7359G 1.24 1.07 153
59 ssd 7.27739 1.00000 7452G 96430M 7357G 1.26 1.09 153
60 ssd 7.27739 1.00000 7452G 85606M 7368G 1.12 0.97 156
61 ssd 7.27739 1.00000 7452G 89002M 7365G 1.17 1.01 153
62 ssd 7.27739 1.00000 7452G 90314M 7363G 1.18 1.02 157
63 ssd 7.27739 1.00000 7452G 100G 7351G 1.34 1.16 157
64 ssd 7.27739 1.00000 7452G 95850M 7358G 1.26 1.09 159
65 ssd 7.27739 1.00000 7452G 92030M 7362G 1.21 1.04 153
66 ssd 7.27739 1.00000 7452G 90830M 7363G 1.19 1.03 156
67 ssd 7.27739 1.00000 7452G 85146M 7368G 1.12 0.96 155
68 ssd 7.27739 1.00000 7452G 82534M 7371G 1.08 0.93 150
69 ssd 7.27739 1.00000 7452G 84454M 7369G 1.11 0.96 151
70 ssd 7.27739 1.00000 7452G 91202M 7362G 1.20 1.03 155
71 ssd 7.27739 1.00000 7452G 89382M 7364G 1.17 1.01 158
72 ssd 7.27739 1.00000 7452G 85314M 7368G 1.12 0.97 154
73 ssd 7.27739 1.00000 7452G 85646M 7368G 1.12 0.97 155
74 ssd 7.27739 1.00000 7452G 81206M 7372G 1.06 0.92 156
75 ssd 7.27739 1.00000 7452G 84958M 7369G 1.11 0.96 156
76 ssd 7.27739 1.00000 7452G 87398M 7366G 1.15 0.99 153
77 ssd 7.27739 1.00000 7452G 96258M 7358G 1.26 1.09 153
78 ssd 7.27739 1.00000 7452G 100G 7351G 1.35 1.17 157
79 ssd 7.27739 1.00000 7452G 87453M 7366G 1.15 0.99 154
TOTAL 582T 6898G 575T 1.16
MIN/MAX VAR: 0.85/1.17 STDDEV: 0.08
[root@ceph1 ~]#
| [1] | 参考资料： https://forum.proxmox.com/threads/ceph-balancing-osd-distribution-new-in-luminous.43328/ |
| [2] | 参考资料： https://www.wanghongxu.cn/2018/10/23/ceph-shu-ju-ping-heng/ |