这是一个创建于 2072 天前的主题，其中的信息可能已经有所发展或是发生改变。
人在帝都，公司在南京有个项目，几百台服务器掉电了，因为要省钱没装 ups，导致文件系统损坏，ES 启动不了，甲方要求下周前恢复。目前组里只有我对 ES 还算稍微熟悉一点，所以也就只有我去了。但是老婆担心去火车站风险太大，说啥不让去，还让我辞职不干了。但我真担心辞职了现在这情形不太好找工作啊。大龄野生码农，又没刷过什么题，感觉找工作好费劲啊。到底是去还是不去啊。
btw，有大佬见过这种情况么，
- hdfs 的 datanote 读写 blk 和 ES 扫文件读写_state 的时候都会报 input/output error 。这种情况除了 unmount 硬盘 fsck 一下还有别的解决方案么？
- fsck 会损失数据么？目前磁盘是 ext4 文件系统，10 个 4T 的盘做了 raid0 。
第 1 条附言 2020-04-18 15:35:32 +08:00
承蒙各位关心，已经远程搞定了，目前看来应该是不用去了。
btw，我不是去解决重装系统和磁盘的问题，并且也不是我一个人去。。是一个组。我只是比较熟悉 Elasticsearch，主要就负责解决如何尽量保留 Elasticsearch 数据的问题，大家各自有分工，我并不会承担数据丢失的责任（要负责也是我们架构师负责）。
目前是这样搞的，感谢“向日葵”。先将没问题的几台机器筛出来，然后关闭集群 allocation 和 rebalance，并把所有问题机器的 ip 都用 filter exclude 掉。这时候打开主分片的 allocation，主分片会自动往没问题的机器上 relocate 。经过了一晚上，现在数据已经都到没有问题的节点上啦~。最后再把问题设备下线，交给硬件厂商检测，重装。再让新机器加入集群，配置改回，重置副本。任务完成~！
btw，我不是去解决重装系统和磁盘的问题，并且也不是我一个人去。。是一个组。我只是比较熟悉 Elasticsearch，主要就负责解决如何尽量保留 Elasticsearch 数据的问题，大家各自有分工，我并不会承担数据丢失的责任（要负责也是我们架构师负责）。
目前是这样搞的，感谢“向日葵”。先将没问题的几台机器筛出来，然后关闭集群 allocation 和 rebalance，并把所有问题机器的 ip 都用 filter exclude 掉。这时候打开主分片的 allocation，主分片会自动往没问题的机器上 relocate 。经过了一晚上，现在数据已经都到没有问题的节点上啦~。最后再把问题设备下线，交给硬件厂商检测，重装。再让新机器加入集群，配置改回，重置副本。任务完成~！
 | 1 wangcen123 2020-04-17 10:16:58 +08:00 你去完南京，回北京要隔离吗？ |
 | 2 xiaobo944 2020-04-17 10:27:34 +08:00 需要隔离。我目前也没法出差，如强制要出只能辞职。虽然也是野生码农，没刷过题，但是有特殊情况没办法。 |
 | 3 laoma2 2020-04-17 10:27:35 +08:00  18 败家的娘们 |
 | 4 emmo 2020-04-17 10:29:07 +08:00 2 风险，感觉并不会太大。不用过于恐慌。只要钱给够，可以去。 |
 | 5 x86 nbsp;2020-04-17 10:30:24 +08:00 via iPhone 2 不让你去也是关心你，但这个时间段叫你辞职也是过了 |
 | 6 18115692244 2020-04-17 10:31:05 +08:00 江苏这边疫情防控还不错，已经连续很多天没有新增病例了。 这边还是蛮安全的。 如果可以的话，楼主还是开车过来吧。 火车飞机由于会和很多人接触，还是有一定的危险性。 |
 | 7 reechangs 2020-04-17 10:31:06 +08:00 风险不太大。但是听说北京需要隔离 14 天，提前跟公司和老婆沟通好吧 |
 | 8 pypy 2020-04-17 10:31:16 +08:00 input/output error 也有可能是硬盘坏掉了（结合你意外掉电的场景分析）。我们这边遇到这问题直接让机房换硬盘。供参考。 |
 | 9 otakustay 2020-04-17 10:32:15 +08:00 按照我得到的政策和消息，到北京不进小区而是住酒店的话，不需要隔离，但需要 7 天内的核酸检测阴性证明 |
 | 11 ansenJ 2020-04-17 10:32:28 +08:00 你老婆也是为你担心, 提辞职这个时间点真的要慎重, 可以跟公司申请提高疫情期间的差旅补贴, 然后跟你老婆做好思想工作, 做好防护措施, 毕竟,你老婆也不会在确保你安全的情况下, 跟钱过不去吧? |
 | 12 hotwater OP @wangcen123 据我们小区居委会说是要的。。正好就在家带娃了。。 |
 | 13 U7Q5tLAex2FI0o0g 2020-04-17 10:33:56 +08:00 1 这段时间应该没多大风险，做好个人防护，问题不大。 至于回北京后要隔离，事先跟公司说好，因为是公事导致，隔离费用应该公司出，而且隔离期间照常发工资。 至于辞职嘛，这个时期感觉不大好 |
 | 15 KasonPasser 2020-04-17 10:34:50 +08:00 @hotwater #10 照你这样说还真应该听老婆的话。 |
 | 16 obitu 2020-04-17 10:37:18 +08:00 我也出了一次北京，我们小区回来肯定是隔离的，而且小区居然收到通知我出北京了 |
| 17 hotwater OP @18115692244 对，我也关注了，途径得地方疫情控制的确实非常不错，而且输入性病例也几乎没有。高铁过去就路过济南，终点是上海。三个小时就到了。开车估计不太可能，那我一人得开一整天。。 |
 | 19 wangxiaoaer 2020-04-17 10:39:18 +08:00 1 戴个 N95 口罩，哪那么容易感染，最最最主要的，少扎堆，少摸脸，勤洗手。 所以我感觉陆上交通问题不大，最主要反倒是那个机房了，几百台机器呢，不知道通风咋样。 |
 | 20 HashV2 2020-04-17 10:40:01 +08:00 江苏比北京安全多了吧 |
| 21 hotwater OP @pypy 我尝试用 find 命令和 du 命令去遍历数据目录找出坏的文件，然后用 debugfs -w 删掉坏的文件。一开始程序是正常的，结果后面跑着跑着，越来越多的机器开始报这个 i/o error 。我也怀疑是不是物理磁道有坏块，因为如果物理磁道坏了，那是会扩散的。 顺便问下，坏磁盘上的数据是如何备份的呢？ |
 | 22 redam 2020-04-17 10:42:48 +08:00 3 你跟你老婆说：“不上班你养我啊？” |
 | 23 murmur 2020-04-17 10:44:48 +08:00 2 你去了也没用，如果是磁盘损坏的话，第一时间找专业公司保全数据，而不是进行操作，操作的越多恢复的可能性越少 先做全备份，备份在手折腾不慌 |
 | 24 zealic 2020-04-17 10:45:06 +08:00 1 raid0 基本没救了 |
| 26 hotwater OP @ansenJ 应该不会辞职的。现在这种情况，她也知道几乎大部分公司都在裁员和减薪。我们还算不错了，没减薪，只是削减了一两千块的福利。算变相减薪了吧。 |
 | 27 gdt 2020-04-17 10:48:34 +08:00 文件系统坏了，要专门的数据恢复专家来弄吧，程序员又不是搞这个的。 |
| 28 hotwater OP @laoma2 哈哈哈。没有没有，倒不至于。也就差个十几万。我家基本只花我的那份工资就够了。剩下钱她的工资都她存她管了。她很节省的，买衣服基本就优衣库，护肤也是一年就几千块。就是比较担心我和家人的安全。 |
 | 29 coderluan 2020-04-17 10:52:37 +08:00 这事得看你真辞职短期找不到工作的时候，你老婆对你怎么样，楼主自己估计一下然后做决定吧。 |
 | 32 zhangyangkam1 2020-04-17 10:56:13 +08:00 不去，不主动辞职，开始刷题准备找下份工作。 |
| 33 hotwater OP @murmur 对。我对文件系统坏块这里基本是完全不懂。坏块的磁盘还能备份么？还是部分备份？我只比较熟悉 ES，然后让我去恢复 ES 服务，做相应备份。 |
 | 35 ik 2020-04-17 10:59:58 +08:00 via iPhone 过去隔离 14 天，回来隔离 14 天，干活两天 |
 | 36 fhsan 2020-04-17 11:03:31 +08:00 出差肯定隔离，甚至花钱做血清检查 |
 | 37 mwiker 2020-04-17 11:04:27 +08:00 南京没问题，大街上好多不戴口罩的，也没新增感染，高铁上不要吃东西戴好口罩就完事了。 |
 | 38 maemual 2020-04-17 11:05:42 +08:00 via iPhone 这有点过度担心了 |
 | 39 qq525266 2020-04-17 11:07:25 +08:00 13 看到楼上某些人的发言，赚的比老公多担心老公安危不让老公出差这都是败家娘们了，女拳盛行也不是没有道理 |
 | 40 V69EX 2020-04-17 11:08:59 +08:00 1 给人家商用的系统，居然是 raid 0 ? 甲方居然也验收付钱了，真是回扣到位，啥都好说……:-D |
 | 41 ichubei 2020-04-17 11:10:58 +08:00 via iPhone 1 综上所述，听老婆的 |
 | 42 nrtEBH 2020-04-17 11:15:54 +08:00 出差风险不是很大 在机场做好个人防护就好了 倒是你这个故障有点厉害啊 raid0 ？？ 要做好数据丢失的准备 |
| 43 hotwater OP @V69EX 没没，还没初验，只是再试运行。raid0 是因为存储全是分布式，其他方式挂载太不经济了。我们前端关系型数据库都是 raid5 。不过像这种掉电导致 i/o error 的情况大佬见过没？我不知道除了放 ups 还有啥别的好解决方案不？已经发生了那该怎么恢复啊？ |
| 44 coderluan 2020-04-17 11:18:59 +08:00 14 @qq525266 女拳盛行时因为有人在故意制造矛盾，比如你这种：败家娘们只是最开始出现过，当楼主补充了老婆挣的多还节省，回复反倒是听老婆的了，结果到你嘴里就成了“赚的比老公多担心老公安危不让老公出差这都是败家娘们了”。 |
 | 45 solidground 2020-04-17 11:19:51 +08:00 @wangcen123 对啊。现在出门挺安全，主要是回北京很麻烦。这期间产生的费用，公司和对方是否给报。 |
 | 46 lietoumai 2020-04-17 11:36:40 +08:00 要么。。。坐飞机去？ |
 | 47 xiaoxinshiwo 2020-04-17 11:38:18 +08:00 能不能找个南京的小伙伴，你远程指导？ |
 | 48 40EaE5uJO3Xt1VVa 2020-04-17 11:39:48 +08:00 重点，为了省钱不买 UPS，有没有追责 |
 | nbsp; 49 linzhang 2020-04-17 11:44:07 +08:00 UPS 都不买。。。心这么大吗。 建议您综合考虑一下，1.确实现在大环境工作，离职有风险。2.如果你要去，建议你跟你老婆好好的沟通，特别的说明那边的情况、风险之类的。我个人的建议你可以去，可以跟公司谈谈补贴，主要是目前疫情还是 OK 的。武汉都解封了。 |
 | 50 kop1989 2020-04-17 11:47:17 +08:00 不能辞职，辞职后患无穷。因为女人相对缺乏长远考虑。你辞职后，如果短时间没有找到心仪的工作，家庭关系会陷入危机。 |
 | 51 nutting 2020-04-17 11:48:10 +08:00 你这种出差很好了，我们现在没活，让支援其他地方，一走就要三个月，还是 996 |
 | 52 choudidi 2020-04-17 11:48:29 +08:00 换个老婆吧。。。 |
 | 53 caryqy 2020-04-17 11:52:46 +08:00 个别机器文件坏了吗，既然是分布式的存储那坏的机器不管都可以 |
 | 54 Curtion 2020-04-17 11:55:41 +08:00 按照医护人员的防护标准出行？ 这样可以说服你老婆了吧 |
| 55 qq525266 2020-04-17 11:58:40 +08:00 3 @coderluan 难道不是动不动就把败家娘们挂在嘴上的错吗，不分青红皂白帖子还没看清帖子开口就骂人家老婆就很对了?看看后面吧，换老婆的话都说出来了，这部分人简直影响观看帖子体验，一点实质性的建议都没有 |
 | 56 hicdn 2020-04-17 11:59:42 +08:00 @hotwater raid0 加你这个描述，去现场也只能是换换硬盘，干不了别的。恢复数据还是要找专业服务开盘处理。 40T 的空间，raid1 嫌贵的话，好歹用个 raid5 也行。这 raid0 是真的猛士。 > 我尝试用 find 命令和 du 命令去遍数据目录找出坏的文件，然后用 debugfs -w 删掉坏的文件。一开始程序是正常的，结果后面跑着跑着，越来越多的机器开始报这个 i/o error |
 | 57 ilaipi 2020-04-17 12:01:26 +08:00 南京没事的吧，我上海，已经出差去南京两次了，回来也不需要隔离。 我们小区现在外卖都能送上门了，不用再去小区门口拿了 |
 | 58 thtznet 2020-04-17 12:06:49 +08:00 11 你总有一天会明白，只有家人才会真的挂心你。公司？呵呵。 |
 | 59 sadfQED2 2020-04-17 12:08:29 +08:00 via Android Raid0 我惊了，我家 nas 也上 10 了呀 |
 | 62 viewan 2020-04-17 12:17:59 +08:00 via Android 可以商量，和公司要求出差补贴多一点。 |
 | 63 wangkun025 2020-04-17 12:20:59 +08:00 辞职。 |
| 64 coderluan 2020-04-17 12:21:13 +08:00 1 @qq525266 你一开始这么喷#3 我给你点赞，但是一码归一码，他们错的不代表你对，你最开始说的“赚的比老公多担心老公安危不让老公出差这都是败家娘们”明显是不符事实的。 |
 | 65 statement 2020-04-17 12:43:51 +08:00 via iPhone 1 这老婆上哪找，虽然建议不够理性，可以商量。但关心是真的关心。如果是自己不想去逼你去赚钱才心寒 |
 | 66 inwar 2020-04-17 12:46:17 +08:00 via Android Raid0 还不如直通。。。生产侧竟然敢上 |
 | 67 northpolepuppy 2020-04-17 12:51:20 +08:00 via iPad 只有家人真的关心你 |
 | 68 LouisGuo 2020-04-17 12:57:46 +08:00 不辞职留着过年吗？ 不离婚留着过年吗？ |
 | 69 prccn 2020-04-17 12:59:23 +08:00 返京需要居家隔离或者集中隔离 14 天，前者，家人要一起隔离；后者，费用自理。 你老婆的顾虑无非有两个，一是担心你和家人的健康风险，二是担心全家的误工。 如果是后者，建议提前把情况跟公司说清楚，公司应该承担相关费用。 |
| 70 EPr2hh6LADQWqRVH 2020-04-17 13:02:56 +08:00 谁做的 Raid0 这个是责任事故 |
 | 71 mTerminal 2020-04-17 13:16:02 +08:00 via iPhone 你隔离，你老婆也得隔离，你是因为出差隔离，公司给你算工资，你老婆陪你隔离算啥呢？旷工？ 14 天不给开除？你不能光想你自己正好在家带孩子呀。 |
 | 72 dswyzx 2020-04-17 13:19:38 +08:00 公司连 ups 都想省,大概率感觉出差也是能省则省的态度.建议做好提前预防措施.误工费,隔离费,万一中招的工伤 |
 | 73 whileFalse 2020-04-17 13:22:21 +08:00 就 TM 10 盘 Raid0 这件事儿就可以跑路了。 |
| 74 hotwater OP @caryqy 全部机器都掉电了。目前排查出一些有坏块的机器，但是有些机器一开始用 find 和 du 命令递归文件并没发现坏块，只能等程序运行一段时间之后才能发现。现在就是没有有效手段检测出究竟是文件系统坏块儿还是磁盘坏道。 |
 | 75 tabris17 2020-04-17 13:58:12 +08:00 2 狠狠心，把自己腿打断，解决这个两难的问题 |
 | 76 chempotato 2020-04-17 14:00:40 +08:00 via Android @qq525266 发言的先后顺序看看清楚啊，大哥，至少先说的败家才说的赚钱多少 |
 | 78 feelinglucky 2020-04-17 14:02:15 +08:00 `10 个 4T 的盘做了 raid0` 心很大啊… |
 | 79 redtea 2020-04-17 14:03:18 +08:00 《雍正王朝》中，胤接下差事后，为什么又故意把自己弄得生病？ |
 | 81 Aalen 2020-04-17 14:06:02 +08:00 北京出一个本地传染而非境外输入可是大新闻 要是能在北京火车站中标 个人感觉可以买彩票了。 |
 | 83 ElicaKing 2020-04-17 14:07:39 +08:00 听老婆的话吧!有时候老婆担心的是。 |
 | 85 cmlz 2020-04-17 14:09:16 +08:00 1 10 个盘，4T 一个，Raid 0，不掉电我都怕你坏数据。还几百台，没 UPS，这谁设计的方案应该拖出去打靶。 |
 | 87 ccppgo 2020-04-17 14:37:16 +08:00 楼主听老婆的吧, V2 最近难得的正能量贴... |
 | 88 ming7435 2020-04-17 14:48:06 +08:00 v 站真的是人均百万年薪博士高管美女老婆么? 羡慕有一个挣得多的老婆 |
 | 89 shfanzie 2020-04-17 14:48:20 +08:00 听老婆的 |
 | 90 lefer 2020-04-17 14:48:35 +08:00 10 个 4T 组 RAID0，而且还是生产环境，而且还没有冷 /热备份。为什么你们公司的项目，让甲方冒这样的风险。 不觉得你去了可以改变什么啊。 |
 | 91 p23XnFNH1Wq953rV 2020-04-17 14:48:41 +08:00 你老婆让你辞职... 应该有想过大不了就养你吧 |
 | 92 won 2020-04-17 14:50:22 +08:00 自己开车去不就行了，或者让公司给包专机嘛 |
 | 93 rioshikelong121 2020-04-17 14:51:48 +08:00 你老婆不错 |
 | 94 bigjack 2020-04-17 14:55:00 +08:00 综合考虑，可以接收风险的话建议去，听老婆话的话不去 |
 | 95 kvenux 2020-04-17 15:11:25 +08:00 老婆拎得清 |
 | 96 winglight2016 2020-04-17 15:15:57 +08:00 几百台机器的机房没 UPS，组 RAID0，这是认真的吗？出一次差的费用足够买个 UPS 、备份硬盘了吧？ |
 | 97 palxie 2020-04-17 15:16:50 +08:00 辞职有点过了, 火车站风险大, 可以开车过去, 没车也可以租一辆 |
 | 98 mylawer 2020-04-17 15:20:06 +08:00 1 个月前我媳妇单位就让她去南京出差了，回来隔离两周，在家还天天加班。。。 |
 | 99 Navee 2020-04-17 15:22:54 +08:00 肯定听老婆的啊 es 没有改刷盘策略是会优先写磁盘的，所以在有副本的情况下，只要不是同一个主分片+副本分片丢失都是不会丢失数据的 |
| 100 hotwater OP @Navee 哎，问题就是这个集群是个公用的 ES 集群，我们负责维护，很多公司的人建 template 不明白为什么非得不要副本分片。而且比如数据节点 15 个，这些能搞个 30 个分片的索引出来。。十分蛋疼。 我现在打算让运维直接重装几台连不上网络的服务器，然后把正常的索引 reroute 过去，备份，然后再重装所有节点，在开放平衡策略。目前只能这么干干试试了。 |
Select Language