携程数据库全面崩溃引热议 总结网友奇葩的“数据库门”

携程数据库全面崩溃引讨论热潮 总结网友经历过的数据库门携程数据库全面崩溃引讨论热潮 总结网友经历过的数据库门
今天携程数据库崩溃引发讨论热潮,很多程序员其实都有误删除数据库的经历,这里挑选一些有意思的案例与大家分享。 网友红烧Lo: 想起我在高盛刚入职的时候一不小心把生产环境compliance数据库锁了,纽约gsam的equity trading停顿了15分钟,完了经理跟我说,没事儿,我闯过更大的祸。 网友张莹莹: 当时在搜狐工作,有一天晚上在维护论坛的时候,操作失误删了数据库,具体细节记不清了,不知当时怎么想的我还去贴吧发了个帖子,其实心里很害怕。
数据库门数据库门
 
数据库门数据库门
数据库门数据库门
数据库门数据库门
后来,我们组长和同事一起帮我背了这个锅,非常感谢他们,但由于备份间隔时间太长并且不完整,日夜奋斗好几天数据才基本恢复,这件事并没有引起领导的注意,毕竟公司的项目和网站很多,后来,我辞职了,自己创业。其实作为互联网公司,误操作在所难免,养成在重要操作前先备份的习惯是很有必要的,不管是程序上的漏洞,还是管理上的,最可怕的还是人。 网友 左耳朵耗子: 当年在亚马逊的时候,AWS一个新入职的开发工程师在工作第一天做熟悉开发环境自助培训时,不小心联上了生产线数据库,把整个数据库给Rebuild了,导致全美Netflix停止服务数小时。 网友qinjianxiang: 十一年前,我手写SQL UPDATE线上数据库,由于引号把WHERE子句截断,用户文章几乎全被清空,不幸的是备份程序停了半个月。于是全公司同事手工到搜索引擎快照中找回用户的文章。我的主管自罚半个月工资,我没事。去年,我这主管创办的公司在NASDAQ上市了,我也没再犯同样的错。 网友郝西哲: 实习的时候干过这种事…… 外企500强,制造业,误删了上万条付款信息,金额3000多万…… 背景信息:因为是小实习生,所以工作职责很简单,和四五十家代理商对接,所有代理商把他们的销售记录发给我,我帮他们整理完统一向公司申报付款。 所有的记录都在一张excel表里,这就是隐患啊!!一开始老板会和我一起定期共享这张表,后来因为我表现得好,老板不过问了,于是… 其实我有很仔细的保护数据。每隔两三个小时就另存为一次。可是…… 有一天公司升级电脑,把系统重装了。我竟然把所有数据放在了桌面也就是C盘!(其实是公司给我的电脑只有C盘而我没分区。。) 于是所有数据都没了,一整年的记录… 那段时间所有代理商不停追着我问“上个月的款怎么还没打啊”“我们公司怎么没收到钱啊”… 当时我想,他们公司会不会因为我的失误股价大跌啊。 解决的办法: 1.一条一条地翻邮箱。。把里面涉及到付款的东西找出来。(平时一周有上百条邮件,我要翻一年的邮件,感受一下) 2.把所有快递壳子拿出来。。因为代理商会在壳子上贴纸写金额,也是一条一条做。(于是我从那以后养成了从不扔快递壳的习惯。) 3.找文印中心,大公司收到的发票都会复印或者扫描,从他们那里找复印文件做核对。 那是我那段实习生涯中最黑暗的时候。 实习的最后一个月,老板问我,你要不要续签?我问他,签多久?他说,想签多久签多久。我想了想,还是没脸继续给公司工作了,逃跑了。 这个故事告诉我们,大公司繁琐的流程(扫描存档、邮件沟通),有时候能救你一命。 这个故事也告诉我们,大公司呆板的办事风格(不用云共享,流程节点单人负责),有时候会害你一命。 这个故事还告诉我们,不要在桌面放东西。。桌面的东西都是C盘的。 最后,这个故事告诉我们,不要相信实习生。 网友护航: 2010年7月份,我22岁,在加州的一家网游公司工作。我刚毕业,这是我的第一份真正意义上的工作。我有了工资收入,有了自己的宿舍。我感觉长大了,头一次有这样的感觉。 有两个“工程师”在为公司的旗舰产品——一款RPG游戏——写代码,我是其中之一。我在大学里学的是哲学,这意味着,虽然我知道如何去思考、解决一个问题,但我对最佳实践方法、设计模式等方面的知识很缺乏。我完全倚仗基本的LAMP相关知识,对它们付出了极大的热情。 这款游戏的设计者(我们的老大)经常从暴雪公司出品的风靡世界的游戏“魔兽世界”中吸取灵感。在当时,魔兽世界里的“Raids”玩法在玩家中激起了前所未有的兴奋和热情。这个东西是我们特别想在我们的游戏中复制的功能。 我被分派去实现我们的游戏中的Raids。同事山姆被大量的重构工作纠缠住,于是我就幸运的有机会去开发一些新的令人兴奋的东西了。 我们的开发环境的一大特色是,我们开发代码直接连的是生产库。回想起来,这真是难以理解,我竟然没有询问这是为什么,真是一个笑柄。 我是使用一个MySQL客户端来查看数据库表,这个工具有个华而不实的OSXy接口的界面…远不如phpmyadmin。我的一部分测试工作涉及到手工的清除RAIDS表,然后用程序重建。 这种工作的单调让我精神恍惚,一个懒洋洋的下午,我发现自己昏昏欲睡,鼠标光标移到了USERS表达图标上,然后弹出右键菜单,点击‘clear’。 我的所作所为会带来的严重后果并没有立即击倒我。我起初只是感觉到一种灵魂出窍,好像是悬浮在黑暗的房间里,看见各位同事都勾着腰趴在发光的显示器上。 那么,究竟是什么后果呢?我们的游戏有上万个付费用户。用户花钱买装备,提升他们游戏中人物的能力。所有这些人物的数据都放在USERS表里,现在全没了。 大概一分钟之后,一个业务经理走了进来。“我感觉有什么地方出问题了”,她说。我回答说,“是的,我知道出了什么问题”。 我发现自己倚着一张桌子给数据库提供商Rackspace打电话寻求支持,耐心的听着他们的工程师解释说我们的数据库实例的备份两个月前就已经停止了。啊! 下午,一层又稠又密让人压抑的愁云充满了办公室的上空。大家知道有什么地方出来问题,但只有少部分人知道是什么问题。我被拽进了一个在会议室举行的“工程师+领导”的紧急会议。 CEO斜坐在桌子对面,看着我的脸,说,“你他妈干的好事!你让我们损失了数百万美元的收入”。他的合伙(通过Skype远程出席会议)插进一句话“你替自己祷告吧”。 整个公司在接下来的数天里都在做减灾控制。游戏开发运营上的工作全部停止。技术部员工试图通过其它数据表里的数据关系来尽可能的恢复USERS表。非技术员工来应付愤怒的客户,为那些声称记得自己游戏数据的人做记录。我这些天干脆就没回家。身上都发臭了。
一直都没有公开的信息表明我要为此全权负责。大家都收到了一份邮件,里面称这是一个“初级程序员”的责任事故。公司里只有我和另外一个人被看作是“初级程序员”。
不超过三天,很显然,所有人都知道了是我。大家开始用异样的眼光看我。少数几个人,对此表示同情。但大多数人,更多的是愤怒和不信任。对他们来说,是这个公司提供了他们这最好的工作机会。我把公司推向了困境,也同时把他们的幸福和生计推向困境。
我情绪低落,充满内疚和惭愧。在一个“全公司”的大会上我公开的进行了道歉。有人鼓掌。
一个月后,终于,我写了一封辞职信给CEO和项目经理。我离开了这个城市,头也不回的去了纽约。 整理自知乎和新浪微博,欢迎各位小伙伴补充。 未经允许不得转载:运营喵 » 携程数据库全面崩溃引热议 总结网友奇葩的“数据库门”
分享到: 更多

评论 0

  1. 昵称 (必填)
  2. 邮箱 (必填)
  3. 网址
鸿运国际