「数据库」GitHub多次宕机的罪魁祸首竟是MySQL?
认证:数码产品优质原创作者
本文有1081个文字,大小约为5KB,预计阅读时间3分钟
原文标题:GitHub多次宕机的罪魁祸首竟是MySQL?
宕机时时有,但近期特别多。这边苹果服务器发生大规模宕机,导致 App Store、Apple Music、Books 等十几项服务中断,另一边全球知名代码托管平台 GitHub 也出现了此种情况。
不过,针对宕机事件,GitHub 迅速进行跟进并公开了最新的调查报告,究其原因,GitHub 多次宕机竟与 MySQL 数据库有关。
GitHub 宕机原因分析
有媒体统计,GitHub 在过去一周中多次中断影响的开发者数量高达 7300 万。根据网友投诉以及 GitHub 官方统计,过去一段时间内的宕机分别发生在 3 月 16 日、17 日、22 日、23 日,每起事件持续时长在 2-5 小时。
GitHub 高级工程副总裁 Keith Ballinger 发文表示,「我知道这会影响许多客户的生产力,我们也非常重视这一点。过去几周发生的宕机事件根本原因是我们的‘ MySQL1 ’集群中的资源争夺,在负载高峰期,影响了 GitHub 大量服务和功能。」
根据官方公告,宕机的主要时间线如下:
3 月 16 日 14:09(持续 5 小时 36 分钟)
第一次宕机发生时,GitHub MySQL1 数据库负载增加,导致数据库访问达到最大连接数。这个数据库接收大量的读 / 写流量,也被多个服务程序应用。
当中断发生时,GitHub 发现 MySQL1 数据库所有的写入操作都无法进行,影响 Git 操作、webhook、拉取请求、API 请求、issue、GitHub Packages、GitHub Codespaces、GitHub Actions 和 GitHub 页面服务。
经过调查发现,这种情况似乎与峰值负载以及特定情况下查询性能不佳有关。
值得注意的是,GitHub 使用 MySQL 作为所有非 git 仓库数据的主要存储,对其高可用性也有很大的要求。
GitHub 的 MySQL 集群使用经典的主从配置,主集群中的某个节点能够接受写入,其余的从集群节点异步同步来自主服务器的更改,并提供数据的读取服务。基于此,GitHub 可以实现故障转移,即在一个写入失败时,提示主节点崩溃的场景中,会有另一个新的主节点被启用,用以支撑场景实现,避免宕机。
但是这个选项失败了,宕机还是发生了。
3 月 17 日 13:46 (持续 2 小时 28 分钟)
次日,GitHub 还是宕机了,虽然持续时间比前一天要少,但 MySQL1 中呈现的是相同的峰值流量模式和负载。
对此,GitHub 解释道," 在这个峰值前,我们无法确定和解决查询性能问题,我们决定在问题升级前主动进行故障转移。
不幸的是,这导致了一种新的负载模式。在新的故障转移主服务器过程中引入了连接问题,并且 GitHub 努力重置这些连接时,应用服务再次无法连接到 MySQL1。"
基于此,GitHub 能够确定负载模式,随后实施了一个索引来修复主要的性能问题。
3 月 22 日 15:53 UTC(持续 2 小时 53 分钟)
虽然 GitHub 在前两次中减少了负载,但是对于最终结果他们也并不是有 100% 的信心。
因此,在第三次宕机发生之前,GitHub 在数据库代理上启用了内存剖析,以便更仔细地观察峰值负载期间的性能特征。同时,当故障发生,以及客户对 MySQL1 的连接失败时,GitHub 再次执行主故障切换进行了恢复。
3 月 23 日 14:49 (持续 2 小时 51 分钟)
发生了第四次宕机时,GitHub 限制了 webhook 的流量,并在其数据库无法处理峰值负载时使用该控件来缓解未来的问题。
解决方案
截至目前,GitHub 并不能完全阻断宕机事件再次发生的可能性。
不过,为了防止这些类型的事件在未来发生,GitHub 表示," 我们已经开始对这个特定数据库在高峰期的负载模式进行审计,并根据这些审计进行一系列的性能修复。作为其中的一部分,我们正在将流量转移到其他数据库,以减少负载并加快故障切换时间,同时审查我们的变更管理程序,特别是与生产中高负载期间的监控和变更有关的程序。"
作为一家托管服务平台,GitHub 时不时的宕机事件,无疑对开发者而言是一种不好的体验。对于此,GitHub 表示,对这些中断造成的负面影响深表歉意。也承诺将快速处理中断问题并最大限度地减少宕机的时间。
在此次宕机事件中,你是否受到了影响?
其他人还看了
小米12Lite5GNE手机现身IMEI数据库,预计是Civi2国际版
郑重声明:本文“「数据库」GitHub多次宕机的罪魁祸首竟是MySQL?”,https://nmgjrty.com/shumacp_391494.html内容,由CSDN提供发布,请自行判断内容优劣。
- 全部评论(0)
- 亚洲欧洲VAT更新了!网友:没错,更精彩了
- 亚洲欧洲VAT免费播放!网友:已经来了不少
- 亚洲欧洲VAT很多女主播加入!网友:这里没有任何限制
- 亚洲欧洲VAT不收费了!平台主播:今天开始免费!
- 天干天干天啪啪夜爽爽av被盛赞,网友们纷纷求续集!
- 日本linodeiphone69内容区开放了!网友:可以白嫖了
- 日产一区日产2区 维护成功,可以无限制进出了!
- Vodafonewififreehd晚上偷偷看!粉丝:低调一点!
- W永久939W乳液人气暴涨原因,无限制出入是关键!
- 大香煮伊在2020一二三久又开放了,还不限制出入!
- HAYAXURAX18永不失联!网友:还可以使用!
- 939w78v78w乳液永久w免费播放!网友:已经来了不少
- PRUBURBHD内容区开放了!网友:可以白嫖了
- 亚洲欧洲VAT出入无限制!网友:平台都这样才好!
- 精品无人乱码一区二区三区在开放视频!网友:确实开放了!
- 天天躁恨恨躁夜躁2020晚上偷偷看!粉丝:低调一点!
最新更新
- 亚洲欧洲VAT更新了!网友:没错,更精彩
- 亚洲欧洲VAT免费播放!网友:已经来了不
- 亚洲欧洲VAT很多女主播加入!网友:这里
- 亚洲欧洲VAT不收费了!平台主播:今天开
- 天干天干天啪啪夜爽爽av被盛赞,网友们
- 日本linodeiphone69内容区开放了!网友:可
- 日产一区日产2区 维护成功,可以无限制
- Vodafonewififreehd晚上偷偷看!粉丝:低调一
- W永久939W乳液人气暴涨原因,无限制出入
- 大香煮伊在2020一二三久又开放了,还不限
- HAYAXURAX18永不失联!网友:还可以使用!
- 939w78v78w乳液永久w免费播放!网友:已经
- PRUBURBHD内容区开放了!网友:可以白嫖了
- 亚洲欧洲VAT出入无限制!网友:平台都这
- 精品无人乱码一区二区三区在开放视频!
推荐阅读
- 「生物」我们应该寻找什么样的外星生命,高等的还是低等的?
- 「空间望远镜」韦布空间望远镜捕捉到布满恒星的创生之柱
- 「行者」从《双城之战》到《边缘行者》,游改动画迎来盛世?
- 「国际象棋」智能肛珠作弊案反转:19岁小将告世界冠军诽谤索赔7亿
- 「英伟达」不止是游戏党,他们才是被英伟达坑怕的人。
- 「索尼」索尼官宣!猜猜A7R5多钱?R2要价1.9万、R3要价2.4万、R4要价2.7万……
- 「癌症」一种癌症转移的关键因素
- 「智能手表」面世八年后,谷歌的智能手表生态终于迎来开放曙光
- 「adobe」用VR手捏3D模型,PS直接与甲方对线,Adobe新技术确实给设计师炫到了
- 「amd」RTX40的对手来了!AMDRDNA3显卡发布会官宣
- 「奥斯汀」苹果M3准备登场,库克展示奥斯汀AppleSilicon工程团队努力成果
- 「马修」Copilot要摊官司了!工作20年老程序员重新激活律师证,发起集体诉讼,
猜你喜欢
- [iPhone]iPhone13promax远峰蓝128G入手
- [安卓手机]realme真我GTNeo2开箱,金刚石冰芯散热系统+E4屏,5000mAh大电池
- [贴膜]红米9爆屏更换记录,弯曲的中框修复
- [智能机器人]编程从娃娃抓起,MakeBlock程小奔上手体验
- [智能摄像机]内置大电池,无需打孔走线,小米室外摄像机给你满满的安全感
- [充电器]65w网红氮化镓一次看个够
- [电脑支架]原汤化原食,LGErgo显示器支架
- [蓝牙耳机]中端耳机音质天花板,降噪很有一手,鹿图COCO真蓝牙降噪耳机评测
- [音频播放器]关于R01主板的主观看法,和一些碎碎念
- [充电器]双口快充,满足日常需求
- [VR设备]GOOVISLite头戴影院评测
- [蓝牙耳机]魅蓝Blus耳机体验,魅蓝依旧还是当年坚持做良品的青年良品
- [安卓手机]从5988跌至2749,256GB+鸿蒙OS+7nm麒麟,从高端市场跌至中端市场
- 「轻众测|素诺智能可视冲牙器」别急,对准再冲!素诺可视冲牙器让残渣无所
- 「九号新品Nano及Air T15」萌娃初体验——Ninebot九号平衡车Nano