阿里妹导读：上个月，PHP开拓者在网上纷纭反响涌现 Composer 镜像无法访问的问题。阿里云内部一位 90 后工程师顾咏连夜开工排查，快速办理问题后，他在问题群里收到了一大波来自用户的红包。顾咏末了回绝了红包，接管了阿里技能的约请，来聊一聊这次事宜问题背后的技能。
一则前段韶光，由于国际网络不稳定问题，海内各大Composer镜像都涌现了间歇性无法访问情形，这对海内PHPer的生产事情造成了极大的影响。受此影响，海内各家Composer做事都涌现了相同的问题，而阿里工程师的这个办理方案堪称“大略粗暴”，效率高到没朋友！
阿里云的 PHP Composer 最初研发灵感源自阿里内部一位 90 后工程师顾咏。作为卖力开拓阿里云产品的 PHP SDK的工程师，他在事情中常常碰着同一个问题：只管已经根据PHP 最新版本发布了新的 SDK，但由于镜像工具没有实时同步版本，导致用户安装不堪利。 此外，云效平台企业开拓者对镜像工具的利用体验，同样受到这个问题的困扰，为此，阿里技能团队一起设计开拓并开源了这套阿里云版镜像工具。
这次国际网络不稳定导致的镜像问题，阿里工程师顾咏第一韶光相应了PHPer的诉求，连夜排查问题。 “我们程序员都离不开这个，越早办理越好”，末了终于成功定位问题、完成系统更新，办理了大家的燃眉之急。群里的开拓者主动发红包向其致谢，顾咏十分冲动，然后谢绝了他：“该当做的，红包不能收。”
对付PHP 开拓者来说，Composer 是必不可少的依赖包管理工具，作为存储 Composer 依赖包的 Packagist，却时常由于网络问题让海内开拓者头痛不已，海内开拓者安装依赖常日很慢，或者超时导致无法安装，却又没有稳定的镜像做事可以利用。Packagist 鼓励开拓者建立镜像，但目前的镜像也有诸多不稳定、不可靠的情形。
阿里云Composer 镜像的推出今年七月，阿里云供应了 Packagist/Composer 全量镜像做事，其秒级同步的能力、快速稳定的下载做事、页面上的动态数据展示得到了开拓者的同等好评。
阿里云Composer 镜像的升级
11月16日开始，由于 Composer 镜像涌现了间歇性无法访问情形，不少网友通过阿里云钉钉做事群反应阿里云镜像涌现不可用的情形，紧张 zlib_decode 和 404 缺点。在测试其他镜像为难刁难比时创造，其他镜像也存在此类情形。接到反馈后，我们第一韶光进行问题排查：
问题定位：阿里工程师立即查看系统状态和日志，未创造非常。初步疑惑是由于 CDN 接入层收国际网络延迟导致不可用。
验证：阿里工程师笔将相同的数据回传至海内 Bucket ，在今经多次、多地域直接访问测试，均成功。
决心升级：以往偶尔碰着这种问题，都被当做正常征象对待，而这次持续韶光较长，影响面广，为了彻底办理这类问题，阿里决定升级镜像系统支配方案，直接将最新数据传返国内。
已知现有 Packagist 镜像的问题1）同步的数据不是 Packagist 的根数据。事实上，官方的根数据不对外公开，开拓者平时所访问的数据是镜像，乃至是镜像的镜像。当客户端发起要求后，要求会被官方 DNS 指向其他的镜像站，这些镜像数据与根数据之间已经存在延迟。而由于国际网络或系统设计缘故原由，曾经涌现初次官方镜像站与根数据长达数小时不同步 的情形。
2）没有处理代码包 dist。大多数依赖包的源代码存储在在github、gitlab上，由于网络问题，也会导致利用者下载速率慢，乃至下载失落败。这也是镜像站须要关注处理的，一样平常镜像只供应 meta 数据（包数据）。例如官方推举的 Webysther's mirror code 镜像同步系统就不处理dist。
3）本地文件存储。目前已知的其他镜像系统，是将文件存储在本地，或至少先存储在本地再上传，这样不仅会花费大量本地磁盘空间，还存在系统最大子目录限定，会使得系统存在致命瓶颈。优化版本利用的软连接方案也会随着包的无限增长须要重构。
4）单进程，性能表现不佳，花费 CPU、内存资源大。且处理数据耗时长，更新速率慢，系统的设计导致任务不能分发，且同步韶光间隔越长，同步的韶光越常。
5）没有数据缺点统计，官方源数据存在缺点，也须要直不雅观的展示，让开发者理解情形。
6）系统同步状态、数据不可视化，镜像是否已更新？什么时候更新？本日更新了多少？下一次什么时候更新？这些数据开拓者都不知道。
阿里云镜像的上风阿里云镜像的架构核心目标是实时、快读、稳定、可移植、可扩展，且具备对数据进行自我修复的能力。那么阿里云镜像和其他镜像有什么差异？阿里云镜像又是如何做到秒级同步的呢？
官方互助在数据上，阿里云与 Packagist 官方互助，经由和 Packagist 沟通，阿里云在间隔官方根数据最近的城市节点支配了做事器，同时阿里云的做事器 IP地址 被加入 Packagist 白名单，许可直接、频繁地访问其根数据（Meta）。获取和解析 Meta 后，系统从代码仓库中下载源代码压缩包，再通过阿里云洛神网络不限带宽的将数据传返国内，这从最大程度上担保了海内用户可以及时、快速地获取最新数据。开拓者利用 Composer 安装依赖的数据，都是镜像，乃至是镜像的镜像。例如官方在新加坡的镜像，就数次涌现长达数小时的不更新，以此为镜像源的镜像站就无法为开拓者供应正常的做事。
实时阿里云实时同步源数据，对付以了局景的用户具有十分主要的意义：
1. 急迫须要更新补丁依赖包的利用者。当一个依赖包被创造有bug，得到修复后利用者每每须要第一韶光升级更新，镜像同步的越及时、做事越稳定，利用者的补丁修复的也就越早，止损也就更及时。
2. 检讨依赖包发布状态的包开拓者来说。对付包的开拓者，在发布包后，能尽快的检讨发布状态，通过安装命令验证其作品的可用性。
自主研发高性能系统同步系统由阿里云自主研发，采取 Golang 编写，利用 Redis 做任务行列步队，心跳协程将更新的数据文件分发到任务行列步队，30个协程各自分工获取数据传返国内OSS。这意味着所要同步的数据不再是一个单进程按照顺序一个一个传输，而是多个协程，乃至是多台机上的多个协程一起分工，这又将同步韶光大幅度缩短。
只分发有效任务在任务分发的机制上，实现了任务不重复，由于内存会记录已经成功处理过的任务和已分发的任务，以是不会分发旧文件，也不会发布相同的任务，这避免无效、重复事情，更是大幅度的减少了事情量，降落延迟。
重试机制对付数据获取缺点的情形，系统具有重试机制，对付由于网络问题暂时访问缺点的源数据、代码包，系统会重试要求。
文件存储阿里云 Composer 全量镜像，依赖阿里云强大的 OSS 存储源数据和代码压缩包，不占用本地磁盘，在避免最大子目录的问题的同时，还能轻松移植、扩展系统。
缺点记录记录和统计官方缺点，阿里云将官方记录当中的一些缺点记录下来，在方便内部随时排查问题的同时，也能更准确的理解 Packagist 的情形。
自我修复处理不堪利的任务不会被记录，在间隔韶光极短的下一次同步中会得到修复。而实行缺点的任务则会利用重试修复。
如果须要人工修复，只需删除相应的 KEY，系统即可重新实行并更新状态。
CDN 支撑镜像数据对外，接入了阿里云全国 CDN 节点，阿里云强大的网络根本举动步伐担保了开拓者如丝般顺滑的利用体验。
状态数据可视化镜像系统数据状态可视，在阿里云 Composer 全量镜像的官方页面上，动态显示 Packagist 末了更新韶光，阿里云同步耗时、下一次刷新 CDN 的韶光，系统同步的状态和数据让开发者“心中有数”。
免费全量镜像站，开拓者的福音
阿里做镜像站的历史最早可追溯至2011年，从最开始阿里内部的需求，扩展到为更广大的开拓者免费投入资源，供应更快、更稳定的镜像资源。从最初的几台设备，发展为现在覆盖主流措辞和主流操作系统的全量镜像站。并且，在这个过程中，一贯坚持免费为开拓者供应镜像资源，不断追求更快、更稳定的做事。
目前阿里云镜像站不仅供应Centos、Ubuntu、 Fedora、Arch Linux、 Deepin 等10多个发行版的软件安装源和ISO下载做事, 还供应Python, Php 等多款开拓措辞的包管理镜像做事以及nvidia-cuda, homebrew, kubernetes等 10 多款垂直仓库的镜像做事。每月下载包文件数量已经超过 7 亿次。
海内镜像所做的是缓存所有安装包和元数据到自己的做事器，并通过海内 CDN 进行加速，实现 Composer require/install/update 的操作，并达到最快速率。阿里云的 PHP Composer 全量镜像能够实现与 PHP Packagist 官方实时同步，通过自研的镜像同步系统，实现多协程分工同步、数据自我修复的能力，在担保快速同步的同时，也能快速修复因网络不稳定造成的数据缺点。
末了，欢迎在留言区说出你的利用体验。
作者：顾咏
本文为阿里云原创内容，未经许可不得转载。
