如何利用开源来搭建镜像网站？以中山大学镜像站为例

服务器的基本流程&带宽&存储同步源选择、架构选择提供的服务：ftp |rsync3http.在官方网站上获取同步方法或工具，同步工具定期配置源列表（选择上游源）(crontable)备份、监控和报警、日常维护、优化文件编制(Wiki),Submitmirorslist其他0/8&带宽&存储服务器：Linux,maybewindows?..orz带宽:越大越好(上带宽太小，不能提供更好的服务，下带宽太小，不能及时同步完整(根据网络情况，尽量避免负载高峰)。对外服务，需要公网IP，有域名比较好。储存:越大越好(如果提供大量的外部服务，估计家用*盘不会持续一年)。可以考虑使用SSD作为cache。1/8.同步源选择，架构选择同步源选择:根据需要选择所需的发行版本，稳定性第一，多样性第二，满足需求。同时要注意“性价比”(自用镜像不需要考虑)。比如OpenBSD的性价比可能很低，消耗大量同步流量和磁盘空间的性价比可能不是很高。同时，比如大学的镜像站需要网络中心的支持，所以需要考虑学校用户的支持和热度(学生的支持不够，NC的支持可能会下降)。因此，如果添加类似Ubuntu的发行版本，“性价比”将非常高。仔细选择网上发行版(自身资源估计)，尽量保持网上稳定。仔细选择网上发行版(自身资源估计)，尽量保持网上稳定。不要随意更换服务。注意预留足够的空间！感谢中大IGI师兄以上的建议。推荐:“搭建linuxmirror镜像”架构选择:一个发行版本可以保护各种架构(如debian):alpha、amd64、arm、armel、hppa、hurd-i386、i386、ia64、m68k、mipsel、mips、powerpc、s390、shandsparc,source,现有的debianoldstable，stable,testing,unstable,还有experimental版本)，所以需要根据需要选择需要同步的架构(因为磁盘空间不是无限的)，一般选择i386、amd64和source。2/8提供的服务:ftp|http|rsyncFTP:vsftpd?2/8.提供的服务：ftp|http|rsyncFTP:vsftpd?还有很多，不太了解，尴尬。HTTP:Webserver建议选择nginx或lighttpd，因为镜像包含大量的静态文件，据说比apache更有优势。记得cn99挂断后，把apache换成nginx。建议:nginx，lighttpdRsync:为下游提供，如清华大学，中国科技大学开放了一些发行版本。中国提供rsync的镜像站并不多，主要是因为rsync会有很高的IO负载，一般负担不起。假如有意愿提供rsync，gogle就可以了。3/8.官网获取同步方法或工具，源列表(选择上游源)同步方法或工具:一般是Rsync，然后从上游拉东西，可以自己写剧本，也可以使用官方工具，比如debian的ftpsync。不要使用wget等工具！不能保证文件link等属性，也不能实现增量同步，浪费资源！清华同步脚本：http://git.tuna.tsinghua.edu.cn/北交IdealMiror工具：https://github.com/ideal/mirror(感谢ideal提供的帮助，愿意搭建镜像站的同学遇到问题可以在twitter上找到他)Rubygems,PyPI,NPM也是同样寻找或自己编写同步脚本后的工具，或者做反向代理。除主动拉外，还有官方主镜像推送到其他官方镜像，如ArchlinuxARM。除了主动拉，还有官方主镜推送到其他官方镜像，比如ArchlinuxARM。ubuntu还有一个同步工具apt-miror上游源:上发行版官网获取mirorslist，然后找到提供rsync服务的镜像，选择上游源，一般选择国内、日本、新加坡、台湾等亚太地区的来源。注:官方rsync可能只对指定IP开放(负载问题)4/8。配置同步工具自行编写同步脚本:故障邮件报警、同步锁控制、两步同步等rsync参数。Rsync教程：阅读igi的同步脚本：http://www.igigo.net/archives/65使用同步工具:清华同步脚本:http://git.tuna.tsinghua.edu.cn/北交IdealMiror工具：https://github.com/ideal/mirror/PyPI,Rubygems,npm:阅读Rubygems和PyPI同步简单教程：http://fangpeishi.com/post/da-jian-pypiji-rubygemsjing-xiang阅读npm同步教程：http://maskray.me/blog/2012-11-21-tuna-npm-注：添加同步锁，debian系需要两步同步(先同步pol目录)。5/8.定期同步(crontable)定时同步:将写好的cron脚本扔进/etc/cron.d/注意定时自动任务crontab使用教程/etc/cron.dthefilenamesmustconformtothefilenamerequirementsofrun-parts:theymustbeentirelymadeupoflet‐ters,digitsandcanonlycontainthespecialsignsunderscores(‘‘)andhyphens(‘-’).Anyfilethatdoesnotconformtotheserequirementswillnotbeexecutedbyrun-parts.Forexample,anyfilecontainingdotswillbeignored.ThisisdonetopreventcronfromrunninganyofthefilesthatareleftbytheDebianpackagemanagementsystemwhenhan‐dlingfilesin/etc/cron.d/asconfigurationfiles(i.e.filesendingin.dpkg-dist,.dpkg-orig,and.dpkg-new).(特殊字符只能使用‘和’-’，除了‘和’.crontab脚本中注意path的配置，如使用rubygems的同步工具遇到rakeabort等问题。6/8.备份、监控和报警、日常维护和优化备份：当配置文件发生变化时，使用脚本将其备份到Dropbox.监控报警：用awk等工具分析同步日记。6/8.备份、监控和报警、日常维护和优化备份：当配置文件发生变化时，使用脚本将其备份到Dropbox.监控和报警：用awk等工具分析同步日记。配置电子邮件服务程序，如exim4，并在以前的脚本中添加异常电子邮件。(移动139邮箱具有短信通知功能)。部署监控程序，如MUNIN，以图表的形式直观地监控磁盘、网络和负载。日常维护：当同步异常失败（如：上游down、上游网络异常、磁盘异常等）时，需要更换上游或其他方法。优化:主要优化镜像站大量静态文件，观察监控合理分配流量和负载。7/8.文档编写(Wiki),Submitmirorslist文档编写:一是积累经验，方便传承，同时也方便其他搭建镜像站的朋友。例如，构建wiki。Submityourmirrortomirrorslist:当镜像站足够稳定时，可以考虑提交给官方mirrorslist，让更多的朋友知道，有一点成就感很容易鼓励自己和继承。内部网络的镜像可以在内部交流平台上公开共享。如果校园镜像站需要注意宣传，以获得更多师生的支持，方便继承。8/8.如果其他人想在大学里建一个镜像站，他们需要网络中心的支持，他们可能需要一颗“耐心”的心；注意继承问题（学校的热度会影响NC对镜像站的支持，做好文件，开发弟弟妹妹，最好有一个Linux协会等平台组织）;找个靠谱的老师支持(镜像快死了，老师可能会救它)，熟悉NC的老师或领导(解决问题比较方便)，记得镜像站要帮忙宣传NC，记得感谢提供帮助的同学、老师和组织；稳定第一。