分析搜狐云发展中DomeOS的开发与Docker的应用

2011年初，为了解决搜狐内部各部门海量数据存储和数据在线快速读取的问题，北京R&D中心利用半年时间，汇聚了国内众多顶尖存储人才，自主开发了一套完整的分布式存储系统，包括海量小文件的BFS存储系统、大文件的Bladestore存储系统、元数据的BladeCube存储系统。2012年3月，经过无数次测试和优化，搜狐云分布式存储系统正式在搜狐内推出。随后，搜狐内部的大部分数据逐渐迁移到搜狐云服务，逐渐覆盖搜狐网站、搜狐汽车、搜狐焦点、搜狐新闻客户端、搜狐视频、搜狐相册等几乎所有搜狐内部服务，实现了北京研发中心的最初承诺”onesohuonestorage”。随着公司数据量的增加，搜狐云服务在公司内部稳定运行的两年间，其性能和稳定性得到了长期的验证。与此同时，虽然国内云计算市场巨头众多，团队众多，但从未满足企业的云存储服务。对于数据规模大的企业来说，对数据存储的需求非常强烈。数据的安全性和数据的读写性能直接关系到产品体验，但数据存储的技术门槛相对较高，导致许多公司每年在数据存储上投入大量资金，但效果并不令人满意。虽然市场上有许多优秀的开源存储系统，但由于企业使用环境的不同，开源系统的重复改造通常会浪费大量的人力物力。随着业务量的增长，开源系统的不可预测性也给企业数据带来了巨大的隐患。正是看到国内市场对企业级云存储的强烈需求，搜狐云服务开启了从内部服务向外部服务转型的大门。由于通常开源存储系统的性能在不同的使用环境中差异很大，不能快速解决存储问题，消除安全风险，所以从一开始，搜狐北京研发中心不仅停止存储技术共享，而且致力于为客户提供一站式的存储解决方案，让客户可以简单方便地将数据托管到搜狐云服务，由搜狐支付客户的数据安全，完全省去了客户“重复修复轮子”的麻烦。搜狐云服务的所有存储设备均托管在国内五星级机房。同时，数据传输的各个环节都配备了完整的监控系统，可以保证客户的数据异常在第一时间被发现和恢复，保证客户业务的稳定健康。搜狐云服务的所有存储设备都托管在中国的五星级机房。同时，数据传输的各个环节都配备了完整的监控系统，可以确保第一时间发现和恢复客户的异常数据，确保客户业务的稳定和健康。为了解决企业更多的问题，搜狐云还精心打造了中国最专业的云图像处理系统，帮助企业轻松应对多屏幕时代的多图像问题。搜狐云服务的实时图像处理功能可以帮助企业节省近50%的带宽成本，提高网页访问速度，为终端用户带来更快、更流畅的体验。此外，搜狐云服务还与国内众多优质云分发商合作（CDN）该平台进行了深入的合作，客户可以直接从搜狐云服务平台接入多家公司的云分销服务，为网站带来最好的体验。搜狐企业级业务安排运维管理系统-DomeOSDomeOS技术团队拥有多年的云存储经验、国内领先的图像处理技术和CDN分发经验。团队运营的主要产品“搜狐云台”拥有业内顶尖的图片压缩技术，为搜狐内部产品和数十家外部企业用户带来了终极的用户体验。除了可靠的云存储服务和顶级的图像处理技术外，搜狐云台还研究了人脸检测、黄反图识别和广告图识别。搜狐云台陈伟说：“我们帮助人们解决问题。搜狐云台很好地解决了对存储和图片的需求，但我们在这个过程中也发现了许多新问题。“传统运维模式的问题　　陈伟在GTIC会场与大家分享了搜狐云台团队在多年云存储开发运维过程中遇到的问题。　　1.随着业务的快速发展，服务器环境变得越来越复杂。各种紧急在线、技术债务、临时版本程序、脚本等可能无法长期清理，最终导致问题　　2.随着技术平台的快速发展，管理依赖是一件非常麻烦的事情，影响运维和开发的沟通　　3.环境统一问题，常常导致网上失败。难以开发、测试、运维合作。　　4.监控系统不断重构，难以满足需求　　5.小规模不需要自动化，大规模后自动化容易造成问题。　　6.非常依赖经验丰富的运维人员Docker的优势和问题　　陈伟总结docker的优点是：　　1.Docker的先进理念：“build、ship、run”。规范和规范应用程序的建设、分发和运行过程。　　2.私人registry自然是一个分发仓库，名称 标签的方式也很有利于版本管理、回滚等。　　3.单过程模型重新梳理了应用的意义。一个应用程序自然应该是一个过程为单位的单元。　　4.docker的资源控制与自包含性相结合，已成为一个很有前途的功能，更适合利用动态的资源调度来部署服务。　　在Docker带来曙光的同时，陈伟表示，docker作为一种新技术，仍存在以下问题：　　1.目前还没有看到非常满意的网络模式　　2.传统应用程序可能无法很好地迁移到docker中　　3.开发人员学习成本高，需要很长时间才能适应docker　　4.Docker版本迭代速度快，会带来不兼容等问题，升级docker需要停止上述服务　　5.陈伟在国内开发中遇到的问题，如墙体、施工性能、分销性能等。陈伟还比较了docker和虚拟机的特点。他强调，虚拟机与应用程序无关，这是基础设施层面的问题，开发人员不关心；docker是应用程序层面，开发和运行的想法将相应改变。　　DomeOS设计　　DomeOS最重要的理念是“开箱即用”。　　DomeOS设计　　DomeOS的主要概念是“开箱即用”。陈伟说：“我们不希望DomeOS与我们自己的业务紧密结合。我们把它定位为一个纯粹的工具。“DomeOS团队希望未来所有用户都能轻松上手，开箱即用。　　DomeOS除了开箱即用外，还具有开发自操作和维护、全过程全视图、追求效率和利用率的特点。DomeOS的主要功能有：集群管理、开发测试、发布回滚、运维监控和应用商店。　　从kubernetes开始，使用pods等概念进行集群管理改造。统一管理多数据中心，自动调度不超出数据中心范围。此外，DomeOS区分生产环境和开发测试环境，并有权限要求。　　不断集成是DomeOS的创新点，不使用jenkins等工具，从头开始设计。使用githubb连续集成功能、gitlabAPI设置hook，获取代码。搜狐云台的技术团队在开发过程中采用了搜狐云台的SCS云存储服务，提高了开发效率和服务性能。　　应用商店是DomeOS的另一个功能，具有独特的docker概念。它能清楚地描述一个复杂的分布式系统，并能在可视化界面上进行配置，一键部署。此外，可以直接构建测试环境，依靠注入生产环境，大大提高测试和生产效率。此外，陈伟还与与嘉宾分享了DomeOS网络和磁盘的特点以及开发过程中遇到的问题。　　搜狐云台团队希望docker的爱好者和从业者能够*domeOS，并希望在不断迭代和实践的过程中与更多的docker团队进行交流和分享。与简单地提供云存储服务相比，搜狐云更希望为建设国内健康的云生态环境做出贡献。未来，搜狐云服务将与业内其他云计算相关产品开展更丰富、更深入的合作，致力于建设完整的云计算生态合作群体，目前，搜狐云已与国内ISV（独立软件开发商）和SI（服务集成商）达成共识，将共同解决客户对公共云的需求。