应用分析：阿里云的NoSQL存储服务OTS

1.概要 OTS是在阿里云飞天分布式系统上建立的NoSQL存储服务，提供大量的结构化数据存储和实时访问。OTS通过自动数据分区和负载平衡技术，通过实例和表组织数据，为应用程序提供规模（数据和访问）的无缝扩展。OTS服务通过调用OTSAPI/SDK或操作管理控制台来使用。OTS服务具有以下主要特点： 规模可扩展：OTS具有可扩展的服务能力。随着应用表数据量和访问量的逐渐增加，OTS将自动调整数据分区（partitionsplit/merge）以满足应用业务规模的增长，并保持稳定的性能。OTS为应用程序配置表上的资源提供了预留读写吞吐率的机制。应用程序通过积极配置和调整表上预留读写吞吐率来应对业务访问量的变化，从而获得更有保障的服务。 高可靠性：OTS数据存储在底层分布式文件系统中，数据有三份副本，分别位于不同的容错区域（框架或数据中心），当硬件故障导致数据备份损坏或丢失时，分布式文件系统会自动发现、复制和恢复数据备份，以确保数据的安全性和可靠性。OTS系统会自动检测硬件故障(如机器停机或网络中断)，实时迁移数据分区，保证服务的高可用性。 性能可预测：OTS服务底层采用全SSD存储数据，单行数据读写请求的延迟保持在几毫秒。应用程序通过配置预留读写吞吐率来预留资源，以确保请求并发量和延迟的稳定性。 灵活的数据模型：OTS表中的数据没有固定的格式要求，每行列数和列名可以不同，列值支持五种数据类型：Integer、Boolean、Double、String、Binary。每行列可动态增加或删除，不需要额外修改schema。 与最终一致性相比，OTS提供了强一致性的读写操作。一旦OTS确保数据写入操作完成并返回成功结果，应用程序可以立即读取最新数据。强一致性为应用提供了更好的使用体验。 访问安全：OTS对应用程序的每个请求进行身份验证和权利评估，以防止非法用户或未经授权的用户访问数据，并确保数据的安全。OTS通过与阿里云RAM服务相结合，为应用程序提供帐户之间的授权访问。 全托管服务：OTS是应用程序的全托管服务。应用程序不需要*表中数据分区的管理、集群硬件维护、软件升级、配置更新和优化、集群扩展等繁琐的操作和维护任务，节省了应用程序开发和维护成本，使用户能够专注于应用程序业务层的开发。 按量支付:OTS根据应用预留和实际使用的资源进行收费，不需要在业务发展初期投入太多。对于很多创业开发人员来说，起步门槛低。OTS费用包括：1)预留CU费用；2)数据存储费用；3)下行流量费用。 2.系统架构OTS服务的系统架构分为四层，最上层是应用程序，通过调用各种语言的SDK与OTS服务互动；第二层是用户服务层，完成协议处理、身份权限验证、资源测量和后端存储引擎节点路由；第三层是存储引擎层，负责表分区的扩展和管理、负载平衡、存储数据和索引的管理、故障处理和高可用灾难容忍；下层为飞行操作系统，负责管理底层硬件资源，提供统一的分布式存储（盘古）和计算（伏西）。 以下三层运行在阿里云数据中心的物理集群上，对应用程序透明，顶层是用户程序，通常在阿里云ECS服务器上运行，以获得更好的访问OTS性能，当然也可以在用户自己的物理服务器或移动设备上运行(我们目前正在开发移动OTSDK，包括Android和iOS)。 3.功能介绍 以下RESTfulAPI提供OTS产品： 1）CreateTable（创建表）；2）DeleteTable（删除表）；3）ListTable（列举表）；4）DescribeTable(获取表信息)；5）UpdateTable(更新表设置)；6）GetRow(读一行)；7）PutRow(插入一行)；8）UpdateRow(更新一行中的数据)；9）DeleteRow(删除一行)；10）BatchGetRow(批量读取行数据)；11）BatchWriteRow(批量写入行数据)；12）GetRange(读取范围内的数据)； Java///Python/C#SDK/PHP四种语言，基于OTS的应用方便快速开发应用。有关API/SDK的更多信息，请参考：https://docs.aliyun.com/?spm=5176.383723.9.6.BASvKj#/pub/ots 4.场景案例； OTS服务目前广泛应用于阿里巴巴集团的各种业务中，积累了几个PB数据，最大的应用程序每天都会写入100TB级数据，几个典型的业务场景如下: 阿里云电子邮件的后台存储：电子邮件的标题、发件人、收件人、时间、状态等（不包括电子邮件文本和附件）。根据各种规则，使用OTS表对用户的电子邮件进行排序，并在页面上阅读电子邮件，数据量近100TB，。 后台存储：存储用户通讯录、实时消息推送、电话会议实时通知等。 后台存储：存储用户通讯录、实时消息推送、电话会议实时通知等。  阿里云监控的后台存储：存储大量的原始监控metric数据和汇总数据。 支付宝微贷款风险控制存储：存储淘宝买卖双方的信用风险控制数据，评估每笔华北交易的风险 阿里健康药品监管码存储：存储中国药品监管码，查询药品基本信息，跟踪药品流通情况。目前，存储量已达到近1000亿条记录，平均每天访问100亿次。  此外，OTS作为大规模分布式系统的基本组件，应用于阿里巴巴集团的多个产品架构，如大规模数据分析服务ODPS的meta存储和管理、大规模日志服务SLS的底层存储等。PS：阿里云计算有限公司(以下简称“阿里云”)成立于2009年9月10日，致力于打造云计算基础服务平台，为中小企业提供大规模、低成本、高可靠的云计算应用和服务。飞天开放平台(以下简称“飞天平台”或“飞天”)是阿里巴巴云自主开发的公共云计算平台，2011年7月28日在http提供服务://www.aliyun.首款云服务-弹性计算服务com正式上线。飞天平台中包含的模块可分为以下几部分。分布式系统底层服务：提供分布式环境、远程过程调用、安全管理和资源管理所需的协调服务。这些底层服务支持上层分布式文件系统、任务调度等模块。分布式文件系统：提供大量、可靠、可扩展的数据存储服务，收集集群中各节点的存储能力，自动屏蔽软硬件故障，为用户提供不间断的数据访问服务；支持增量扩展和数据自动平衡，提供类似POSIX的用户空间文件访问API，支持随机读写和附加写作。任务调度：为集群系统中的任务提供调度服务，并支持强调响应速度的在线服务(OnlineService)离线任务强调数据吞吐量的处理(BatchProcessingJob)；通过错误重试、长尾作业并发备份作业等方式，自动检测系统中的故障和热点，确保作业稳定可靠地完成。集群监控和部署：监控集群状态和上层应用服务的运行状态和性能指标，报警和记录异常事件；为运维人员提供整个飞行平台和上层应用的部署和配置管理，支持在线集群扩建、缩减和应用服务的在线升级。