大数据科学常用工具单

数据科学结合了数学、概率模型、统计学、机器学习、数据仓库、可视化等多个学科，并基于这些学科的理论和技术。在实际应用中，数据科学包括数据收集、清洁、分析、可视化和数据应用的整个迭代过程，最终帮助组织制定正确发展决策的数据科学从业者被称为数据科学家。数据科学家有其独特的基本理念和常用工具。秦陇纪对数据分析师和数据科学家使用的工具包进行了全面梳理，包括数百个、数十个类别和一些网站，如开源技术平台相关工具、挖掘、分析和处理工具以及其他常用工具。欢迎积极传播！数据科学家是视野开阔的复合型人才。他们不仅具有坚实的数据科学基础，如数学、统计学、计算机科学等，而且具有广泛的专业知识和经验。数据科学家通过深厚的技术和专业知识，在某些科学领域解决复杂的数据问题，从而制定适合不同决策者的大数据计划和策略。2016年2月1日，约翰霍普金斯大学Coursera数据科学专业课程等在线课程提供数据分析师和数据科学家使用的工具。数据科学家常用的工具和基本思路，并对数据、相关问题、数据分析师和数据科学家使用的工具进行了综合概述。数据科学家和大数据技术人员的工具包：A.2015年大数据技术平台相关最佳工具，B.总结开源大数据处理工具，C.常用的数据挖掘分析处理工具。A.2015年大数据技术平台相关最佳工具Infoworld在分布式数据处理、流式数据分析、机器学习和大规模数据分析领域选出了开源工具获奖者。让我们简要介绍一下这些获奖技术工具。1.Spark是Apache大数据项目中最受欢迎的，尤其是IBM等重量级贡献者的深入参与，使得Spark的发展和进步迅速。在机器学习领域，与Spark最甜蜜的火花点仍然存在。自去年以来，DataFramesAPI取代了SchemaRDAPI，类似于R和Pandas的发现，使数据访问比原始RDD接口更容易。在Spark的新发展中，也有新的工作流程，可以扩展和优化各种存储格式，更简单的界面访问机器学习算法，改进集群资源的监控和任务跟踪。spark-packages.org网站上有100多个第三方贡献的链接库扩展，增加了许多有用的功能。2.StormStorm是Apache项目中的分布式计算框架项目，主要用于流式数据的实时处理。他基于低延迟交互模式的概念，以满足复杂事件处理的需要。与Spark不同，Storm可以单点随机处理，而不仅仅是微批量任务，对内存的需求也更低。在我的经验中，他在流式数据处理方面有更多的优势，特别是当两个数据源之间的数据快速传输时，需要快速处理数据的场景。Spark掩盖了很多Storm的光，但Spark并不适合许多丢失数据处理的应用场景。Storm经常与ApacheKafka合作使用。3.H2OH2O是机器学习中使用的分布式内存处理引擎，具有令人印象深刻的数组算法。早期版本只支持R语言，3.0版本开始支持Python和Java语言，也可以作为Spark后端的执行引擎。使用H2O的最佳方法是将其作为R环境的大内存扩展。R环境不直接作用于大数据集，而是通过扩展RESTAPI和H2O集群通信等通信协议来处理大量的数据工作。ddply等几个有用的R扩展包已经打包，允许您在处理大规模数据集时打破本地机器内存容量的限制。H2O、Hadop集群/YARN集群或Docker容器都可以在EC2上运行。用苏打水（Spark H2O）在Spark处理数据帧后，您可以访问并行访问集群中的SparkRDS。然后传递给H2O机器学习算法。4.ApexApex是一个企业级的大数据动态处理平台，可以支持即时流式数据处理和批量数据处理。它可以是YARN的原始程序，可以支持流式数据处理引擎的大规模、可扩展和容错方法。本地支持一般事件处理，保证数据一致性(精确处理一次，至少一次，最多一次)。根据Datatatorent开发的基于Apex的商业处理软件的代码、文档和架构设计，Apex可以清楚地分离支持Devops的应用程序开发，用户代码通常不需要知道他在流媒体处理集群中运行。Malhar是一个实现共同业务逻辑的常用应用程序模板，提供300多个相关项目。Malhar的链接库可以显著减少开发Apex应用程序的时间，并提供连接各种存储、文件系统、信息系统、数据库的连接器和驱动程序。并且可以扩展或定制，以满足个人业务的要求。Apache允许使用所有的malhar组件。5.今年2月，DruidDruid成为商业友好的Apache许可证，是一款基于“事件流”的混合引擎，能够满足OLAP解决方案。起初，他主要应用于广告市场的在线数据处理领域，德鲁伊允许用户根据时间序列数据进行任意和互动分析。一些关键功能包括低延迟事件处理、快速聚合、近似和精确计算。Druid的核心是一个自定义的数据存储，使用特殊的节点来处理每个部分的问题。基于实时管理的实时分析（JVM）节点处理，最终数据将存储在历史节点中，负责旧数据。代理节点直接查询实时和历史节点，给用户一个完整的事件信息。测试显示，50万事件数据可以在一秒钟内完成，每秒处理能力可以达到100万的峰值。Druid是理想的在线广告处理、网络流量等活动流量的实时处理平台。6.FlinkFlink的核心是事件流数据流引擎。虽然表面上类似于Spark，但Flink实际上采用了不同的内存处理方法。首先，Flink从设计开始就被用作流处理器。批处理只是一种具有开始和结束状态的流式处理的特殊情况。无论是API(批处理)还是数据流API，Flink都提供API来处理不同的应用场景。Mapreduce世界的开发者在处理DatasetAPI时应该有宾至如归的感觉，并且很容易将应用程序移植到Flink。在很多方面，Flink和Spark一样，其简洁性和一致性使他广受欢迎。Flink就像Spark一样，是Scala写的。7.Elasticsearchelasticsearch是基于Apachelucene搜索分布式文件服务器的。其核心，Elasticsearch基于JSON格式几乎实时构建数据索引，可实现快速全文检索功能。结合开源KibanaBI显示工具，您可以创建令人印象深刻的数据可视化界面。Elasticsearch易于设置和扩展，可根据需要自动使用新硬件进行分片。他的查询语法和SQL不一样，但也是大家熟悉的JSON。大多数用户不会在那个级别进行数据交互。开发人员可以使用原生JSON-over-包括Ruby在内的HTTP接口或几种常用的开发语言进行交互，Python，PHP，Perl，Java，JavaScript等。8.如果SlamData正在寻找一个能够理解最新流行NoSQL数据的可视化工具，那么你应该看看SlamData。SlamData允许您在不需要转换或语法转换的情况下，使用熟悉的SQL语法对JSON数据进行嵌套查询。其连接器是该技术的主要特点之一。从MongoDB，HBase，Cassandra和ApacheSpark，与大多数行业标准一样，SlamData的外部数据源可以很容易地集成、转换和分析数据。你可能会问：“我不会有更好的数据池或数据仓库工具吗？请认清这是在NoSQL领域。9.由谷歌的Dremel催生的Dremel，Drildrill是一种用于大型数据集交互分析的分布式系统。Drill是专门为嵌套数据的低延迟分析设计的。它有一个明确的设计目标，灵活地扩展到1万台服务器来处理查询记录数据，并支持兆级数据记录。可以从各种数据源中获得嵌套数据(如HDFS，HBase，AmazonS3，Blobs)和各种格式(包括JSON，Avro，还有buffers)，读取时不需要指定一个模式(“读时模式”)。Drill基于ANSI2003SQL的查询语言，因此数据工程师没有学习压力。它允许您连接查询数据并跨越多个数据源（例如，连接HBASE表和HDFS中的日志）。最后，Drill提供了基于ODBC和JDBC接口的BI工具对接。10.今年HBASEHBase里程碑达到1.并不断改进X版本。和其他非关系分布式数据存储一样，HBase的查询结果反馈非常快，所以它经常用于后台搜索引擎，如易趣、博科和雅虎。HBase新鲜功能作为一种稳定成熟的软件产品，并不常见，但这种稳定性往往是企业最关心的。最近的改进包括提高区域服务器的高可用性、滚动升级支持和YARN的兼容性。在他的特性更新方面，包括扫描器更新，以确保性能的提高。HBase被用作流媒体应用程序，如Storm和Spark。HBase还可以通过Phoenix项目支持SQL查询，其SQL兼容性正在稳步提高。Phoenix最近增加了一个Spark连接器，增加了自定义函数的功能。11.随着过去几年Hive的发展，Hive逐渐成熟，今年发布了基于SQL的数据仓库领域的1.0正式版本。目前，基金会主要集中在提高性能、可扩展性和SQL兼容性方面。最新版本的1.2显著提高了ACID语义兼容性、跨数据中心复制和基于成本的优化器。Hive1.2还提高了SQL的兼容性，使组织更容易通过ETL工具从现有的数据仓库转移。在规划中，主要改进：以内存缓存为核心的速度改进LLAP、Spark机器学习库的集成，改进SQL前嵌套查询、中间类型支持等。12.KylinKylin是eBay开发的OLAP分析系统，用于处理大量数据。它使用标准的SQL语法，与许多数据分析产品非常相似。Kylin用Hive和MR构建立方体，Hive用作预链接，MR用作预聚合，HDFS用于存储构建立方体时的中间文件，HBase用于存储立方体和HBasecoprocessor(协处理器)用于响应查询。与大多数其他分析应用程序一样，Kylin支持JDBC、ODBCAPI编程访问和RESTAPI接口等多种访问方法。13.CDAPCDAP（CaskDataAccessPlatform）在Hadoop上运行的框架抽象了大数据应用的复杂性。CDAP围绕数据和应用程序两个核心概念。无论底层存储层是什么，CDAP数据集都是数据的逻辑显示；CDAP提供实时数据流处理能力。应用程序使用CDAP服务来处理应用场景，如分布式事务和服务发现，以避免程序开发者淹没在Hadoop的底层细节中。CDAP自带的数据摄取框架、一些预设应用和一些通用的“包”，如ETL和网站分析，支持测试、调试和安全。CDAP与大多数原始商业(闭源)项目一样，具有良好的文档、教程和例子。14.Hadoop一直是Ranger安全的痛处。Hadoop不是“不安全”或“不安全”。事实上，Hadoop有很多安全功能，尽管它们不是很强大。我的意思是，每个组件都有自己的身份验证和授权实施，这与其他平台没有集成。2015年5月，Hortonworks收购XA/安全，然后更名后，我们有了Ranger。Ranger使许多Hadop的关键部件处于保护伞下。它允许您设置一个“策略”，将您的Hadop安全绑定到您现有的ACL基于活动目录的身份验证和授权系统中。Ranger给你一个管理Hadop访问控制的地方，通过一个漂亮的页面进行管理、审计和加密。15.Mesosmesos提供高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadopo、MPI、Hypertable、Spark等。Mesos是Apache孵化器中的开源项目，利用Zookeper实现容错复制，利用Linuxcontainers隔离任务，支持各种资源计划分配(内存和CPU)。提供Java、Python和C 开发APIS