大数据安全分析平台采用的方法有哪些？

网络犯罪等恶意行为的不断增加，促使企业部署更多的安全控制，收集越来越多的相关数据。因此，为了保护昂贵的企业资源，大数据分析的进展被用于更广泛、更深入的分析安全监控。大数据安全分析技术集成了大数据的可扩展性，并将其与AdvancedAnalytic和安全事件管理系统相结合（securityeventandincidentmanagementsystems，SIEM）结合起来。在不久的将来，大数据安全分析将像病毒检测和漏洞扫描一样普遍。因此，大数据安全分析适用于许多用例，但并非所有用例都适用。考虑探测和阻止高连续性威胁（AdvancedPersistentThreat，APT）技术挑战。使用这些技术的攻击者可能会使用慢节奏、低可见性的攻击来避免被发现。传统的日志和监控技术会错过这种类型的攻击。攻击的每一步都可能发生在不同设备的不同时间段，而且看起来无关紧要。这样，攻击者杀戮的关键部分可能与正常行为没有太大区别。对可疑行为的日志和网络流扫描有时会错过这些东西。避免遗漏数据的一种方法是收集尽可能多的信息。这就是大数据安全分析平台采用的方法。正如字面意思所说，这种安全分析方法是专门为收集、分析和管理大规模、高速数据而设计的。这些技术也用于相关产品，如电影推荐系统和车辆性能特性分析平台，旨在优化车队的运输效率。此外，这些技术也可用于信息安全。本文重点分析Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA、Splunk等大数据安全工具供应商的主要产品特性。其分析主要基于实现这些平台所有好处的五个必要要素：统一的数据管理支持日志、漏洞和流量等可扩展的数据获取信息安全相关分析工具合规报告因素1：统一的数据管理统一的数据管理是负责企业数据存储和查询的大数据安全分析系统的基础。由于相关数据库的扩展成本高于分布式NoSQL数据库，Cassandra或Acccumulo等分布式数据库通常用于处理大规模数据。当然，这些数据库也有其缺点。例如，实现ACIDtransaction等自然数据库特征的分布式版本变得非常困难。因此，大数据安全分析产品背后的数据管理平台需要权衡数据管理的特点、成本和可扩展性。数据库应具备在不堵塞的情况下实时写入新数据的能力。类似地，查询还应能够支持对流入安全数据的实时分析。由于Hadoop已经成为一个流行的大数据管理平台和相关的生态系统，基于它的大数据安全分析平台也很常见。例如，Fortscale使用ClouderaHadop平台。这使得Fortscale平台随着集群中新节点的数量线性扩展。IBMQRadar采用分布式数据管理系统，提供数据存储水平扩展功能。SIEM在某些情况下可能只需要访问本地数据。但在取证分析等情况下，用户可能需要跨分布式平台搜索信息。IBM的QRadar还集成了一个可以跨平台或本地搜索的搜索引擎。与此同时，大数据SIEM系统使用数据节点，而不是存储域网（SAN）。这可以帮助小组降低成本和管理的复杂性。这种基于数据节点的分布式存储模型可以扩展到P字节的存储空间——它可以满足需要大量长期存储的组织的需求。RSA安全分析还采用分布式联合架构，保证线性扩展。当扩展到大规模数据时，RSA工具中的分析工作流解决了一个关键需求：区分事件和任务的优先级，以提高分析效率。Hawkeye分析平台（HawkeyeAP）基于专门处理安全事件数据的数据仓库平台。除了具有底层和可扩展的数据管理功能（例如，在跨多个服务器的镀铬文件中存储大规模数据的能力）外，以结构化的方式查询数据的工具也至关重要。Hawkeyeap采用分时存储数据的方式，避免了索引的全局重建。而且，它被设计成只读数据库。一方面，它可以优化性能；另一方面，它可以确保数据在编写完成后不会被篡改。最后，Hawkeyeap采用了专门为分析应用而优化的列导数据存储，而不是行导数据存储。因素2：大数据的三个关键特征是支持多种数据类型的容量、速度和类型。安全事件数据的多样性使得将数据集成到大数据安全分析产品中变得具有挑战性。收集事件数据的粒度不同。例如，网络报纸是底层和细粒度的数据；任何管理员密码变更的日志项都是粗粒度的。尽管数据的收集粒度不同，但它们仍然相关。在线消息可能包含攻击者访问服务器的相关信息，甚至在获得访问权限后修改管理员密码。不同类型的事件数据也有不同的含义。在线信息可以帮助分析人员了解两个终端之间传输的内容，而漏斗扫描日志在某种意义上描述了服务器或其他设备在一段时间内的运行状态。为了更好地集成数据，大数据安全分析平台需要理解这些数据类型的含义。RSASecurityanalytics的解决方案是使用模块化结构，以确保支持多种数据类型，同时保持增量和添加其他源的能力。平台本身就是为了捕获大规模的全报、NetFlow数据、终端数据和日志。有时，多种数据类型意味着多种安全工具。例如，IBM的QRadar有一个漏洞管理组件。该组件专门负责从各种漏洞扫描器中整合数据，并将网络使用的相关信息添加到数据中。IBMSecurityQradarincidentforensics是另一个专门利用网络流数据和full-packet抓包分析安全事故的模块。该取证工具包括一个能够检索TB级网络数据的引擎。Logrhythm的SecurityintelligencePlatform是另一个大数据安全分析平台的例子。该平台支持系统日志、安全事件、审计日志、机器数据、应用日志和流量数据等多种数据类型。通过分析来自这些源的原始数据，可以生成相关文件的完整性、过程活动、网络通信、用户和活动的二级数据。Splunkenterprisesesecurity允许分析人员检索数据并实施可视化关联，以识别恶意事件并收集这些事件的上下文数据。因素3：大数据分析安全产品必须能够从服务器、终端、网络等架构组件中获取可扩展的数据。这些设备的状态一直在变化。获取数据组件的主要风险在于能否及时接收流入数据。一旦数据获取组件出现问题，数据就会丢失，威胁到整个平台的存在意义。通过维护一个容量大、吞吐率高的队列，系统可以实现可扩展的数据获取。此外，一些数据库通过增加写作操作来支持大规模写作。这样，新流入的数据直接添加到commit日志的末尾，而不是磁盘的某个块。这种方法可以大大降低随机写作的延迟。或者，数据管理系统将维护写作缓冲区。如果新闻突然传输或磁盘写作失败，缓冲区可以帮助暂时存储数据，等待数据库恢复正常。Splunk是一个广为人知的数据采集平台。该平台不仅提供连接到数据源的连接器，还允许定制这些连接器。其中，获取的数据以相对松散的形式存储和索引，以确保数据类型的变化和快速的查询反馈。IBMQRadar支持从单设备到跨区域分布式系统的不同规模部署。与其它产品类似，大数据产品是为了满足大公司的需求。它曾被用来处理每秒数十万的真实应用事件。一些刚开始使用IBMQRadar的小机构或企业可能会选择在云环境中部署产品，以降低硬件成本和管理。混合部署也可以。这样，事件和流可以在云中处理，整理后的事件数据发送将由本地系统处理。另一种重要的集成类型是数据增强。它是指在收集事件数据的同时添加相关信息。例如，RSASecurityanalytics将在网络数据中添加相关的网络回复、威胁指示器等细节，帮助分析人员更好地了解底层安全数据所面临的情况。如何在大数据分析平台上收集收据是另一个需要考虑的关键点。收集数据所需的时间可以减缓探测安全事件的速度。数据收集点的位置决定了数据收集的宽度和类型。例如，CybereasonPlatform部署的传感器在终端操作系统的用户空间中运行。这样，数据收集就可以在影响用户体验和更底层核心功能的情况下进行。即使设备无法连接到企业网络，Cybereason的传感器仍然可以收集数据。因素4：Hadoop、Spark等大数据平台是安全分析工具的通用工具。虽然它们可以用来构建安全工具，但它们本身并不是安全分析工具。为了满足企业生成的大规模数据分析需求，应扩展大数据安全分析工具。而Hadoop、Spark等工具正好满足了这样的条件。同时，分析人员还应能够从信息安全的角度查询事件数据。例如，分析师应该能够查询在特定服务器或应用程序中工作的用户以及这些机器/应用程序之间的联系。这种类型的查询需要图形分析工具，而不是传统的相关数据库中的行查询或列查询。Fortscale采用数据科学中常见的机器学习和统计分析技术，以适应安全环境的变化。这些技术使Fortscale能够进行基于数据而不是预定义规则的分析。当网络中的基准行为发生变化时，机器学习算法可以在没有人为更新规则集的情况下自动检测到这些变化。RSASecurityAnalytics包含了预定义的报告和规则，使分析人员能够快速开始使用SIEM收集的数据。安全分析也非常依赖恶意行为相关知识。RSALive服务包括RSASecurityAnalytics，负责向部署的设备发送数据处理和相关规则。这些新规则可用于分析RSASecurityAnalytics系统中存储的实时数据和历史数据。类似于Fortscale，RSASecurityanalytics也采用数据科学的相关技术来提高分析质量。此外，LogRhythm的分析工作流包括三个阶段：处理、机器分析和取证分析。处理阶段负责数据转换，提高有用模式探测原始数据的可能性。它包括事件标准化、数据分类、metadata标记和风险分析。因素5：合规报告、警告和监控合规报告是当今企业必须具备的功能。许多用于合规目的的数据元素与最佳安全实践联系在一起。即使对于那些对合规报告没有硬性要求的公司，合规报告也可以很好地用于内部规划。。了解一个大数据安全平台的报告系统，满足企业对合规的特殊需求是非常重要的。Riskmanager插件，IBMSecurityQRadar，为网络设备配置的合规性和风险管理提供了工具。该插件的功能包括自动监控、多供应商产品审计支持、合规策略评估和威胁建模。正如前面提到的，Fortscale利用机器学习算法不断评估基准活动的变化，探测异常事件。当系统检测到这些事件时，它可以生成警告，并提供事件的相关信息。RSASecurityAnalytics本身就有近90个模板来满足SOX用户的需求、HIPAA、报告需求，如PCIDSS。SIEM系统中的报告和警告远远超过了固定报告和简单警告的形式。例如，CybereasonPlatform可以自动检测恶意活动。该平台还提供了一个调查窗口，用于汇总攻击时间线、受影响的用户和设备，并以图形的形式显示。Splunkenterprisesecurity提供了包含关键安全性、性能指针和趋势指针的仪表板，以进行持续监控。而且平台还支持工作流的优先级。Splunk平台还支持高优先级用户跟踪和关键应用程序访问报告。HawkeyeAP本身包含400份报告，并支持根据特殊需要进行修改。由于Hawkeyeap使用相关数据技术，并支持ANSIStandardSQL、由ODBC和JDBC驱动，用户可以使用流行的企业级报告工具来创建定制报告。LogRhythm平台包括分级后的风险警告、标准报告和实时报告仪表板。此外，还包括案例管理工具、证据锁、事件跟踪数据等额外工具进行取证分析。大数据安全分析工具的功能大数据安全分析工具可分析多种数据类型，