大数据分析

一、大数据安全威胁与需求分析

1.1 大数据相关概念发展

大数据：是指非传统的数据处理工具的数据集

大数据特征：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等

大数据的种类和来源非常多，包括结构化、半结构化和非结构化数据

有关大数据的新兴网络信息技术应用不断出现，主要包括大规模数据分析处理、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和存储系统

1.2 大数据安全威胁分析

“数据集”安全边界日渐模糊，安全保护难度提升

多源、海量、异构、分布存储等大数据新技术导致数据集的安全边界日渐模糊，造成基于网络安全边界的安全防护措施难以完全有效

数据交易和共享促使数据流动日益频繁，静态安全措施难以完全满足数据安全保障要求

复杂分布式计算环境使得网络攻击的影响增大，单个节点遭受侵害影响整个系统安全，例如数据存储设备、域名服务器、认证服务器等

敏感数据泄露安全风险增大

数据丢失或被盗取，有可能影响国家安全、社会安全和经济安全，蕴含着海量数据和潜在价值的大数据成为网络攻击的首要目标

数据失真与大数据污染安全风险

攻击者利用数据输入或数据平台缺陷，构造恶意数据并将其注入数据处理系统中，干扰数据处理系统的正常运行或误导计算

典型事例有电商产品的评分、网站访问流量、网页虚假排名等。另一方面，数据获取隐患也会导致人工智能的安全问题

大数据处理平台业务连续性与拒绝服务

随着大数据的应用普及，许多关键业务依赖于大数据处理平台的连续稳定运行。例如，电商服务平台、金融服务平台等

恶意攻击者利用数据处理平台的漏洞，发起拒绝服务攻击，导致用户无法正常访问数据资源，从而中断业务运营

个人数据广泛分布于多个数据平台，隐私保护难度加大

个人数据广泛分布于互联网电商平台、定位导航、铁路公路售票、民航票务、快递物流跟踪、网约车服务平台、旅游服务平台以及微信社交平台中

这些个人数据蕴含公民身份信息、位置信息、行程信息、物品运输信息，已成为国内外黑市交易的“黄金数据＂，诱使非法个人或组织进行数据贩卖以牟取暴利，直接危害个人的经济利益与人身安全，严重阻碍大数据产业的健康发展

多源数据汇聚、共享融合使得用户的隐私保护技术受到挑战，个人敏感数据在采集、传输、存储、处理、发布、使用等环节存在数据泄露的风险

数据交易安全风险

数据交易：是指数据供方和需方之间以数据商品作为交易对象，进行的以货币交换数据商品，或者以数据商品交换数据商品的行为

数据交易促进商业合作，但也形成潜在的安全风险。如非法数据交易、虚假数据交易、交易服务不完整、交易数据汇聚导致敏感数据泄露、跨境数据流动安全等安全风险

大数据滥用

万物互联，不同数据集之间蕴含潜在关联关系，随着大数据分析技术发展、数据的不断累积，大数据分析可以发现更多、更深入的关联关系

例如，利用大数据技术和不同的生命科学相关大数据，可以开发针对特定人群的生物病毒，容易对群体的生命安全产生重大威胁

综合关联分析微信图片数据、智能手机位置数据，可以识别到自然人，挖掘出个人隐私信息

1.3 大数据安全需求分析

大数据安全需求涉及多个方面，主要内容如下

大数据自身安全

大数据应用依赖于可信的数据。目前，基于数据驱动的安全威胁已经出现，如虚假的数据可以干扰机器学习

大数据安全涉及数据的采集、存储、使用、传输、共享、发布、销毁等全生命周期的多个方面，具体安全包括数据的真实性、实时性、机密性、完整性、可用性、可追溯性

大数据安全合规

建立大数据安全合规管理机制，满足不同国家和地区、行业部门的数据安全政策法规要求

大数据跨境安全

随着跨境电商、跨境交易等国际应用发展，数据跨境流动成为必然。目前，不同国家和地区的数据保护法规对数据跨境流动的要求存在差异性

数据跨境安全合规成为国际业务必须解决的问题，主要包括数据物理存储位置、跨境数据流动安全要求等

大数据隐私保护

针对大数据涉及的敏感个人信息需要相应的隐私保护技术，防止个人敏感数据泄露

大数据处理平台安全

按照数据处理过程，大数据处理平台涉及物理环境、网络通信、操作系统、数据库、应用系统、数据存储

大数据业务安全

大数据产业应用的发展促进了数据流动和共享，需要新的数据安全措施保护数据的安全流动和共享，防止数据扩散、数据滥用问题

需要部署大数据业务安全管理措施，建立数据滥用监测机制、数据受控使用机制，防止数据非法交易及恶意滥用

大数据安全运营

建立大数据运营安全机制，如大数据分类分级、大数据安全服务、大数据平台的安全维护

二、大数据安全保护机制与技术方案

2.1 大数据安全保护机制

大数据安全保护是一个综合的、复杂性的安全工程，涉及数据自身安全、数据处理平台安全、数据业务安全、数据隐私安全、数据运营安全以及数据安全法律政策与标准规范

围绕大数据的安全保护，常见的基本安全机制：主要有数据分类分级、数据源认证、数据溯源、数据用户标识和鉴别、数据资源访问控制、数据隐私保护、数据备份与恢复、数据安全审计与监测、数据安全管理等

2.2 大数据自身安全保护技术

大数据自身安全：是指有关数据本身的安全问题，如数据的真实性、数据的完整性、数据的机密性、数据的准确性等，目前

数字签名可以验证数据来源的真实性 Hash 算法用于确保数据的完整性 加密算法则用来保护数据的机密性

2.3 大数据平台安全保护技术

大数据平台涉及物理环境、网络通信、操作系统、数据库、应用系统、数据存储等安全保护 通常采用安全分区、防火墙、系统安全加固、数据防泄露等安全技术用于保护大数据平台 其中，防火墙又可细分为网络防火墙、数据库防火墙、应用防火墙，这些防火墙分别用于大数据平台的安全区域之间隔离及访问控制

2.4 大数据业务安全保护技术

大数据业务安全内容主要包括

业务授权：主要基于角色的访问控制技术，按照业务功能的执行所需要的权限进行分配 业务逻辑安全：针对业务流程进行安全控制，避免安全缺陷导致业务失控 业务合规性：是指业务满足政策法规及安全标准规范要求。敏感数据安全检查、系统安全配置基准数据监控等技术常用于解决业务合规性安全需求

2.5 大数据隐私安全保护技术

隐私：是指与个体相关的非公开的信息。隐私保护成为大数据时代新的安全需求 针对个人信息安全保护，国家颁布了《信息安全技术个人信息安全规范》(于2020年10月1日实施)等法规政策及标准规范 围绕隐私保护，主要的技术有：数据身份匿名、数据差分隐私、数据脱敏、数据加密、数据访问控制等

2.6 大数据运营安全保护技术

大数据运营安全：是指大数据平台及数据的运行维护及数据资源经营过程的安全

大数据平台及数据的运行维护：包括大数据处理系统的安全维护、安全策略更新及安全设备配置、数据资源容灾备份、安全事件监测与应急响应等 大数据平台运维安全保护技术：网络入侵检测、网络安全态势感知、网络攻击取证、网络威胁情报分析、安全堡垒机等 数据资源经营过程安全：涉及数据使用、数据交易、数据跨境流动等安全问题 数据经营安全保护技术：数据脱敏、数据监控、数据安全网关等

2.7 大数据安全标准规范

大数据安全标准规范有利于提升数据安全整体保障能力 全国信息安全标准化技术委员会在2016年成立大数据安全标准特别工作组，主要负责制定和完善我国大数据安全领域标准体系，组织开展大数据安全相关技术和标准研究 目前，已制定的国家标准主要有《信息安全技术个人信息安全规范》《信息安全技术大数据服务安全能力要求》《信息安全技术大数据安全管理指南》《信息安全技术数据交易服务安全要求》《信息安全技术个人信息去标识化指南》等

三、大数据安全综合应用案例分析

3.1 阿里巴巴大数据安全实践

从业务、数据和生态三个层面来保护数据安全与隐私，如图

1.业务安全管控

• 在业务模式设计上，大数据安全平台依据电商自身的业务特性和其数据权属关系的边界

• 建立了以私域数据为基础的店铺内服务闭环、以公域数据为基础的平台内渠道闭环和价值闭环

• 从而确保了业务整体对数据的授权边界是合理清晰的、对数据的处理逻辑是基于可用不可见的安全原则以及数据的应用产出是基于数据价值而不是裸数据输出的

2.数据安全管控

此大数据安全平台基于数据业务链路构建了全面的数据管控体系，主要包括数据加工前、数据加工中、数据加工后、数据合规等方面的数据安全管控，如表

3.生态安全管控

通过对数据ISV的准入准出、基于垂直化行业的标签体系建立以及数据生态的市场管理机制建立，确保业务和安全间找到有效的平衡点

阿里巴巴形成了以数据生命周期为中心的大数据安全管理理念，如图

​​​​​​​

• 此安全实践基于《信息安全技术 数据安全能力成熟度模型》来进行，以数据为中心，围绕数据生命周期，对组织机构的数据进行安全保障

• 有效地控制了数据安全风险，提升了公司自身及生态伙伴的数据安全能力，促进了生态内数据资源的流通与共享，更大地发挥了数据的价值

• 其中，数据安全能力成熟度模型从组织建设、制度流程、技术工具、人员能力、数据生命周期通用安全等方面评估大数据安全能力成熟度，以便明确大数据安全保障能力的提升方向

基于大数据的安全分析

越来越多的人们开始依靠数据分析来从海量数据中发现新的安全威胁，并且越来越多的企业IT部门开始利用安全分析技术，信息安全专业人员已经开始从安全分析有所收获。其中最明显的是对IT安全数据来源更广泛和更深入的可视性，这能够通过大数据分析来更好地了解安全风险以及实现更快的响应时间。

1、挖掘出你不知道需要提出的问题

IT基础设施和安全工具产生的巨量非结构化数据让安全分析师甚至很难开始查询数据，以回答有关企业风险状态的常见问题。让分析程序回答这些显而易见的问题有时候会出现意想不到的回报，因为会出现其他模式来回答安全团队可能没想过要提出的问题。

“通常情况下，在数据被存储和访问之前，企业可能不知道他们需要什么或者他们想要解决什么问题，”OpenDNS公司首席技术官Dan Hubbard表示，“分析技术可以发现安全情报，并挖掘出我们不知道的问题。”

更重要的是，这些趋势的可视化还可以帮助更好地与业务部门沟通风险，并解决业务领导可能提出的重要问题。

安全服务供应商BTB Security公司管理合伙人Ron Schlecht表示，“他们会开始提出很好的问题，所以你应该寻找一个不同的视角，对于你应该寻找的东西，以及你应该如何看待这些问题，最好与不同的业务领导进行合作，这会让大家明白安全对整个企业的重要性。”

2、发现你永远想象不到的数据泄漏

安全分析技术给你带来的第一个惊喜是让你发现想象不到的数据泄漏的具体证据。

RSA公司高级产品营销经理Matthew Gardiner表示：“经常会挖掘出的信息是，他们会发现已经持续了一段时间的数据泄漏。”他解释说，这可能不是某种复杂的民族国家间谍活动导致的泄漏，或者黑社会性质犯罪阻止窃取的数据。

他说道，“只是数据转移到企业外部不知明的地方造成的泄漏，接下来的问题是，搞清楚如何控制数据流向。”

3、找出不同数据来源之间的关联

通常情况下，安全分析程序会在数据来源之间进行关联，而安全团队可能从来没有发现过这种关联。

“大多数安全分析程序需要将来自不同来源的数据整合到单个引擎，来进行分析，查找模式和异常情况，”Cambridge Intelligence公司北美地区总经理Corey Lanum表示，“当我的客户从不同数据来源加载数据时，他们通常立即会看到原本存储在不同数据库没有关联的数据元素之间存在的关联。”

这种类型的建模可以用于发现网络不同部分、不同部门信息之间的关联。

4、找出你不知道的策略违规行为

分析技术还提供了另一个惊喜：发现企业中的策略违规行为，这通常是一把双刃剑。这些不一定是恶意行为，但是确实违反了策略，麻烦的是，一旦安全团队看到这些违规行为，他们就会采取行动，而不管多么麻烦。

“你听说过流氓云服务，通过分析，你会看到真正的流氓云服务，”Gardiner表示，“这对企业是好事，因为你得到了更好的可视性，但是你不会置之不理。你必须采取一些措施，并确定它的重要性，以及是否需要进行调查。”

5、发现你从来不知道的IT操作问题

安全分析技术的优势可能会超出IT安全的范畴，转而深入IT操作。在很多情况下，对安全数据进行建模和点连接还可以发现IT操作问题，这些问题可能会影响可操作性、工作流和效率。

Schlecht表示：“让很多企业惊讶的一个好处是，安全分析还能够帮助找出IT操作问题，这是因为分析程序能够获得一定的可视性。”

例如，多年前，Schlecht曾在企业内部工作，他发现一个新的分析程序不仅能帮助发现安全问题，还能够发现企业应用程序的开发问题，而这个问题让其开发团队困扰了数小时。在检查应用程序和安全事件日志后，一些完全无关的东西帮助找出了问题的根源。

工作原理：

1. 数据收集和准备：从各种源头收集相关数据，如系统日志、安全事件记录、网络流量数据等。对数据进行清洗、整理和转换，以确保数据的准确性和一致性。

2. 特征提取：根据具体的安全问题或风险类型，确定要分析的数据特征。这些特征可以是与攻击行为相关的网络流量、异常登录尝试、恶意软件特征等。特征提取的目的是将原始数据转化为可处理的形式，以便后续分析。

3. 数据探索和可视化：对数据进行探索性分析，使用可视化工具（如图表、图形、仪表盘）展示数据的分布、关联关系和潜在的异常模式。通过数据可视化，可以更好地理解数据，发现异常或异常模式，从而识别安全风险。

4. 异常检测：使用统计学方法、机器学习算法或规则引擎，通过对数据的分析和建模，检测出与正常行为模式不符的异常。这可以通过比较数据的统计指标、计算异常值、使用分类算法或应用已知的安全规则来实现。异常检测可帮助识别潜在的安全风险。

5. 模式匹配和特征识别：根据已知的攻击行为模式、恶意软件特征或安全规则，对数据进行模式匹配和特征识别。这可以基于已知的安全威胁情报、恶意软件特征库、安全规则集等。通过匹配和识别特定模式，可以发现潜在的安全风险。

6. 关联分析和推理：对数据进行关联分析，发现不同数据之间的关联关系，以找出安全风险的潜在原因或影响因素。通过关联用户行为、网络连接、系统配置等数据，可以识别出可能导致安全风险的特定模式或配置。关联分析可以帮助确定安全风险的根本原因。

7. 风险评估和预防：基于分析结果，对安全风险进行评估，确定其严重性和优先级。同时，提供相应的建议和措施来减轻风险，加强安全防护措施，提高系统的安全性。

数据分析可以辅助发现潜在的安全风险，并帮助安全团队采取相应的措施来识别、评估和缓解风险，以保护系统和数据的安全。

（拓）基于平台：

数据分析挖掘安全风险可以基于态势感知和SOC（安全运行中心）两个方面。态势感知和SOC都是安全领域中常见的概念和方法

态势感知是指通过收集、整合和分析来自多个安全数据源的信息，以全面了解和把握当前的安全态势。态势感知平台可以集成多种安全监测和数据收集工具，通过对各种安全数据的分析和挖掘，发现潜在的安全威胁和异常行为。

SOC（安全运营中心）是一个集中的安全管理和监控中心，通过收集、分析和响应来自多个安全数据源的信息，以保护组织的信息系统和数据安全。SOC利用各种技术和工具，如日志管理系统、SIEM（安全信息和事件管理）系统、威胁情报平台等，收集和分析各种安全数据，发现安全威胁和异常行为，并采取相应的响应措施。

基于态势感知的优缺点：

优点：

1. 全面了解安全态势：通过收集、整合和分析来自多个安全数据源的信息，能够全面了解当前的安全态势，包括网络流量、事件日志、异常行为、安全威胁情报等。

2. 发现潜在的安全威胁：通过数据分析和挖掘，能够发现潜在的安全威胁、异常行为和攻击模式，提前预警和应对潜在的安全风险。

3. 提高响应速度：及时发现安全风险，能够采取相应的措施进行响应和防御，减少安全事件的影响和损失。

4. 支持决策制定：通过对安全数据进行分析，可以提供决策制定所需的关键信息，帮助组织优化安全策略和措施。

缺点：

1. 数据处理复杂：安全数据通常来自多个不同的数据源，包含大量的日志和事件数据，处理这些数据需要进行清洗、整理和转换，可能需要投入较大的时间和资源。

2. 假阳性率高：数据分析挖掘安全风险可能会产生一定的假阳性（误报）情况，即将正常行为错误地标记为异常或威胁。这可能导致安全团队浪费时间和资源处理虚假警报。

3. 依赖数据质量和完整性：数据分析的准确性和可靠性取决于数据的质量和完整性。如果数据源存在问题，如数据不完整或错误的记录，可能会导致分析结果不准确或误导。

4. 高级分析技能要求：数据分析挖掘安全风险需要具备高级的数据分析和挖掘技能，包括数据清洗、特征提取、异常检测、模式识别等。这对安全团队的技能和培训要求较高。

基于SOC的优缺点：

优点：

1. 多源数据集成：SOC能够集成多个安全数据源，包括网络设备、服务器、终端设备等，通过数据分析挖掘可以综合分析这些数据，全面了解组织的安全态势。

2. 实时监测和响应：SOC能够实时监测和分析各种安全事件和数据，通过数据分析挖掘可以及时发现异常行为、安全事件和潜在的威胁，并采取相应的响应措施。

3. 自动化分析：SOC利用各种技术和工具，如SIEM系统、威胁情报平台等，能够自动化地对安全数据进行分析和挖掘，提高分析效率和准确性。

4. 提供可视化报告：SOC可以生成可视化的报告，将安全分析和挖掘的结果以图表和报表的形式呈现，便于安全团队和管理层理解和决策。

缺点：

1. 假阴性率高：数据分析挖掘在SOC中可能会产生假阴性（漏报）情况，即将真正的安全威胁或异常行为错误地标记为正常。这可能会导致安全漏洞和风险被忽视。

2. 依赖规则和模型：SOC中的数据分析挖掘通常依赖于预定义的规则和模型，这些规则和模型可能无法完全覆盖所有的安全威胁和攻击模式，导致一些新型的威胁无法被识别和发现。

3. 人工干预需求：尽管SOC可以自动化地进行数据分析和挖掘，但仍需人工干预来验证和响应安全事件，这可能需要一定的人力资源和时间成本。

4. 高成本和复杂性：建立和维护一个完善的SOC系统需要高投入，包括硬件设备、软件工具、培训和人员等方面的成本。同时，SOC的复杂性也要求具备高级的技术和管理能力。