大数据安全是指在存储、处理和分析过于庞大和复杂的数据集时，采用任何措施来保护数据免受恶意活动的侵害，传统数据库应用程序无法处理这些数据集。大数据可以混合结构化格式(组织成包含数字、日期等的行和列)或非结构化格式(社交媒体数据、PDF 文件、电子邮件、图像等)。不过，估计显示高达90%的大数据是非结构化的。大数据的魅力在于，它通常包含一些隐藏的洞察力，可以改善业务流程，推动创新，或揭示未知的市场趋势。由于分析这些信息的工作负载通常会将敏感的客户数据或专有数据与第三方数据源结合起来，因此数据安全性至关重要。声誉受损和巨额经济损失是大数据泄露和数据被破坏的两大主要后果。在确保大数据安全时，需要考虑三个关键阶段:当数据从源位置移动到存储或实时摄取(通常在云中)时，确保数据的传输保护大数据管道的存储层中的数据(例如Hadoop分布式文件系统)确保输出数据的机密性，例如报告和仪表板，这些数据包含通过Apache Spark等分析引擎运行数据收集的情报这些环境中的安全威胁类型包括不适当的访问控制、分布式拒绝服务(DDoS)攻击、产生虚假或恶意数据的端点，或在大数据工作期间使用的库、框架和应用程序的漏洞。