经过规范化处理后,所有日志(包日志)都拥有匹配的架构和一组可供查询的字段。我们从 crowdstrike 日志中提取 remoteaddressip4 并将其重命名为 ipdestination,类似地, pan 日志中的dst 也变为 ipdestination。如果分析师想要查看某个 ip 是否已连接,只需编写查询语句,查询所有日志并询问 ipdestination == […] 的位置即可。
挑战
理想情况下,这很棒!分析师可以搜索了。然而,对数规范化也带来了自身的挑战:
数据字典中有数百个字段,其中很多字段为null,浪费了大量的空间。
当我们获得一种新的日志类型时,字段可能与我们之前定义的不一致,从而产生奇怪的边缘情况(例如,用户、用户名、用户电子邮件根据日志类型有不同的含义)。
我们必须通过编写正则表达式或解析规则来手动解析每个新的日志类型或子日志类型,作为加入新日志源的一部分。
任何日志结构的变更、字段的添加或替换,都可能导致现有规则 阿尔巴尼亚 whatsapp 移动数据库 无法解析相关字段,这是一个严重的数据质量问题。
此外,目前缺乏有效的方法来大规模验证或跟踪规则。规则很可能重复;维护或更新规则集非常困难,因为规则的弃用会带来巨大的风险。这可能会导致新规则覆盖旧规则功能的回归。
所有这些工作都伴随着不断增长的成本。团队没有将主要精力放在检测和响应事件上,而是花时间手动规范化这些数据作为先决条件。
ocsf 采用
开放网络安全架构框架 (ocsf)在 blackhat 大会(2022 年 8 月)上公开宣布为一项开放架构标准,这是一项开创性的项目。它致力于将多个网络安全来源的数据进行泛化。该框架旨在提供一个简化且与供应商无关的分类法,帮助所有安全团队实现更好、更快的数据提取和分析,而无需耗时的预先规范化任务。