日志数据转换

Discover tools, trends, and innovations in eu data.
Post Reply
rochona
Posts: 324
Joined: Thu May 22, 2025 5:30 am

日志数据转换

Post by rochona »

自动 etl 使用 ocsf 模式转换日志: amazon security lake 运行自动 etl 作业将为特定的 ocsf 模式,并使 amazon security lake s3 存储桶中的 parquet 格式数据易于消费。
有效的日志分区和区域汇总: amazon security lake 提供将日志数据汇总到指定区域的功能,有助于我们管理全球基础设施中的日志数据。日志数据按日志源、区域、账户 id 和事件时间进行有效分区。
自定义日志源提取支持:只要客户日志数据符合 ocsf 标准,即可将其提取到 amazon security lake 中。这将创建一个统一的数据湖来管理 aws 的原生安全日志和 salesforce 自身的日志数据。
对其他服务的集成支持: amazon security lake 对与其他服务的集成有良好的支持,例如 athena、splunk 等。我们可以使用多个查询引擎轻松地针对 amazon security lake 日志数据搜索和运行分析作业。
创新与信任相遇
最终,我们采用 amazon security lake 帮助我们解决了一些繁重的日志收集、转换、聚合、搜索和管理工作。它与 aws 上的 salesforce hyperforce 完美契合,并补充了 dnr 自身的数据管道。此外,amazon security lake 日志聚合和区域汇总功能与 dnr 自身的全球、去中心化和混合数据湖基础设施完全兼容。

我们对 amazon security lake 与第三方 ocsf 联盟成员集成并将所有安全 玻利维亚 whatsapp 移动数据库 日志数据整合到一处的能力充满期待。我们预计 amazon security lake 将帮助我们分担 30% 到 50% 的自有数据管道流量。这将显著缩短我们的日志导入时间,扩大日志覆盖范围,并进一步提升 salesforce 的安全态势。我们将始终专注于信任和创新。

这篇文章由 salesforce 检测和响应 (dnr) 工程团队成员撰写:

叶雷,检测与响应 (dnr) 工程软件工程架构师,专注于为 dnr 创新数据处理管道、数据湖和查询引擎。他是 salesforce 亚马逊安全湖项目的技术负责人。他构建了 dnr 下一代数据湖基础设施的蓝图,并推动了跨组织和团队的协作。
Post Reply