我们如何支持全球客户群的增长?我们现设施和hyperforce提供 customer 360 服务。hyperforce 是一种全新的基础设施架构,允许 salesforce 利用公有云合作伙伴(包括 aws 及其最新的安全创新技术)快速安全地扩展。
解决 hyperforce 上的大规模日志收集
检测与响应 (dnr) 团队对于保障 salesforce 基础设施的安全至关重要。该团队负责检测恶意威胁活动,并及时响应安全事件。我们通过收集和检查数十家机构(其中一些机构拥有数千个账户)的 pb 级安全日志来实现这一目标。
hyperforce 实例、帐户和服务正在不断增长。为此,dnr 团队面临着提升数据管道和数据湖可扩展性的挑战。我们致力于解决一些耗时的任务,例如降低日志提取延迟、提升日志导入效率、增强管道可扩展性以及合理化服务成本。
dnr 设计并部署了一条现有管道,用于从 aws 上的全球 hyperforce 实例收 波斯尼亚和黑塞哥维那 whatsapp 移动数据库 集安全日志。由于安全日志类型多样,我们采用分而治之的方法,为不同类型的日志构建不同的日志收集机制。例如,我们利用了基于 cloudwatch 的日志收集、基于 s3 存储的日志收集、基于 lambda 的日志收集、基于 kinesis 的日志收集、基于 msk 的日志收集等。随着日志量呈指数级增长,我们日志收集机制的复杂性和效率可能会变得难以应对。
为了解决 hyperforce 上的大规模日志收集问题,我们希望实现一个融合架构,该架构支持多个日志源、实现可扩展的 etl、激活准确的模式管理、帮助日志分析/查询,并涵盖整个管道的端到端可观察性。