谷歌云日志分析实战，WePay如何用Elastic实现90%的问题检测提速

引言：金融科技的数据困境

WePay是一家在线支付服务公司，被摩根大通收购，为众筹网站、市场平台和小型企业软件公司提供支付处理服务-8。他们的IT基础架构在数千个容器和虚拟机中运行着数百项服务，全部基于Google Cloud构建。

在竞争激烈的支付市场，WePay需要保证环境的可用性和效率。他们不仅收集自身基础架构和应用程序的日志，还从谷歌云以及与WePay服务集成的其他外部供应商处收集审计日志，总数据量达500TB-8。

一、日志管理面临的三重挑战

1.1 数据爆炸式增长

随着基础架构的发展，WePay原有的日志解决方案难以与时俱进。它很容易出现故障，需要人工干预，妨碍工程师专注于为公司业务创造价值-8。

1.2 存储成本高昂

根据金融行业法规，WePay必须长期存储日志。保留大量数据的成本很高，他们需要既能精简存储成本，又要遵循合规准则的解决方案-8。

1.3 数据分散割裂

日志、指标和跟踪数据分布在不同的供应商解决方案中，导致团队难以获得统一的观测视角。当问题发生时，需要花费大量时间在不同工具间切换、关联数据-8。

二、解决方案：Elastic on Google Cloud

WePay决定部署Elastic可观测性作为单一解决方案，用于管理开发、测试、试生产和生产环境中的所有日志记录-8。

2.1 整合可观测性

Elastic可观测性让团队打破孤岛，汇总包括日志数据在内的所有遥测数据，同时为团队提供了数据保留控制选项-8。

2.2 跨集群搜索

跨集群搜索是一项关键功能，允许团队跨多个集群进行搜索，通过内置的Elastic仪表板对来自多个来源的数据进行可视化和分析，从而获得最新的全面报告-8。

2.3 与谷歌云存储集成

WePay将Elastic的“热、温、冷、冻”层级与谷歌云的SSD和持久磁盘相结合，以具有成本效益的方式满足审计要求-8。最初的90天内，数据存储在Elastic中，以便快速处理短期审计查询；较早的数据则转移到Google Cloud Storage中，以满足长期审计要求-8。

三、三大核心收益

3.1 问题检测时间缩短90%

通过将所有日志和遥测数据存储在Elastic中并对事件进行关联，WePay将在事件期间确定对客户影响的时间缩短了90%-8。他们能够更快地识别基础架构和应用程序中的问题，并进行复杂的分析。

3.2 更快推出新功能

开发人员使用Elastic可观测性来监测日志，发现正在开发的应用程序中的错误，从而更快地向生产环境转移并为客户提供新功能-8。

3.3 合规成本大幅优化

Elastic提供了一种灵活且具有成本效益的方式来简化并加强合规性维护。通过将短期日志数据与长期云存储基础架构集成，WePay能够轻松遵循金融行业法规-8。

四、客户体验的提升

4.1 技术客户管理仪表板

WePay使用Elastic创建了仪表板，为其技术客户管理团队提供分析功能，确保客户持续从自身部署中获得最大收益-8。

“Elastic仪表板能够帮助我们的技术客户经理打造更出色的客户体验。他们无须向我们询问有关事件状态或故障率的问题，就可以快速查看数据并采取行动，从而能够更加快速地解决客户问题。”——WePay资深软件工程师Kartik Deshpande-8

4.2 安全防护升级

在利用Elastic可观测性改善了客户体验之后，WePay又部署了Elastic Security来帮助保护其数据。Elastic Security已成为安全团队运维工作的中流砥柱，可保护公司免受外部威胁-8。

五、对企业的启示

5.1 统一可观测性平台的价值

WePay的经验表明，将日志、指标和追踪数据统一到单一平台，能够显著提升问题检测效率、加快新功能上市速度，同时降低运维成本。

5.2 分层存储策略

结合Elastic的热温冷冻层级与谷歌云的分层存储，企业可以在快速查询和长期合规之间取得平衡。前90天用高性能存储满足快速检索，之后转移到低成本存储满足合规保留-8。

5.3 专业服务的重要性

WePay强调了Elastic专业服务团队所提供的支持，帮助确定了改进搜索的方法，加快产品投产时间。当需要帮助时，专业服务团队始终与客户并肩工作-8。

结语

WePay的案例证明，在金融科技这样监管严格的行业，企业完全可以通过合理的日志管理方案，在快速创新和严格合规之间找到平衡。正如他们的工程师所说：“Elastic可观测性是我们基础架构不可或缺的一部分，让我们能够在遵守最新法规的同时提供卓越的客户体验。”

如果需要更深入咨询了解可以联系全球代理上TG:jinniuge  他们在云平台领域有更专业的知识和建议，他们有国际阿里云，国际腾讯云，国际华为云，aws亚马逊，谷歌云一级代理的渠道，客服1V1服务，支持免实名、免备案、免绑卡。开通即享专属VIP优惠、充值秒到账、官网下单享双重售后支持。不懂找他们就对了。