推动数据可观察性的 3 个趋势

企业“数据可观察性”是目前的热门领域。

在过去的几个月里，投资者纷纷抽2亿$的每一个中Cribl和Grafana实验室，两个数据可观察创业公司，以及少量到像相关公司Acceldata和DeepFactor。

这种狂热的背后是什么?

好吧，企业数据系统就像一个忙碌的家庭。从一个房间到另一个房间，你有一个复杂的活动潮起潮落，人们来来往往，门打开和关闭。来自公用事业的各种入站流使一切顺利：水流经管道、电力和 Wi-Fi 为一切提供动力，以及流经通风口的暖空气或冷空气。

不同的是，在企业中，数据洪流正以前所未有的速度增长。

在家里，就像在企业中一样，很容易将这种复杂性视为理所当然的日常，但是当出现问题时，生活可能会立即陷入停顿。在家里，这就是我们拥有现代便利设施的原因，例如智能恒温器、联网设备和网络摄像头安全系统。这些小工具让我们可以监控家中发生的事情，无论是灯泡坏了还是不受欢迎的入侵者，然后尝试纠正问题。

这种监视和理解系统的能力是数据可观察性成为目前企业 IT 中最热门话题之一的原因。需要明确的是，这是我们正在讨论的内容：

监测：解决方案，让团队能够观看和了解什么是他们的数据系统发生的基础上，收集组预定义的指标或日志。

可观察性：解决方案让团队为什么会在他们的系统中发生变化，包括回答以前可能没有被问到或想到的问题。

家庭类比是数据可观察性公司 Cribl 的联合创始人兼首席执行官 Clint Sharp 有时在试图用相关术语解释数据可观察性时使用的类比。

“可观察性是询问和回答复杂系统问题的能力，包括我可能没有事先计划好的问题，”夏普说，将可观察性工具比作恒温器，如果您家中的温度突然升高或降低，它会通知您比预期的要好。

“一个更难回答的问题是：为什么温度会出现偏差?”夏普说。“这可能是一件很难诊断的事情，尤其是当我在一个现代应用程序上做这件事时，有数十名开发人员在处理它以及各种复杂的交互。”

数据可观察性是关于“为什么”

“为什么”部分是数据可观察性的全部内容，它与 IT 基础设施和数据系统中的简单监控问题(即“什么”)不同。在过去的几年中，企业已经开始从单纯的数据监控转向数据可观察性，而这一趋势现在才开始升温。

根据研究公司 Gartner 的数据，到 2024 年，企业对可观察性工具的采用率将提高 30%。根据 New Relic 的2021 年可观察性预测，90% 的 IT 领导者表示，可观察性对其业务的成功至关重要，76% 的人表示他们预计明年的可观察性预算会增加，

这对 Cribl 的 Sharp 等人来说是个好消息，他们的初创公司只是这个快速增长的生态系统中众多参与者之一。就 Cribl 而言，它提供了一个集中的可观察性基础设施，可以插入大量数据源和可观察性工具。有很多这样的公司：Splunk、Accel Data、Monte Carlo、Bigeye 和 Databand 只是目前专注于数据可观察性的少数公司。

数据可观察性是企业技术领域中一门快速发展的学科，旨在帮助组织回答一个问题：他们系统中的数据有多健康?随着所有不同(通常格式不同)的数据流入、流入和流出企业，可能导致业务严重中断的潜在弱点(例如丢失、损坏或不完整的数据)在哪里?

可观察性由五个支柱组成

良好的数据可观察性包括：

新鲜度，或数据表的最新程度;

分布，或数据是否涵盖正确的范围;

数量，或数据的数量和完整性;

Schema，监控数据结构的变化;

Lineage，它可以识别数据中断的位置并告诉您哪些来源受到影响。

数据中断的成本可能是巨大的。从收入损失和客户信心下降到团队生产力和士气下降，当数据管道中断时，企业会损失很多。随着企业数据系统变得越来越复杂和多层次——数据来自各种各样的来源，越来越多的人与之交互——对可观察性的需求变得越来越紧迫。

良好的数据可观察性不仅仅是预防灾难。通过将可观察性最佳实践应用于其数据堆栈，企业可以更轻松地优化其数据基础架构并避免不必要的过度配置，从而提高效率、加速创新，甚至降低 IT 成本。它甚至可以帮助留住人才，因为一个运转良好且没有问题的环境会让工程师和其他团队成员感到高兴。

难怪企业开始认真对待数据可观察性。那么这个新兴领域的下一步是什么?以下是塑造数据可观察性未来的三大趋势。

趋势一：人工智能增强数据可观察性

与现代生活的许多方面一样，人工智能正在企业数据可观察性上留下自己的印记。事实上，许多人会争辩说，AIOps——或者说使用人工智能来自动化和增强 IT 运营——是实现真正可观察性的基本要求。在较高层面上，机器学习和其他 AI 技术可以帮助团队更轻松地分析大型、相互关联的数据集。这会自动检测有问题的模式，并在问题发生时将其归零。

例如，可观察性平台公司Monte Carlo使用 AI 模型来识别查询日志中的模式，触发调查后续结果，并查找上游依赖项变化以确定给定问题的原因。Observe.ai是一种用于呼叫中心的可观察性工具，它使用自然语言处理和自动语音识别来转录和分析客户服务电话，同时自动标记重复模式、数据变化和异常情况。

趋势二：数据标准化助力可观测性演进

数据模式是可观察性的五个支柱之一，这是有原因的。由于数据来自如此多的来源和不同的格式，难怪这些数据集结构的差异会导致不匹配和其他数据问题。

因此，企业正在推动标准化。例如，OpenTelemetry是一个新的开源框架，旨在驯服一些数据混乱，并使跨不同平台、管道和数据源的可观察性更容易。通过其开放的、供应商中立的工具、SDK 和 API 的集合，OpenTelemetry 为组织提供了一种标准化的方式来收集遥测数据——构成数据可观察性核心的指标、跟踪和日志——并轻松地在各种数据之间路由这些数据。服务和数据分析工具。

趋势三：数据可观察性进一步向云端转移

随着企业技术和运营的越来越多的方面发生在云中，数据可观察性也将朝着这个方向转变也就不足为奇了。Snowflake 等越来越流行的云数据架构允许企业在云中存储和使用他们的数据，而数据虚拟化和可视化工具使团队更容易理解这些数据。

云也正在成为数据可观察性本身的一个更友好的地方。例如，Cribl 最近宣布了一项名为 LogStream Cloud Enterprise 的新功能，该功能允许公司将敏感数据处理转移到云中，以使用加密保护的零信任隧道保护本地数据的安全性。