过去十年，我一直专注于人工智能、系统优化与云基础设施的交叉领域。在Google期间，我曾参与全球最庞大、最复杂的系统之一——数据中心基础设施的高效扩展工作。离开Google后，我创立了Espresso AI，目标只有一个：将世界级的效率引入数据仓库领域。

现代数据仓库的高昂低效

数据仓库和湖仓（lakehouses）彻底改变了组织管理和分析数据的方式。它们提供可扩展、灵活且易访问的数据解决方案，但往往导致计算成本急剧攀升。例如，按用量计费的Snowflake，在工作负载优化不足、负载峰值管理不善或底层数据增长超出预期时，费用会迅速失控（更多细节参见我们的文章：解释Snowflake定价）。

Databricks SQL作为竞争平台，增长迅猛，却面临同样的问题。缺乏实时优化的情况下，许多数据仓库用户让大量资源处于闲置状态：根据我们的观察，平均数据仓库客户的闲置时间接近50%。这意味着你可能正在浪费一半的数据仓库预算。

为何这些平台如此浪费？

问题的核心在于静态仓库分配。数据仓库将工作负载分配给独立的仓库，这往往导致计算资源过度使用。新用户很容易理解这种模式：dbt任务放在dbt集群，BI任务放在BI集群，以此类推。对于从本地环境迁移到云端的组织来说，这种模式也很友好，因为它与他们对分析工作负载的认知高度吻合。

然而，在规模化计算管理方面，这种方法落后于当前先进水平约15年。

正是这段Google经历塑造了Espresso AI的解决思路。我们将现代数据中心管理的核心理念——预测性自动伸缩、硬件合理选型、动态实时路由——通过机器学习迁移到数据工程领域，使Databricks SQL等平台变得智能、自适应且成本高效。

Espresso AI如何改造数据湖仓

我们的平台利用基于客户独特元数据日志训练的机器学习模型，构建了三个核心代理：

  1. 自动伸缩代理：识别工作负载需求的波动，模型预测峰值和低谷，并实时调整资源，在最大化效率的同时不牺牲性能。
  2. 调度代理：摒弃静态仓库放置，系统智能分析持续运行的工作负载，将查询路由到现有资源，减少闲置时间，消除计算浪费。
  3. 查询优化代理：SQL在进入数据湖仓之前即被优化。通过前置查询精炼，我们降低计算负载，提升查询响应速度，并显著削减成本。

共赢：为Databricks和Snowflake带来效率

借助Espresso AI，Databricks SQL用户可将成本削减一半。我们已证明该方案在Snowflake上有效，现在正将相同技术应用于新的Databricks产品。两大平台的客户现在都能通过Espresso AI获得世界级的计算效率。

如果你读到这里，可能已经厌倦了数据仓库账单逐季攀升。欢迎联系Espresso AI——我们能够提供帮助。