Databricks 通过新的 AutoML 引擎和特征存储提升 AI 赌注

随着 Databricks 在北美举行的年度会议 Data + AI Summit 继续进行，该公司也发布了有关其平台新功能的公告。 昨天的重点是传统分析。 今天的主题是 AI，面向多个受众。 对于开发者群体以及成熟的商业用户，Databricks 正在引入一个 AutoML（自动机器学习）引擎； 对于数据科学家，该公司正在添加一个特征存储。

前提
一般来说，AutoML 平台允许用户带来自己的数据集，并通过指示哪一列包含目标变量以及要解决的广泛问题（例如，分类或回归）来从中构建模型。 从那里，AutoML 平台可以扫描一系列算法和每个算法的超参数值，根据选定的准确性和效率指标寻找最佳模型。

与非专家经常使用的 AutoML 不同，特征存储是为数据科学家设计的。 特征存储的前提基于两个重要事实：(1) 单个 ML 模型可能从多个来源获得其训练数据，每个来源都可能以不同的节奏更新，以及 (2) 某些此类源数据可能 被多个模型使用。 基于这种多对多关系——通常被认为是一对一——事实证明，将模型视为 ML 操作中的最小粒度单位通常是不正确的。 相反，它是源数据和数据馈入的 ML 模型特征组（输入变量）应该一起管理，在摄取、特征工程方面，然后可能是受影响模型的传播再训练。

实施
Databricks 的 AutoML 平台由 UI 和 API 驱动，比市场上的许多平台更进一步，因为它避免了简单地输入数据并将模型推出的“黑匣子”场景。 虽然您可以那样使用它，但 Databricks 采用了所谓的“玻璃盒”方法，您可以在其中看到用于生成各种模型的实际代码，并决定“获胜”输出模型，就像工作是 由数据科学家手工编码。

Databricks AutoML 将把代码放在一个标准的、可编辑的笔记本中，代码将利用 MLflow 的 ML 实验功能，MLflow 已经是 Databricks 平台的一部分。 这是一种支持法规遵从性和透明度的出色方法。 它还提供了一个很好的“成长”故事，数据科学家可以在其中获取 AutoML 代码，将其用作基线，然后进一步开发它。 从本质上讲，Databricks AutoML 不仅是非专业人士的工具，而且还是一种实用程序，可以通过消除大量耗时的繁重工作来支持数据科学家。

Databricks 的功能存储在 Delta Lake 文件中具体化，可通过 Delta Lake API 访问。 而且，与 AutoML 引擎一样，特征存储与 MLflow 集成在一起。 它还集成了用于模型和推理（预测）可解释性的 Shapley 值。

Databricks AutoML 和 Databricks Feature Store 都是 Databricks 构建完全独立的数据平台战略的一部分，该平台具有全方位的 lake/lakehouse、数据准备、数据管理、数据治理、BI 和 AI 功能。 正如业内许多人认为该公司即将进行首次公开募股一样，它希望连续获得所有 ML 和数据鸭子当然是有道理的。