互联网资讯 / 人工智能 · 2023年10月30日 0

机器学习应用中的五个实际问题及业务影响

在当今的市场环境中,企业面临着快速处理海量数据的需求。随着竞争格局的不断变化,迅速做出决策变得至关重要。

正如商业畅销书《快鱼吃慢鱼》的作者Jason Jennings和LauRence Haughton所提到的,现代市场竞争的本质在于“快鱼吃慢鱼”,而不是“强者对弱者”。

成功的商业战略依赖于快速获取和利用信息,而机器学习在此过程中扮演着重要角色。无论是为客户提供制造流程改进建议,还是预测市场动态,机器学习都能通过处理大量数据为企业提供支持,从而帮助它们建立竞争优势。

尽管机器学习蕴含巨大的潜力,但也存在一些挑战。机器学习系统依赖于大量数据和复杂计算的能力,这意味着企业必须持续监控和维护其机器学习模型,以应对客户期望的变化和市场波动等外部因素。

此外,机器学习应用中存在一些关键问题需要解决。接下来将讨论五个主要的实际问题及其对业务的影响。

1. 数据质量

机器学习系统需要大量数据,这些数据通常分为特征和标签两类。

特征是机器学习模型的数据输入,来源可以是传感器、客户调查、网站cookie或历史信息等。

然而,这些数据的完整性和准确性常常受到影响。例如,客户可能未能正确填写调查问卷,传感器可能会故障并传输错误信息,而网站cookie可能提供不完整的用户行为数据。因此,数据集的质量在训练模型时至关重要。

另外,数据中可能包含无用的信息,这可能会导致机器学习模型做出错误预测。

机器学习模型的输出则是标签。标签的稀疏性也构成挑战,用户在输入已知的情况下,可能不清楚输出是什么。在这种情况下,理解特征与标签之间的关系可能非常困难,这通常需要大量的人工干预。

若输入和输出之间没有准确的映射,模型将无法学习到正确的关系。机器学习依赖输入和输出之间的关系来进行预测并提供建议,当输入数据混乱、不完整或出错时,理解特定输出或标签的原因就变得非常困难。

2. 复杂性与质量的权衡

构建强大的机器学习模型需要大量计算资源来处理特征和标签。开发复杂的模型需要数据科学家和软件工程师投入大量精力。复杂模型通常需要更多的计算能力和时间来产生可用的结果。

因此,企业面临着权衡选择:快速响应可能导致准确性下降,而接受较慢的响应则可能获得更精确的结果。进行权衡并不是坏事,因为是否选择快速响应或更准确的模型取决于具体用例。

例如,零售网站上的推荐引擎需要实时响应,但其结果的可预测性较低。而股票交易系统则更需要可靠的结果,因此在无需实时反应时,使用更多数据和计算的模型可能会提供更好的结果。

随着机器学习即服务产品的兴起,复杂性与质量之间的权衡将受到更广泛的关注。芝加哥大学的研究发现,若对分类器和特征选择等关键决策有足够了解,用户可以获得与独立分类器相当的结果。

3. 数据中的抽样偏差

许多企业利用机器学习算法帮助招聘。例如,亚马逊发现其用于筛选求职者的算法存在偏见。普林斯顿大学的研究则表明,来自欧洲的求职者在某些人工智能系统中受到优待,反映出算法中的人类偏见。

此问题并非源于模型本身,而是训练模型所用的数据存在偏差。然而,识别并解决数据偏差是可行的,可以采取一些方法来减轻其影响。

首要挑战是识别数据中的固有偏差,这需要一些预处理。虽然不可能消除所有偏差,但可以通过人为干预来降低其影响。

在某些情况下,限制数据特征的数量也是必要的。例如,忽略种族或性别等特征可以减少偏见数据对模型结果的影响。

4. 不断变化的期望与概念漂移

机器学习模型通常在特定场景中运行。例如,支持零售商推荐引擎的模型在客户查看特定产品时起作用。然而,客户的需求会随时间变化,这可能导致机器学习模型偏离其设计目标。

模型衰减的原因多种多样,新数据的引入可能导致数据漂移,而对数据的理解变化则造成概念漂移。

为适应这种漂移,企业需要一个能够利用新数据不断更新和改进的模型。这要求企业定期检查模型。

这需要收集大量特征和标签,并及时响应变化以更新和重新训练模型。尽管某些再培训的过程可以自动化,仍需人工干预。企业必须明白,机器学习工具的部署并不是一次性工作。

此外,企业在采用机器学习工具时也需要定期检查和更新,以保持其相关性和持续提供价值。

5. 监控与维护

创建模型相对简单,并可实现自动化,但维护和更新模型则需要充分的计划和资源。

机器学习模型是一个完整流程中的一部分,始于用于训练的特征,接着是需要不断修改和更新的软件模型。模型依赖标签来识别和利用输入的结果,而模型与系统中最终信号之间可能存在脱节。

在许多情况下,如果结果与预期不符,问题可能不在机器学习模型,而在供应链的其他部分。例如,推荐引擎可能已经向客户提供了产品,但有时销售系统与推荐之间的连接可能中断,需要时间来查找错误。在这种情况下,判断模型推荐是否成功变得困难,故障排除可能相当耗时。

机器学习技术为企业带来了巨大的优势,能够预测未来结果以影响客户行为并支持业务运营。然而,采用机器学习也面临挑战。企业若能识别这些挑战并制定应对策略,将能更好地利用机器学习技术。