机器学习和人工智能将继续在IT服务领域发挥重要作用,为软件工程师开发的应用程序提供支持。为了跟上这一进展,IT团队必须提升他们在机器学习方面的能力。
云计算服务为构建和部署人工智能及机器学习应用程序提供了必要的功能。在许多方面,人工智能系统的管理与IT专业人士在云平台上熟悉的其他软件管理相似。然而,仅仅因为可以部署应用程序,并不意味着机器学习模型的部署也会成功。
尽管有这些相似之处,但二者之间也存在显著差异。除了软件工程技能外,IT团队还需要掌握特定的机器学习和人工智能知识。除此之外,他们还需了解当前可用的云计算工具,以支持团队的计划。
IT专业人士应当探索成功在云端应用人工智能所需的五种机器学习技能,并熟悉亚马逊、微软和谷歌所提供的支持这些技能的产品。尽管这些技能之间有所重叠,但并不存在一种全能技能。通过培养拥有这些技能的团队成员,组织可以有效利用基于云计算的机器学习优势。
数据工程
要在云平台上实施任何人工智能策略,IT专业人员必须了解数据工程。数据工程涉及一系列与数据整理及工作流开发相关的技能,并需要一定的软件架构知识。
IT专业知识的不同领域可以细分为IT专业人员应承担的不同任务。例如,数据整理通常包括数据源识别、数据提取、数据质量评估、数据集成及管道开发,以便在生产环境中执行这些操作。
数据工程师应能够熟练使用关系数据库、NoSQL数据库和对象存储系统。Python是一种流行的编程语言,可以与批处理和流处理平台及分布式计算平台结合使用。即便IT人员并非Python编程专家,掌握一些Python知识将帮助他们利用大量开源工具进行数据工程和机器学习。
所有主要云平台都很好地支持数据工程。多家公司提供全面的服务以支持数据工程,例如Glue、适用于Apache Kafka的Managed Streaming和多种Kinesis服务。Glue是数据目录及提取、转换和加载服务,支持计划任务。MSK是构建数据工程管道的有用工具,而Kinesis服务特别适合部署可扩展的流处理管道。
谷歌云平台提供了Cloud Dataflow,这是一项托管的Apache Beam服务,支持批处理和流处理。对于ETL流程,谷歌云平台还提供了基于Hadoop的数据集成服务。
Azure同样提供多种托管数据工具,如Cosmos DB、Data Catalog和Data Lake Analytics等。
建立模型
机器学习是一个不断发展进步的领域,IT人员可以通过研究与开发机器学习算法来拓展职业生涯。
IT团队利用工程师提供的数据构建模型,并创建能够提出建议、预测结果和分类项目的软件。了解机器学习的基础知识至关重要,尽管许多模型构建过程在云中是自动化的。
作为模型构建者,需理解数据和业务目标,制定问题解决方案,并了解如何将其与现有系统整合。
市场上有一些工具,例如谷歌的Cloud AutoML,帮助组织利用结构化数据及图像、视频和自然语言构建自定义模型,而无需深入了解机器学习。微软在Visual Studio中提供了ML.NET模型构建器,为构建、训练和部署模型提供了用户界面。Amazon SageMaker是另一项托管服务,专用于在云中构建和部署机器学习模型。
这些工具能够选择算法,识别数据中最有用的特征或属性,并通过超参数调整过程优化模型。这些服务扩展了机器学习和人工智能策略的潜在应用。正如驾驶汽车的人不必成为汽车工程师一样,IT专业人员也无需获得机器学习研究生学位即可构建有效模型。
公平与偏差检测
算法做出的决策直接影响个人,金融服务利用人工智能在信贷决策中可能无意中对某些群体产生偏见。这不仅可能导致个人被拒绝信贷,还可能使金融机构面临违反《平等信贷机会法》等法规的风险。
检测人工智能和机器学习模型中的偏差是一个关键任务,虽然这需要一定的统计和机器学习技能,但与模型构建一样,某些繁重的工作可以由机器完成。
FAIRML是一个开源工具,用于审核预测模型,帮助开发人员识别潜在的偏差。检测模型偏差的经验也能为数据工程和模型构建过程提供支持。谷歌云的公平性工具在市场中处于领先地位,包含假设分析工具、公平性指标及可解释的人工智能服务。
模型性能评估
模型构建过程中的一部分是评估机器学习模型的性能。例如,根据准确性和召回率对分类器进行评估,回归模型则通过测量平均误差率来进行评估。
当前表现良好的模型未来可能会出现性能下降。问题不在于模型被损坏,而在于模型训练所用的数据不再反映其应用环境。即使没有突发的重大事件,数据漂移也是常见现象。因此,评估模型并在生产过程中持续监测至关重要。
Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服务提供了一系列模型性能评估工具。
领域知识
领域知识并不是一种特定的机器学习技能,但在成功的机器学习策略中,它却是至关重要的。
每个行业都有其知识体系,必须以某种形式进行研究,特别是对于构建算法的决策者而言。机器学习模型受限于用于训练它们的数据,因此具备领域知识的IT人员在确定人工智能应用场景及评估其有效性方面至关重要。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
[[[IMG_5]]]
