通过结合Cloud AI与Edge AI，这种架构可以根据其应用目的充分发挥效能。设计新智能服务的开发者需要了解如何有效利用这两种技术，以提升服务的内在性能，同时确保创新软件解决方案带来更优质的用户体验。
在讨论人工智能时，实际上是在探讨一种方法，通过有意识地将其应用于公司数据（如数字、图像、声音和文本），可以显著加快流程，实现自动化，直接影响公司的收入、成本和风险。此外，人工智能与机器学习的认知工具越来越普及，甚至是较小的企业也能够踏上这条激动人心的旅程。如今，我们可以依赖具体的硬件和软件工具，整合传统业务平台，推动其向更高的性能水平发展，预测技术已成为日常工具，超越常规描述性统计。预测并非猜测，而是通过合理且数学化的方法来最小化对事件发生或基准事件的概率估计之间的误差。如果误差很小，便意味着我们能够以高精度预测未来结果，识别图像或声音的类别，或者写出特定的文字。这便是人工智能的魅力。除了执行这些操作，计算机还需进行大量复杂的计算，因此需消耗大量硬件资源，尤其是当这些计算在个人笔记本或台式机上进行时。实际上，谈及人工智能时，往往是涉及到矩阵计算，即数学运算，包括加法、乘法和数值矩阵的转置。尽管最新一代的CPU提供了强大的计算能力，但其性能始终受到自身计算能力和需同时管理多个进程的限制，导致无法过度饱和。在标准架构中，多个CPU的并行处理能力也受到限制，显然这成为一个瓶颈。
GPU的重要性
为了完成这些关键任务，GPU（图形处理单元）应运而生，这些处理器（如NVIDIA制造的）专为管理视频游戏中的复杂处理而设计。由此可见，如果GPU可以进行3D计算，它也能轻松处理任何涉及连续数字数据的任务。
此外，值得一提的是，NVIDIA首席执行官黄仁勋（Jensen Huang）指出，图形处理器的计算能力的增长幅度已超过摩尔定律的预期。摩尔定律是以英特尔联合创始人戈登·摩尔（Gordon Moore）命名的，指出CPU芯片的计算能力每两年翻一番。而黄仁勋强调，现如今摩尔定律的增长仅为每年几个百分点，而GPU的增长远超这一水平。实际上，在五年内，GPU的能力提升超过25倍，而根据摩尔定律，CPU的增长应仅为10倍。
此外，多个CPU的并行化能力确保了为我们的AI或3D工程提供足够的计算能力。
引言部分是必要的，以便理解拥有充足的硬件设备不仅需要巨额投资，还需要全天候使用机器以收回投资成本，并非所有公司都有能力及技术去建立专门的服务器场。
必须指出的是，AI在两个不同的阶段占据了机器：训练阶段（即教机器执行特定任务的时刻）和推理阶段（即机器利用预测模型对未来数据进行预测的时刻）。实际上，训练阶段会大量消耗机器资源，有时甚至需要数天的计算时间，最终返回一个统计模型，该模型代表了机器要处理任务的数学解释。随后，这一模型用于推理，即执行与训练相同但针对未见过的数据的新任务的预测活动。例如，
尽管预测阶段对机器的负担较轻，但由于其执行频率较高，仍会在时间上占用大量计算资源。
云计算
因而，云计算为企业提供了强大助力：它通过将所有处理负载转移至远程机器，减轻了对机器的长期投资，优化了硬件的总拥有成本（TCO）。这些机器可以根据需求进行激活或停用，因此公司只需为使用付费，而非为设备付费。公司产生的使用成本还包括一系列服务，如网络安全、灾难恢复和GDPR合规等。此外，一些按需机器学习模型也已可供使用，准备满足一般需求。
对于供应商和客户而言，云计算无疑是一个巨大的机遇。例如，亚马逊的收入中超过50%来自AWS平台。借助于AWS、Microsoft Azure或Google Cloud等服务，企业可以将其软件产品转化为真正的平台即服务，并需支付定期费用。这种方式的好处在于，即使在初期设计阶段未能立即意识到这些需求，复杂功能也可远程执行，并能根据需求扩展机器配置。通过简易的点击操作，增加视频卡、提升内存或在新计算机上安装节点。如果需要支持更大的请求负载，还能显著减少服务设置或升级的时间。
此外，一些供应商在其云服务中提供专门设计用于处理多维数据的TPU，这些数据通常是AI更复杂算法的特征。这使得可以在云中执行复杂计算，而所需时间仅为本地计算机所需时间的一小部分。
然而，值得注意的是，管理往返于远程服务器的数据需要大量的网络带宽，以及与API微服务的持续客户端/服务器通信。这是因为推理活动实际上已经转移到了远程设备。
因此，根据我们所创建的服务类型，服务器的操作负载会有所不同。例如，进行对象连续识别时，需要结构化后端以支持对流媒体中传送帧的分段需求。
Edge AI的作用
为优化某些活动，Edge AI应运而生，它能够在用户附近的设备上执行相同的推理操作，而无需将信息传输到网络。
简而言之，Edge AI意味着为电子设备配备自身的AI智能，并可能提供与网络和设备之间的连接性。那么，Edge AI的优势有哪些呢？
其优点显而易见，仅考虑这一架构方法便能在延迟方面显著提高服务的有效性。例如，物联网设备上利用AI专用芯片增强的面部识别或异常预测将变得更加高效。
此外，它还降低了隐私风险。若数据在网络上传输，可能会被拦截或破坏。然而，通过本地处理预测，数据留在设备中，无需传输至其他地方。
因此，相较于在云中为来自多个设备的数据管理多个推理处理线程，在单一设备上进行单个推理无疑是一项成本较低的任务。
最后，明显占用带宽的数据更少，使得可以利用普通的连接基础设施构建智能服务，而无需为特定连接支付额外费用。
首先，这些智能设备允许对AI模型进行几乎实时的处理，因而打开了巨大的潜力场景。
借助这一技术，可以设想无需排队的自由流动结账服务，因为摄像头能够识别托盘中的食物。或是安全设备的自动检测服务，入侵检测以及能耗监控与预测或机械的自动化预测管理等。
在特定用例中，将人工智能的力量延伸至最后一英里可使其成为力量的倍增器，进而细分计算工作，提高服务设计的有效性与效率。
结论
综上所述，尽管没有明确的选择，但Cloud AI与Edge AI的架构已可用于其各自的应用，设计新智能服务的人需能够充分利用这两项技术，不仅改善服务的内在性能，还能确保创新软件解决方案提供更佳的用户体验。
