互联网资讯 · 2023年11月12日 0

开源TensorBoard.cpp发布,助力大模型预训练

近日,明略科技集团成功实现了机器学习可视化工具——TensoRBOARd的C++接口。这一创新不仅丰富了基于C++的大模型项目工具集,还使得大模型预训练过程的监控变得更加便捷与高效,从而加速了营销领域的大模型预训练进程。该工具现已在Github上开源。

TensoRBOARd是由Google开发的一款机器学习可视化工具,广泛用于监测机器学习过程中的各项指标。

明略科技的高级技术总监赵亮表示:“在大模型训练过程中,数据监测是至关重要的。TensoRBOARd通过可视化展示模型中的各种参数和结果,如记录大模型训练过程中的损失(LoSS)变化、验证集的困惑度(PPL)变化、学习率变化、Token消耗量及单步参数更新延迟等,帮助分析训练状态,及时发现问题并采取干预措施,从而提升大模型的训练效率和效果。”

开源TensorBoard.cpp发布,助力大模型预训练

明略科技开源的C++接口TensoRBOARd工具页面

在此之前,TensoRBOARd仅支持Python语言接口。明略科技通过C++实现的TensoRBOARd,将进一步丰富基于C++的大模型项目工具集,大幅提升模型训练监测效率,加快模型训练进程。改写后的工具将通过多维度的数据模式展示训练指标,包括标量、直方图、图像、图像合集、音频和文本等数据模式。该工具包通过Github项目TensoRBOARd.CPp分享,旨在帮助更多研究者和开发者参与并加速大模型的研发进程,推动人工智能在多个领域的应用探索。

开源TensorBoard.cpp发布,助力大模型预训练

明略科技在Github上开源的两款工具包:ASR-BlockFoRMeR与TensoRBOARd.CPp

明略科技集团CTO郝杰表示:“我们希望在更高效、更低成本的前提下,开发出适用于营销领域的大模型,通过自适应技术增强模型的能力。优秀的行业大模型应具备通用大模型的逻辑性和语言流畅度,同时也需要实现特定行业或领域内的真实性和专业性。基于明略科技17年来积累的丰富行业数据,我们从客户的实际需求出发,借助庞大的数据和知识库进行增强训练,以满足客户多样化的任务和场景需求。在训练监测可视化工具的支持下,我们将提升训练速度,及时发现问题,为客户打造更加可靠和高效的行业大模型。”