Reddit热议:只要2行代码,免费开源ML管理工具TRAINS

百家 作者:新智元 2019-06-20 04:58:12






  新智元报道  

来源:Reddit、GitHub

编辑:大明、张佳

【新智元导读】本日Reddit热议:开源机器学习管理平台TRAINS。据开发者介绍,该平台能够通过中央服务器集中记录管理ML模型的一切信息,整合方便,与主流框架无缝对接,仅用两行代码即可启用,相关Demo和GitHub资源已开放。


今天Reddit头号热帖看起来像是一条广告:这是一个ML团队自家开发的模型管理平台,名字很别致,叫“TRAINS”,很直观有没有?


帖子作者是开发团队成员之一,上来第一句就很耿直:现在机器学习模型管理平台很多,要不要来试试我们刚开源这个?

 

简单介绍一下,这个平台名叫TRAINS,我们团队没有营销team,所以我作为开发团队一员,先发到reddit上让你们先试试看了!


你这平台最大特点是啥?使用简便!只需在脚本中添加两行代码,模型、性能指标、超参数就尽在掌握了。


话说回来,只要分享的东西好用,作为“美国贴吧”的Reddit上的网友其实并不拒绝广告,下边网友就开始提问了,比如:

 

我现在还没进GitHub里详细查看,不如你简单介绍一下这个TRAINS平台和现有其他机器学习模型管理平台,比如和Sacred的区别、或者说是特别之处在哪儿呢?

 

Sacred平台模型调试面板


楼主表示这个问题问的好。他表示,主要有六点区别

 

  • TRAINS整合整个资源库只需两行代码,如果是Scared的话,需要为每个函数添加修饰器,记录每个量度和超参数,显示整合非常麻烦。


  • TRAINS还会自动将git repo和commit与实验中的训练过程连接起来。(据我所知,这在Sacred中是办不到的,至少不容易实现)


  • TRAINS自动记录模型并在集中的位置创建副本,团队可以轻松地对模型和初始权重进行共享。(使用Sacred只能手动执行操作,只能在共享文件夹上共享。)


  • TRAINS界面美观,连续几小时看着不累眼睛。


  • TRAINS允许用户从Python式的界面中轻松查询实验数据和指标。


  • TRAINS还允许用户直接访问mongoDB和elasticsearch数据库,以便更深入地了解系统。


不过,作者Reddit上的回复中对TRAINS的介绍比较简略,我们还可以去GitHub上看看。

 

GitHub上的介绍就直接多了,介绍说明文档中直接将TRAINS称为一套“神奇的自动化AI实验管理器和版本控制器。”

 

即使是才华横溢的科学家,工程师或开发人员,在独立工作时都难免被复杂的流程搞得一团乱麻。机器学习的工作流程是可以管理的。随着时间的推移和项目人手的增加,管理的混乱会降低生产力。随着项目向生产方向发展,必须通过可见性和出处(provenance)来扩展深度学习的研究成果。

 

不论是对于团队还是企业,TRAINS都能将所有内容记录在一个中央服务器中,并实现可视化和出处,这样生产力就不会受到影响。TRAINS可以记录和管理各种深度学习研究的模型负载,并且几乎不需要付出集成成本。

 

我们专门设计了TRAINS,能够轻松集成模型参数,团队可以保留现有的方法和实践。可以每天使用TRAINS来增强团队协作,提升可视化程度,还可以用来将实验日志、输出和数据收集到一个集中式的中央服务器上。


Demo地址:https://demoapp.trainsai.io (需要注册)

 

究竟神奇在哪呢?以下是作者团队总结的TRAINS的主要特点。

 


TRAINS是我们解决机器学习/深度学习领域中与无数其他研究人员和开发人员分享的问题的方法:培训生产级深度学习模型是一个光荣而又混乱的过程。TRAINS通过关联代码版本控制、研究项目、性能指标和模型出处来跟踪和控制流程。


无缝兼容常用框架,一站式记录所有模型数据


现在就能用

TRAINS免费开源,只需要两行代码即可完全集成。

 

可与其他常用工具一起使用

TRAINS与现有主要框架无缝集成,包括:PyTorch、TensorFlow、Keras和其他即将推出的框架支持Jupyter Notebook和PyCharm远程调试

 

TRAINS服务器和使用TRAINS python包的GPU训练机器的交互过程


记录一切:让机器学习实验真正可重复

自动关联模型+代码+参数+初始权重的模型日志记录

自动在集中存储上创建模型副本(支持共享文件夹、S3、GS,Azure即将推出!)

 

共享与合作

多用户过程跟踪与合作

中心服务器能够整合日志、记录和通用统计数据

 

提高生产力

全面的实验数据比对,代码贡献、初始权重、超参数和量度结果等。

 

组织与管理

管理并组织项目中的实验

查询能力。通过结果量度对实验进行分类和筛选。

 

更多特色

通过网页应用,利用远程机器终止实验

提供经过现场测试的功能丰富的SDK,可满足用户的即时定制化需求


有关TRAINS机器学习模型管理平台的更多详情,可参阅GitHub资源:https://github.com/allegroai/trains



参考链接:

Reddit:

https://www.reddit.com/r/MachineLearning/comments/c2g2li/n_there_are_many_platforms_to_manage_your_ml/


GitHub:https://github.com/allegroai/trains


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数