IDEs 系统

Jupyter 是一种 Web 应用,涵盖了跨数十种编程语言的交互式计算。
它能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中,非常方便研究和教学。在数据挖掘平台 Kaggle 上,使用 Python 的数据开发者大多数选择了 jupyter 来实现分析和建模的过程。
GitHub 地址:https://github.com/jupyter/jupyter
Spyder 是一个 用于科学计算的使用 Python 编程语言的集成开发环境(IDE)。
它结合了综合开发工具的高级编辑、分析、调试功能以及数据探索、交互式执行、深度检查和科学包的可视化功能,对于初学者也非常友好。
GitHub 地址:https://github.com/spyder-ide/spyder
Zeppelin 是一款基于 Web 的交互式数据分析平台。它基于网络的笔记本,默认使用 Spark 集群作为分析引擎,提供数据可视化的框架,支持数据驱动的交互式数据分析。
通过配置,它也支持包括 SQL、Python、R 等多种数据分析语言,提供数据库查询、动态图表展示、地图等数据可视化能力,并能够以 Notebook 的形式保存和分发代码及分析结果。
GitHub 地址:https://github.com/apache/zeppelin
平 台
H2O 是 H2O.ai 公司的完全开源的分布式内存机器学习平台。H2O 同时支持 R 和 Python,支持最广泛使用的统计和机器学习算法,包括梯度提升( Gradient Boosting )机器、广义线性模型、深度学习模型等。
H2O 包括一个自动机器学习模块,使用自己的算法来构建管道。它对特征工程方法和模型超参数采用了穷举搜索,优化了管道。H2O 自动化了一些最复杂的数据科学和机器学习工作,例如特征工程、模型验证、模型调整、模型选择 和 模型部署。除此之外,它还提供了自动可视化以及机器学习的解释能力( MLI )。
GitHub 地址:https://github.com/h2oai/h2o-3
MLflow 是机器学习生命周期的开源平台,开放接口,可与任何机器学习库、算法、部署工具或编程语言一起使用,基于 REST API 和简单的数据格式而构建。是一个开源项目,允许用户和机器学习库开发人员可以对其进行扩展。
MLflow 现 alpha 版,提供跟踪、项目和模型三大组件。MLflow 的跟踪组件支持记录和查询实验数据,如评估度量指标和参数。MLflow 的项目组件提供了可重复运行的简单包装格式。最后,MLflow 的模型组件提供了用于管理和部署模型的工具。
GitHub 地址:https://github.com/mlflow/mlflow
Kubeflow 项目旨在使 Kubernetes 上的机器学习变的轻松、便捷、可扩展,其目标不是重建其他服务,而是提供一种简便的方式找到最好的 OSS 解决方案。对分布式训练任务支持。
用于创建和管理交互式 Jupyter notebook 的 JupyterHub,可配置为使用 CPU 或 GPU,并通过单一设置调整至单个集群大小的 TensorFlow 训练控制器( Tensorflow Training Controller ),用于 TF 服务容器( TF Serving container )
GitHub 地址:https://github.com/kubeflow/kubeflow
评分推理系统
ONNX 是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如 Pytorch, MXNet)可以采用相同格式存储模型数据并交互。ONNX 的规范及代码主要由微软,亚马逊,Facebook 和 IBM 等公司共同开发,以开放源代码的方式托管在 Github 上。
目前官方支持加载 ONNX 模型并进行推理的深度学习框架有: Caffe2, PyTorch, MXNet,ML.NET,TensorRT 和 Microsoft CNTK,并且 TensorFlow 也非官方的支持 ONNX。
GitHub 地址:https://github.com/onnx/onnx
开源机器学习部署平台 Seldon Core,让机器学习模型可以部署于 Kubernetes 上。Seldon Core 的目标,要让研究人员可以用任何工具包、程序语言建立机器学习模型。
现阶段该工具支持模型包含以 Python 为基础的 TensorFlow、Sklearn,还有 Spark、H2O、R 等知名模型。此外,Seldon Core 也让机器学习模型可支援 REST、gRPC,让使用者可以更简单地整合相关企业应用。
GitHub 地址:https://github.com/SeldonIO/seldon-core
转载雷锋网( 公众号:雷锋网 ) AI 开发者
图片来源网络,侵权联络删除
