Releases: ICT-BDA/EasyML
Release-1.2.0
EasyML 1.2.0版本，加入了Tensorflow的单机、分布式的支持，同时对一些bug进行了修复。该版本具体细节功能和改进如下：
Docker集群版本更新
安装包
镜像获取
- Mysql镜像
docker pull nkxujun/mysql_eml:1.2.0
- Ubuntu镜像：
docker pull nkxujun/ubuntu_eml:1.2.0
更新内容
-
Tensorflow支持： ubuntu镜像内置
tensorflow 1.3.0版本，提供tensorflow并行模式一键配置脚本。支持tensorflow的数据并行与模型并行 -
新增Tensorflow模型并行示例：以深度学习常用数据集mnist为例，采用CNN Tensorflow模型并行方式解决手写字识别问题
-
新增Tensorflow数据并行示例：以深度学习常用数据集mnist为例，采用CNN Tensorflow数据并行方式解决手写字识别问题
-
脚本修正：修正运行脚本中部分单词拼写错误问题
-
更换示例数据上传方式：修改upload-hdfs.sh脚本，移除单个数据、程序数据的上传模式，采用批量数据上传方式。（此前为一个程序一个程序上传）
EasyML 项目更新
新特性
-
Tensorflow类型支持：支持程序上传类型为Tensorflow，同时提供单机、数据并行、模型并行三种运行方式
-
Directory类型支持：用户的输入及输出提供Directory类型，在上传程序的命令行中添加输入输出参数时可进行选择
功能改进
-
修复数据库表添加新字段，导致原有数据无法删除问题
-
修复上传程序成功后，点击所上传程序，无法立即显示在画布问题
-
修复部分日志无法显示问题
-
权限修改：删除examples任务只能在examples面板中删除，不能在个人任务中删除
-
示例任务添加CNN_tensorflow(模型分布）和CNN_tensorflow（数据分布）。 该示例为深度学习的入门示例，采用mnist数据集，以Tensorflow CNN为训练模型 解决手写字识别问题
其他
- tensorflow模型分布与数据分布内置脚本（用户可通过该脚本进行自行搭建Tensorflow环境）
- mysql脚本更新
Release-1.1.0
EasyML 1.1.0版本，加入了较多的新特性，同时对代码及注释进行了进一步的规范，建议对新特性感兴趣的用户可以升级到该版本进行体验。该版本具体细节功能和改进如下：
Docker集群版本更新
安装包
镜像获取
- Mysql镜像
docker pull nkxujun/mysql_eml:1.1.0
- Ubuntu镜像：
docker pull nkxujun/ubuntu_eml:1.1.0
更新内容
-
Spark版本： Spark版本从原来
2.0.1替换为1.6.1（2.0.1版本不支持内置ETL算法组件） -
新增Titanic Demo示例：增加Kaggle竞赛中的Titanic Demo，用户可从该示例中看到新特性的示例
-
Python支持： ubuntu镜像内置
python 2.7版本 -
Tensorflow支持： ubuntu镜像内置
tensorflow 1.3.0版本 -
Mysql数据库： Mysql镜像新增
test数据库，方便用户进行ETL功能测试。studio数据库新增moduleversion表，用于程序与数据的版本管理 -
脚本修正：修正运行脚本中部分单词拼写错误问题
EasyML 项目更新
新特性
- ETL组件。 支持Mysql、Hive数据库的数据读取与写入
- 可编程脚本。 用户可在组件上添加python、shell脚本。组件入口：通过上传程序，选择程序类型为可编程脚本。
- 数据可视化。 用户可针对任务模块执行结果进行可视化，目前可视化支持数据类型包括：CSV、TSV、Json。
- 历史运行记录查看。 用户可在绘图区查看当前任务的历史运行记录，可对历史运行记录进行查看与管理。
- 后台管理查询。 具有管理员权限的用户可在后台管理进行特定条件下的数据的查询。
功能改进
- 示例任务添加删除权限管理
- 示例任务添加Titanic Demo。 该示例为Kaggle竞赛中的赛题，用来进行titanic灾难生还预测。EasyML 1.1.0版本的新特性在该示例中有所体现
其他
- 统一代码格式
- 代码注释补充与完善
- mysql脚本更新
Release-1.0.0
EasyML 1.0.0版本，是基于初始发布版本的优化版本，该版本修复了诸多初始发布版本的Bug。同时集群搭建提供了支持windows/mac安装的docker简化版本安装包，供机器内存小的用户安装使用。具体细节功能和改进如下：
Docker集群版本更新
安装包
- EML_1.0.0 （完整版）
- EML_1.0.0 _brief（简化版，单个容器）
镜像获取
- Mysql镜像
docker pull nkxujun/mysql_eml:1.0.0
- Ubuntu镜像：
docker pull nkxujun/ubuntu_eml:1.0.0
更新内容
- 修复通过Eclipse或IDEA 开发者模式连接集群，提交任务失败问题
- 修复Mysql数据库插入中文乱码问题
- mysql容器添加开机自启动支持
EasyML 项目更新
Bug修复
- 修复Double类型在GWT中转成Int类型解析失败问题
- 修复部分用户反馈系统部署后无法登入问题，更换xml-apis.jar版本
- 修复IDE环境下提交job失败问题（无法与docker的hadoop集群进行数据交互）
- 修正一些国际化中文乱码问题
功能改进
- 移除上传程序过程中生成describe.xml的模块，该文件在后续版本中均无作用
- 修改第三方库（不在maven仓库中的包）在工程中的引用模式
- 将工程依赖hadoop版本
2.2.0.2.0.6.0-102改为2.2.0；将依赖的oozie版本
4.0.0.2.0.6.0-102改为4.1.0