当前位置:主页 > 焦点 >

资深算法工程师万宫玺:Java工程师转型AI的秘密

来源:网络整理    发布时间:2018-01-06 14:08

原标题:资深算法工程师万宫玺:Java工程师转型AI的秘密法宝——深度学习框架Deeplearning4j | 分享总结

雷锋网AI研习社按:深度学习是人工智能发展最为迅速的领域之一,Google、Facebook、Microsoft等巨头都围绕深度学习重点投资了一系列新兴项目,他们也一直在支持一些开源深度学习框架。目前研究人员使用的深度学习框架有 TensorFlow、Torch 、Caffe、Theano、Deeplearning4j等,而Deeplearning4j是为数不多以Java/JVM为基础,能与Apache Spark无缝结合,支持CPU/GPU集群分布式计算的开源框架。本文就来为大家详细介绍一下深度学习框架Deeplearning4j的重要组件,不同环境下的操作用法及实例分享。

在近期雷锋网AI研习社的线上分享会,来自苏宁易购搜索技术研发部的资深算法工程师万宫玺为大家介绍了Deeplearning4框架的构成、主要功能模块并结合实例讲述具体的使用方法。

视频回放链接:

万宫玺,苏州大学硕士,现就职于苏宁易购搜索技术研发部,从事自然语言处理、机器视觉等领域的应用开发工作。熟悉诸如Deeplearning4j、Keras等开源深度学习框架。

以下为主要分享内容:

分享主题为:基于Java的开源深度学习框架-Deeplearning4j的介绍与实例分享。(

分享内容可概括以下四方面:

Deeplearning4j生态圈主要功能模块的介绍

Deeplearning4j单机/并行/分布式建模过程介绍

Deeplearning4j对迁移学习、强化学习的支持

基于Fashion Mnist数据集的图像分类应用的开发、部署、上线实例

第一部分内容具体为DL4j的开源库背景,目前的项目进展情况和背后的支撑团队。

第二部分为DL4j的生态圈,主要介绍生态圈中最重要的三个模块:DL4j本身,它所依赖的张量预算库ND4j、DL4j当中做数据ETL的库DataVec。

DL4j本身,它定义并且实现了比较经典的神经网络结构,比如图片中比较常用的卷积神经网络。机器学习都需要依赖一个张量运算框架,对于DL4j,他依赖的是ND4j这样一个框架,libnd4j是ND4j调用的一个库。

Model Zoo 是官方给出的经典神经网络结构的实现。包括AlexNet,GoogLenet ,DeepFace,YOLO等。Modle Zoo在0.9.0版本之前是作为一个独立的工程存在的,0.9.0之后的版本作为DL4j本身的一个模块,已经嵌入进去。

DL4j所依赖的张量运算库ND4J,ND4j可当作JAVA 版的Numpy。

ND4j内存管理情况:

ND4j利用了堆外内存和堆上内存两个部分的内存做相应的计算。当用ND4j去声明一个具体的张量时候,是在堆外内存存储张量对象,堆上内存只存储张量对象的引用。设计的原因主要是我们所依赖张量运算库,大部分的运算空间都是在堆外内存上,把数据放到堆外内存可提高运行效率。

需要注意的是,用ND4j做神经网络的训练时,堆外内存一定要调的非常大,因为大量的工作都是在堆外内存做相应的张量运算。堆外内存要远远大于堆上内存。

ND4j具体例子,第一个是如何去创建一个张量,并且把这个张量在底层存储的顺序打印出来。

第二个是hadmard乘积实现。用直白的话解释就是,两个张量相应的位置去做乘积,把这个结果形成新的向量,作为下一部分利用的结果,这个操作在包括卷积上面都是比较常用的。

数据ETL库,称之为DataVec, 它的主要功能就是把语音信号,图片文件,文本文档转化为张量形式,做数据ETL.

总结DataVec库的作用:它可以将非结构化数据经过处理转化变成张量型数据,也支持结构化数据的读取。

第三个部分怎么建模。分三个场景,第一个是本地单机建模;第二个是有多个CPU或多个GPU卡情况下怎么做并行建模;第三个是怎么和Spark结合做分布式的DL4j模型的建模。

建模的四个步骤并不是固定的,可以根据实际情况做灵活的处理。大致思路首先是生成这样一个训练,测试,验证数据集。



最新资讯

相关推荐

     国内| 国际| 焦点| 文化| 财经| 户外| 旅游| 时尚| 生活|

友情链接/网站合作咨询: