• 项目
首页>>文章列表
文章列表

金准数据 神经网络与深度学习研究报告(上)

在人工智能深层神经网络一系列惊人的学习中,从识别系统和推理逻辑图像中,随着任务和网络架构变得越来越复杂,神经网络在越来越多的现实世界应用中的使用,了解其原理就越来越重要。

实际上,深度学习(Deep Learning)就是现代人工智能的核心技术。谷歌、微软与百度是现代人工智能领域的“三巨头”。它们拥有海量数据以及DNN技术,比如:2012年11月,微软(中国)在天津的一次会议上公开演示了一个全自动的“同声传译”系统,讲演者用英文演讲,后台的计算机一气呵成,完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。微软使用的就是深度神经网络技术。

金准数据将通过两篇连载报告带您了解神经网络和深度学习的关系。


一、感知器与神经元

1、感知器(Perceptrons)

感知器工作原理:接收一系列二进制输入,经过特定的规则计算之后,输出一个简单的二进制。

计算规则:通过引入权重(weights)表示每个输入对于输出的重要性,则有

 w⋅x=∑jwjxj,b=-threshold,则有

 w是权重,b是偏差。


2、 Sigmoid神经元(Sigmoid Neurons)

为了使学习变得可能,需要具备的【学习特征】:权重或偏差有较小的变化,导致输出也有较小的变化。如下图所示:

感知器网络存在的缺陷是:某个感知器较小的权重或偏差变化,可能导致输出在0与1之间进行翻转。所以包含感知器的网络不具备【学习特征】。

   幸运的是:Sigmoid神经元具有此【学习特征】,即其较小的权重或偏差变化,导致其输出变化较小。

Sigmoid函数:

Sigmoid神经元输出:

 感知器与sigmoid神经元的差别:

· 感知器只输出0或1

· sigmoid神经元不只输出0或1,而可输出[0,1]之间的任意值


二、神经网络架构

1、 手写数字识别

训练图像大小为28x28,每个训练图像有一个手写数字。

在输出层,如果第一个神经元被激活(即其输出接近1),则此网络认为此手写数字为0;如果第二个神经元被激活(即其输出接近1),则此网络认为此手写数字为1;其它以此类推。


2、算法描述

x表示训练图像,则x是一个28x28=784维列向量。

表示输入图片x是数字6   。

    需要寻找一个算法来发现w和b,使其输出接近标签值,为了量化接近程序,定义如下成本函数:

此成本函数中,w和b为变量

注:hidden layers和output layer中的每个神经元对应一个组w、b。


(1)学习目标

如何找到满足要求的w和b:答案是梯度下降法(Gradient Descent):

· 最小化二次成本函数

· 检测分类的准确性

 学习目标:在训练神经网络中,找到使二次成本最小的w和b的集合。


2) 梯度下降更新规则

此规则用于在神经网络中学习参数w和b


3)算法推导(梯度下降法: gradient descent)

要求极小值,先讨论具有2个变量的简单情况,然后再推广:

 为梯度向量,则有:

总之,梯度下降法是:重复计算梯度,然后向相反的方向移动(即下坡最快最陡的方向),如下图所示:

上面讨论了只有两个变量的情况,现在推广到m个变量的情况,对应公式如下:

4) 随机梯度下降法(Stochastic Gradient Descent)

为不减少计算量,把n个学习样本分成很多组,每组有m个学习样本,每次只计算一个组,则有如下推导:

w和b的更新规则为:

注:如果m=1,则为在线学习。


5) w和b的数量

对于hidden layers和输出层的神经元,每个神经元对应一个w向量和一个b,w向量的维数是其输入神经元的数量。第一层神经元没有w和b,其值直接输出。

第一层就表示原始图像数据,这些数据不经任何处理,直接作为Xj参与第二层的运算,第二层首先基于每个Xj,计算其z(z=wx+b),然后计算出sigmoid(z),以此类推。直到最后一层,利用BP算法,先计算最后一层w和b的梯度,然后以此向前,直到计算出第二层的梯度为止。


三、BP算法(反向传播算法)

BP(Backpropagation Algorithm) :是一个计算成本函数梯度的算法。

需要基于每个训练样本计算每一层的w和b的梯度,从而更新每一层的w和b。

BP的真正目标:是计算每个样本的偏导数:


1) 定义标记符号

则有激活值的如下公式:

函数向量化有如下形式:

即函数对向量的每个元素分别计算,然后生成对应的向量。

则上面的函数向量表示为:


2、 公式推导过程

1) 计算激活值

2)最后一层(L层)的二次成本函数

3) 单个训练样本(x)的二次成本函数

4)定义误差

5) 定义输出层误差

6)求最后一层(L层)激活值的偏导数

7)根据最后一层的误差计算前一层的误差

8) 计算目标值

9)BP的四个基本方程式

     

3、 证明四个基本议程式

1)证明BP1

2) 证明BP2

4、 BP计算过程

四、 SGD(随机梯度下降)计算过程

黑色系遭遇“黑色星期四” 焦炭大跌6% 橡胶跌停

华尔街见闻9月28日——黑色系今日遭遇“黑色星期四”,橡胶主力合约跌停。

焦炭跌6%,焦煤、PVC、铁矿跌逾3%,郑油、豆油、郑醇、沪镍、螺纹跌1%。

自9月13日以来,焦炭、焦炭等黑色期货主力合约价格就一路下挫。焦炭主力合约从2476.7跌到1875.0,跌幅达24.3%。焦煤主力合约从1466.6跌至1124,跌幅达23.4%。

铁矿主力合约自9月4日以来阴跌不止,至今累计跌去了26.5%。路透援引东证期货的报告称,一些中国焦碳厂在近来的环保检查后重新开工,贸易商和钢厂的库存也在增加,加剧了供应过剩焦虑。钢厂补库存需求趋弱,也带动螺纹钢和铁矿石价格走低。


华尔街见闻曾提到,大连铁矿石主力期货从上周五起,就跌入了技术位熊市,价格较8月峰值下降了22%。铁矿石现货上周累跌12%,创16个月来最差表现,有分析认为铁矿石将重回6月时50美元/吨的年内低位区间。

中金固收上周末提及,从将环保限产同工业品涨价划等号,到环保限产导致“供需双杀”,投资者对环保限产的理解发生了重大转变,“这个转变几乎是在过去两周的时间内完成”。9月11日之前,投资者认为环保限产等于涨价,环保限产落地的程度决定了工业品价格上涨的高度。但随后商品期货价格迅速下跌,因为市场终于意识到了环保限产“供需双杀”的效果。


橡胶主力跌停,但基本面未出现重大利空

橡胶主力合约今日跌停,价格创去年10月21日以来新低。

橡胶在9月7日触及五个月高点后,开始持续下挫,目前累计已经下跌22.6%。但橡胶基本面暂未出现重大利空。

中国橡胶的大跌还蔓延到了亚洲其他市场,东京期胶下跌了6%。


被空头香橼抨击“天生蠢钝” 这只AI概念股走下10倍疯涨神坛

华尔街见闻9月28日——当“人工智能第一美股”遭遇“大空头”,后果很严重——收盘狂泻30%。

周三盘中,“做空界的战斗机”香橼发布Twitter,表示人工智能概念股Veritone并不人工智能,反倒更像是“天生蠢钝”,股价应该回到20美元。不过,截至发稿,香橼并未给出详细的看空报告。

(图片来自香橼Twitter)

在香橼出招之前,Veritone的股价一度接近75美元,然而这条Twitter过后,该公司股价持续走低,以45.95美元的价格收盘告终,当日跌超30%。

回顾Veritone往日股价走势,可谓“涨也一句话,跌也一句话”。

5月12日,Veritone登陆纳斯达克,发行价为15美元。公司股价在第一个交易日中涨至15.64美元,但是到了8月18日,股票价格已经缩水接近一半,当日收盘价仅为7.87美元。

当日,巴伦周刊发布一篇探讨人工智能的文章,其中简要提到了Veritone。在这之后首个的交易日,该公司股价暴涨49%,收盘价报11.75美元。

此后,尽管并无其他消息支撑,但公司股价几乎持续攀升,最高一度接近75美元,一个多月之间疯涨10倍——直到昨日香橼发布看空的Twitter。

这家公司最近向美国SEC提交的文件,还是8月8日提交的二季度报表;巴伦周刊的“看多”文章以来,这家公司最新的动态,还是9月初有关管理层出席一些投资者会议的公告。

昨日遭遇看空后,这家公司仍然未公开做出回应。


Veritone究竟是一家怎样的公司?

Veritone创立于2014年6月,截至今年3月,员工约110名。该公司在去年被《红鲱鱼》评为“北美百强创新企业”。

这家公司以广告精准投放起家,在2015年将自身业务分拆为媒介代理和AI平台业务。Veritone开发了专属人工平台,是基于云的开放式平台,已经整合了包括谷歌、微软等在内的多个知名认知计算引擎,意在从大量音频、视频等数据中提取出各种有价值的信息。

海通证券分析师郑宏达、谢春生此前分析称,这家公司的优势在于平台的开放性和通用性,劣势则是技术壁垒并不高:

Veritone 通过整合平台方式进入AI 领域,相比于更专注于AI 技术上的研发的公司,如Google,Facebook,微软或百度等,或在垂直细分领域的AI 应用公司,如IBM,Tesla 等,其优势在于平台的开放性及通用性。
 
目前Veritone 的AI系统包括了43 种不同类型的开源认知引擎,大多数来自于第三方公司接入,包括Google、IBM、Microsoft、Nuance、OpenCV 和Hewlett Packard 等。因此,Veritone 更加像一个中间商起到一个媒介的作用,连接AI 技术提供者和行业客户。
 

由于Veritone 平台主要是集结了各家的认知引擎技术,自身研发的占少数,因此,Veritone 的劣势在于其技术壁垒并不高,行业传统公司以及人工智能巨头都有可能成为其潜在的对手。

日内一度跌超300点!离岸、在岸人民币双双跌破6.67关口

华尔街见闻9月28日——周四午间起,离岸人民币、在岸人民币持续下挫,双双连破6.66、6.67两道关口。

离岸人民币兑美元最低报6.6727元,日内一度跌超300点。当前跌幅稍有缩小,截至发稿,离岸人民币兑美元报6.6699。


在岸人民币同样表现疲软,在岸人民币兑美元官方收盘价报6.6699,较上一交易日官方收盘价跌349点,较上一交易日夜盘收盘跌274点。稍早一度跌破6.67关口,创逾一个月新低,最低较上日夜盘收盘跌逾380点。


周四,人民币中间价下调93点,至6.6285,为连续第四日下调。上日中间价6.6192。上日官方收盘报6.6350,夜盘收盘报6.6425。

瑞穗沈建光:人民币将走稳

瑞穗证券亚洲公司董事总经理、首席经济学家沈建光日前对华尔街见闻表示,依然看空美元,美联储缩表难改美元跌势,人民币将走稳,预计汇率不会突破6.4。

过去三个月,人民币兑美元汇率出现大起大落行情。其中从七月初至九月初,人民币在短短两个月间从6.80水平一路走高,在岸人民币在9月8日升破6.44,离岸人民币升破6.45,涨势之猛出人意料。

对此,沈建光对华尔街见闻表示,人民币兑美元大幅升值,最主要的原因是美元自身贬值。需要强调的是,人民币只是对美元大幅升值,对欧元是贬值的,所以一揽子货币只比年初升值了一点点。

第二个原因是中国经济表现大大好于预期。“去年大家担心中国经济会硬着陆,出口当时也负增长。但今年出口大幅增长,投资也很猛,消费也是很强劲。三驾马车一起发力,所以整个中国经济非常好。所以大家对中国经济有信心。”

第三个原因“我觉得是跟中国的政策有关”,比如说今年以来我们大力整顿对外直接投资,资金流出量大幅减少。“对外直接投资去年达到了1600亿,今年上半年比去年下降了百分之60。这个资本流动的逆转也是支持人民币的。”

工信部等公布新能源汽车“双积分”并行办法 扩大考核范围,考核延后一年

滴滴出行与上海交通大学共建联合实验室,加速产学研合作进程

AI科技评论9月28日——9月26日下午,上海交通大学宣布与滴滴出行达成合作,共建联合实验室,共同加速产学研合作的进程,引领技术创新。

据AI科技评论了解,双方将依托上海交通大学约翰·霍普克罗夫特计算机科学中心,面向上海交大多学科、多领域,在技术研发、人才培养、青年学者奖教金和学术交流这四个方面开展合作,建立以联合实验室为基础的长期合作关系。

本次合作将推进上海交通大学的最新相关研究成果在滴滴出行的海量数据平台上落地,共同发现更有价值的科研问题,并提出兼具科学贡献和工业实操的新一代大数据挖掘和人工智能技术,促进双方科研人员之间的交流,有效推动产学研多方面合作的进程,引领技术创新,最终达到双方共赢。



上海交通大学党委常委、副校长张安胜在致辞中表示,滴滴出行的共享经济模式有利于解决当代社会的交通拥挤和环境污染问题,推动可持续发展,为生态文明建设和环境保护作出贡献。

滴滴出行副总裁、滴滴研究院副院长叶杰平也表示,滴滴出行的创始初衷是“用科技让出行更美好”,公司注重技术研发,重视与高校的合作。滴滴拥有庞大的交通数据和计算资源,上海交大亦培养了大批优秀的人才,双方都在前沿技术领域不断探索。他期待,双方能够合作互赢,共同推动交通产业的发展。

(张安胜和叶杰平分别代表上海交通大学与滴滴出行互赠礼物)

目前滴滴已与中国计算机学会、密西根大学、斯坦福人工智能实验室等国内外十余家学术科研机构建立合作关系,共同在人工智能、智慧交通等领域进行探索交流。

天凉好个秋 南半球享受温暖阳光(四)