• 项目
首页>>文章列表 >>金融科技
文章列表

吴恩达亲自撰文:新公司筹备5个月后,为何第一个项目选择AI教育?

吴恩达离职百度后的动向一直受到各方关注。今日,他在博客上宣布目前在做三个项目。此前AI科技评论报道的 deeplearning.ai 便是第一个——deeplearning.ai 是一套由五门课组成的深度学习系列课程,旨在推广普及深度学习知识。这会不会是又一个像 2011 年 “Machine Learning” 那样的传奇课程?吴恩达是否会重拾“老师”的身份?


推特达人

美国太平洋时间 8 点 16 分,吴恩达在推特上发布了重磅消息:deeplearning.ai 课程登录 Cousera,并同时在 Medium 发布博文介绍这套课程。

自今年 3 月吴恩达离职百度以来,其本人对下一步的计划三缄其口,导致去向成谜,其间引发诸多猜测:

  • 6 月23 日,吴恩达在推特公布 deeplearning.ai,但没有说明该项目要做什么,引来不明就里的群众围观;

  • 6 月 27 日,吴恩达加入妻子联合创办的自动驾驶公司 Drive.ai 董事会;外界纷纷猜测这是否意味着他已入职  Drive.ai,但他同样未在留言区做任何解释:

今日,也就是美国太平洋时间 8 月 8 日,吴恩达终于公布了 deeplearning.ai 的具体内容。

至此真相大白:离职百度之后,吴老师在积极准备这套全新的深度学习入门课程,即 deeplearning.ai 项目。该套课程一共五门,组成了 Cousera 上的全新深度学习专业(specialization)。


海内外媒体,包括连线、MIT 科技评论、TechCrunch 以及国内各家 AI 自媒体,纷纷发布吴恩达老师的声明。这时候是北京时间 9 日凌晨、硅谷的 8 日早晨,吴恩达的消息出来,立即占据了美国、中国 8 日、9 日这两天的科技新闻头版。

AI科技评论看来,吴恩达的推特和博客,影响力横跨整个太平洋,对消息发布的时间、节奏把握的尤其精准;俨然已是华人科技圈的第二大自媒体号(不要问小编第一是谁,开复老师会有意见)。


被自动驾驶“耽误”了的斯坦福教授

吴恩达在博文中表示,Deeplearning.ai 的使命,是向全世界普及深度学习知识。这和他创立 Coursera 以及办机器学习公开课的目的如出一辙(当然,Coursera 旨在传播多学科知识)。

被誉为“深度学习界四大金刚”之一的吴恩达老师,在学界十分受尊敬。但真正让他声望达到顶峰的,是他在斯坦福担任助理教授期间发布的 “Machine Learning”公开课。在一定程度上,这门课造就了后来的 Cousera,但更重要的是:这是全世界范围内最受欢迎的机器学习入门课,没有之一。


从 2011 年至今,六年过去,AI 技术不断革新,但这门课仍被认为是新手入门的最佳选择。凡是盘点 AI、机器学习、深度学习的入门学习资源,永远绕不过去这一堂吴恩达老师的 “Machine Learning”。鉴于这门课的普及程度,毫不夸张的说,大多数新入门的机器学习开发者都可算是“吴门弟子”,谈到其人时都要尊称一声吴老师。

而联合创立 Coursera、联合创立谷歌大脑、担任百度首席科学家的经历,又为他的社会影响力极大得加分,尤其是创办 Coursera。再加上他的华裔身份和迷人笑容,在人工智能最大的学习社区——中国,如此被推崇也就毫不奇怪。


但是,当我们谈论起吴恩达,他最受尊敬的那一层身份仍然是“吴老师”,而不是百度的前首席科学家。从他 2014 年加入百度到今年春天离职,在这三年里虽然极力推动实现 L4 级别的全自动驾驶,但从结果来看,只能说是壮志未酬。

百度在他离职后推出的阿波罗计划,就像是为吴恩达三年来破碎的自动驾驶梦画上了句号。


在吴恩达心里,对在百度的三年究竟如何评价,外人不得而知。但相对于这三年来外界对他的期待,吴恩达终究没能拿出足以满足这份期待的东西。当然,里面牵涉到百度的内部问题,这里不表。但大家能感受到的是,这几年里吴恩达老师在业界的影响力并没有得到多大提升,反而多了些争论;而学术研究如同逆水行舟,在企业界这几年,他身为深度学习前沿技术探索者的学术权威,也有所削弱。

不论公众对吴恩达老师怎么看,他的学术明星身份是客观事实。要重拾在百度期间失去的在 AI 社区的影响力,学术明星需要回归学术,也需要媒体。

就像现在,当初那个以一门机器学习慕课启蒙了大半个 AI 世界的“吴老师”又回来了。全世界的媒体都在欢呼。

距离 2011 年已过去太久,深度学习已经走到了全新阶段,学习者也需要新的内容。

Deeplearning.ai 深度学习课程,便是吴老师为大家准备的全新入门素材,由世界最著名的机器学习启蒙讲师倾力打造。这套课程不但与业界知名的英伟达深度学习学院 DLI 合作,期间还走访了 Geoffrey Hinton、Yoshua Bengio、Ian Goodfellow 等同样被奉为深度学习界大牛的学者,咨询了他们对初学者入门的建议,可谓面面俱到,用心之处毫不下于当年的 “Machine Learning”。

对于它能否复制 “Machine Learning”的成功,延续吴老师 AI 教育界传奇的故事,我们拭目以待。


三大项目,另两个是什么?

吴恩达在博客中表示,他在做的 AI 项目有三个,deeplearning.ai 仅仅是其中的第一个。至于另外两个,现在还不便透露。我们也只有耐心等待身为 AI 圈第二自媒体人的吴老师,亲自为我们揭晓。

不过,另外两大项目比 deeplearning.ai 要耗费更大精力、涉及技术落地是完全符合逻辑的事。

毕竟,Cousera 已经是一个较为成熟的平台。吴老师在课程本身之外,需要做的不多。完成 deeplearning.ai 这套系列课程之后,便可以抽身去做更具挑战性的事。 

而这两个月来吴老师与媒体有节奏的互动,则可以解读为寻求影响力、为接下来的项目增添助力。


吴恩达的公开信

以下,便是今日吴老师博客里给大家的公开信,AI科技评论编译如下:

朋友们,

我在做三个全新的 AI 项目。现在,我十分兴奋地宣布其中的第一个:deeplearning.ai,一个立志于扩散 AI 知识的项目。该项目在 Coursera 上发布了一系列深度学习课程,这些课程将帮助你掌握深度学习、对它高效地应用,并打造属于你自己的 AI 事业。

AI 是新一轮电力革命

就像一百年前电力改造了每个主流行业,当今的 AI 技术在做着相同的事。好几个大型科技公司都设立了 AI 部门,用 AI 革新他们的业务。接下来的几年里,各个行业、规模大小各不相同的公司也都会意识到-----在由 AI 驱动的未来,他们必须成为其中的一份子。

创建由 AI 驱动的社会

我希望,我们可以建立一个由 AI 驱动的社会:让每个人看得起病,给每个孩子个性化的教育,让所有人都能坐上价格亲民的自动驾驶汽车,并向男人和女人提供有意义的工作。总而言之,是一个让每个人的生活变得更好的社会。

但是,任何一个公司都不可能单独完成这些任务。就像现在每一个计算机专业的毕业生都知道怎么用云,将来,每个程序员也必须懂得怎么用 AI。用深度学习改善人类生活的方法有数百万种,社会也需要数百万个人----即来自世界各国的你们,来创造出了不起的 AI 系统。不管你是加州的一个软件工程师,一名中国的研究员,还是印度的 ML 工程师,我希望都能用深度学习来解决世界上的各种挑战。

你会学到什么

任何一个掌握了机器学习基础知识的人,都可以学习这五门系列课程,它们组成了 Coursera 的全新深度学习专业。

你会学到深度学习的基础,理解如何创建神经网络,学习怎么成功地领导机器学习项目。你会学习卷积神经网络、 RNNs、LSTM、Adam、Dropout、BatchNorm、Xavier/He initialization 以及更多。学习过程中,你会接触到医疗、自动驾驶、读手语、音乐生成、自然语言处理的案例。

你不仅会掌握深度学习理论,还会看到它是怎样在行业应用落地的。你会在 Python 和 TensorFlow 里试验这些想法,你还会听到各位深度学习领袖人物的意见,他们会分享各自的学习经历,并提供职业规划建议。

当你拿到 Coursera 的深度学习专业证书,就可以自信得把“深度学习”四个字写进你的简历。

加入我,建立一个由 AI 驱动的社会

从 2011 年到现在,已经有 180 万人加入了我的机器学习课程。当时,我和四名斯坦福的学生发布了这门课程,它随即成为了 Coursera 的第一门公开课。那之后,我受到你们之中许多人的启发----当我看到你们是如何努力地理解机器学习,开发优秀的 AI 系统,并开启令人惊艳的事业。

我希望深度学习专业能帮助你们实现更了不起的事,让你们为社会贡献更多,在职业道路上走得更远。

我希望大家和我一道,建立一个由 AI 驱动的社会。

我会通知大家另外两个项目的进展,并不断探索,为全世界 AI 社区的每一个人提供更多支持的途径。

Sincerely,

吴恩达

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML 接收

ICML 2017 仍然在悉尼火热进行中,Facebook 研究院今天也发文介绍了自己的 ICML 论文。Facebook有9篇论文被 ICML 2017接收,这些论文的主题包括语言建模、优化和图像的无监督学习;另外 Facebook 还会共同参与组织 Video Games and Machine Learning Workshop。


曾掀起研究热潮的 Wasserstein GAN

在9篇接收论文中,Facebook 自己最喜欢的是「Wasserstein Generative Adversarial Networks」(WGAN)这一篇,它也确实对整个机器学习界有巨大的影响力,今年也掀起过一阵 WGAN 的热潮。


Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了,利用对抗性的训练过程给生成式问题提供了很棒的解决方案,应用空间也非常广泛,从此之后基于 GAN 框架做应用的论文层出不穷,但是 GAN 的训练困难、训练进程难以判断、生成样本缺乏多样性(mode collapse)等问题一直没有得到完善解决。 这篇 Facebook 和纽约大学库朗数学科学研究所的研究员们合作完成的 WGAN 论文就是众多尝试改进 GAN、解决它的问题的论文中具有里程碑意义的一篇。

WGAN 的作者们其实花了整整两篇论文才完全表达了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」里面推了一堆公式定理,从理论上分析了原始GAN的问题所在,从而针对性地给出了改进要点;在这第二篇「Wasserstein Generative Adversarial Networks」里面,又再从这个改进点出发推了一堆公式定理,最终给出了改进的算法实现流程。


WGAN 成功地做到了以下爆炸性的几点:

  • 彻底解决GAN训练不稳定的问题,不再需要小心平衡生成器和判别器的训练程度

  • 基本解决了collapse mode的问题,确保了生成样本的多样性 

  • 训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程,这个数值越小代表GAN训练得越好,代表生成器产生的图像质量越高(如题图所示)

  • 以上一切好处不需要精心设计的网络架构,最简单的多层全连接网络就可以做到


而改进后相比原始GAN的算法实现流程却只改了四点:

  • 判别器最后一层去掉sigmoid

  • 生成器和判别器的loss不取log

  • 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c

  • 不要用基于动量的优化算法(包括momentum和Adam),推荐RMSProp,SGD也行


所以数学学得好真的很重要,正是靠着对 GAN 的原理和问题的深入分析,才能够找到针对性的方法改进问题,而且最终的呈现也这么简单。( WGAN详解参见AI科技评论文章 令人拍案叫绝的Wasserstein GAN)

WGAN 论文今年1月公布后马上引起了轰动,Ian Goodfellow 也在 reddit 上和网友们展开了热烈的讨论。不过在讨论中,还是有人反映 WGAN 存在训练困难、收敛速度慢等问题,WGAN 论文一作 Martin Arjovsky 也在 reddit 上表示自己意识到了,然后对 WGAN 做了进一步的改进。


改进后的论文为「Improved Training of Wasserstein GANs」。原来的 WGAN 中采用的 Lipschitz 限制的实现方法需要把判别器参数的绝对值截断到不超过固定常数 c,问题也就来自这里,作者的本意是避免判别器给出的分值区别太大,用较小的梯度配合生成器的学习;但是判别器还是会追求尽量大的分值区别,最后就导致参数的取值总是最大值或者最小值,浪费了网络优秀的拟合能力。改进后的 WGAN-GP 中更换为了梯度惩罚 gradient penalty,判别器参数就能够学到合理的参数取值,从而显著提高训练速度,解决了原始WGAN收敛缓慢的问题,在实验中还第一次成功做到了“纯粹的”的文本GAN训练。(WGAN-GP详解参见AI科技评论文章 掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展?)


另外八篇论文

Facebook 此次被 ICML 2017 接收的9篇论文里的另外8篇如下,欢迎感兴趣的读者下载阅读。

  • High-Dimensional Variance-Reduced Stochastic Gradient Expectation-Maximization Algorithm

    • http://proceedings.mlr.press/v70/zhu17a/zhu17a.pdf

  • An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

    • 作者田渊栋

    • https://arxiv.org/abs/1703.00560v2

  • Convolutional Sequence to Sequence Learning

    • http://proceedings.mlr.press/v70/gehring17a/gehring17a.pdf

  • Efficient softmax approximation for GPUs

    • http://proceedings.mlr.press/v70/grave17a/grave17a.pdf

  • Gradient Boosted Decision Trees for High Dimensional Sparse Output

    • http://proceedings.mlr.press/v70/si17a/si17a.pdf

  • Language Modeling with Gated Convolutional Networks

    • http://proceedings.mlr.press/v70/dauphin17a/dauphin17a.pdf

  • Parseval Networks: Improving Robustness to Adversarial Examples

    • http://proceedings.mlr.press/v70/cisse17a/cisse17a.pdf

  • Unsupervised Learning by Predicting Noise

    • http://proceedings.mlr.press/v70/bojanowski17a/bojanowski17a.pdf

一条水平线!美股的脉搏从未如此“孱弱”

美国初步裁定自中国进口铝箔存在补贴,将征收反补贴税

欧元走强“立竿见影” 德国出口创两年来最大跌幅

正当各国央行考虑缩减量化宽松措施的时候,德国6月季调后进出口贸易数据大幅下降,不仅给全球经济需求面前景蒙上了一层阴影,还引起了强势欧元是否会阻碍欧元区复苏的担忧。

德国的强劲出口一直以来都是欧元区经济的主要“发动机”。然而德国6月季调后出口环比 -2.8%,创2015年8月来最大降幅。德国6月季调后进口环比 -4.5%,创2009年1月来最大降幅。

8月8日早些时候公布的中国7月进出口增长亦低于预期。中国和欧洲恰恰是今年年初以来全球增长复苏的主要驱动因素。


欧元走强“立竿见影” 欧洲“央妈”有苦难言

随着美元指数的持续疲软,欧元/美元过去3个月已经上涨8%。

虽然英国退欧乃至特朗普当选美国总统一度引起市场担忧,认为德国工业品出口很可能遭受冲击;但今年一季度德国的出口数据向好,特别是在欧元区总体经济复苏、19个成员国增长均有改善的背景下,德国向其他单一货币市场成员国的出口量也出现上涨。


很多经济学家预计这一趋势将会持续,在接下来的数月中德国出口将保持上涨势头。然而随着近期欧元汇率的飙涨,6月德国出口数据创两年多来最大环比跌幅,为市场敲响了警钟。

不过机构分析师纷纷表示德国出口数据将恢复上行趋势。

花旗欧洲经济师Christian Schulz表示,“贸易数据与市场情绪形成矛盾,我们预计在接下来几个月[德国出口数据]将出现反弹。”

在他看来,美元走软,商品价格下跌和影响工业产量的日历效应都可能是6月德国贸易数据大幅走低的原因。

强势的欧元也让欧洲央行的任务变得更加棘手,因欧元走强导致购买力增强,进口货物的价格压力较低,进而打压欧元区通胀。这可能会导致9月初欧洲央行对通货膨胀预期做出下调。

欧洲央行如此一来便被置于非常尴尬的境地:既然缺乏证据表明未来几年通胀将达到2%的政策目标,欧洲央行又该如何为明年削减资产购买规模、收缩量化宽的计划正名呢?


进口数据表现更差 德国贸易顺差或将招致特朗普再次发难?

德国6月季调后进口数据表现更差,下跌4.5%。

因进口下跌超过出口缩水,业已位居全球第一的德国贸易顺差继续扩大,年初至今已达到1225亿欧元。

外国观察家时常指责德国政府在处理该国规模庞大的贸易顺差上无所作为,并担忧这将造成全球经济中的贸易失衡。

特朗普5月就曾在推特上放出“嘴炮”,称“对德国庞大的贸易逆差让美国受害颇多”。

逼近十年低点之际 港元急拉140点收复7.82关口

中国7月CPI同比3月以来首度放缓 PPI环比由降转升

中国7月CPI同比自今年3月以来首次出现放缓,在大宗商品价格上涨的带动下PPI环比自今年4月份以来首次由降转升,但同比依然连续三个月持平,价格出现僵持。
 
7月CPI同比上涨1.4%,不及预期1.5%。7月PPI同比上涨5.5%,不及预期5.6%。与上月相比,7月CPI环比上涨0.1%,PPI环比上涨0.2%,价格较为稳定。

其中,非食品价格,尤其是服务价格对CPI同比和环比上涨的推动因素较大,而食品价格则对CPI上涨有明显拖累,同比下降1.1%,环比下降0.1%。在采掘工业价格和原材料工业价格的推动下,生产资料价格同比上涨7.3%,成为了PPI同比保持较快增长的主要原因。 

兴业宏观研究团队评7月通胀数据称,PPI已连续三个月录得5.5%这一相同的水平。这种价格僵持的背后,是压抑的供给侧和平稳的需求侧之间的拉锯。CPI同比偏弱也从侧面验证目前内需不强,“新周期”仍然未至。


受猪肉价格拖累,CPI同比涨幅回落,8月或趋于稳定

从同比看,7月份CPI上涨1.4%,涨幅比上月回落0.1个百分点。据统计局数据,这主要是受食品价格,尤其是猪肉价格拖累。

食品价格下降1.1%,影响CPI下降约0.21个百分点。

其中,猪肉价格下降15.5%,影响CPI下降0.46个百分点;鲜菜价格上涨9.1%,影响CPI上涨约0.20个百分点。

中信宏观研究团队点评7月CPI数据称,7月CPI涨幅低于预期,主要是因为7月份非食品CPI涨幅比6月份回落,而猪肉价格的下降又影响CPI下降了0.46个百分点。但展望未来,进入四季度后食品CPI涨幅将开始触底回升,猪周期对CPI的负面拉动将逐渐减轻,持续上涨的工业品价格将也使得非食品CPI保持在高位,这将推动2018年CPI涨幅中枢水平回升至2.5-3.0%。

从环比看,7月份CPI上涨0.1%,走势基本平稳。但食品价格下降0.1%,影响CPI下降约0.02个百分点。

受大范围持续高温天气和区域性强降水影响,鲜菜价格连降5个月后上涨7.0%;

高温导致蛋鸡产蛋率下降,储运成本提高,鸡蛋价格上涨4.0%,两项合计影响CPI上涨约0.17个百分点。

时令水果大量上市,鲜果价格下跌9.2%;

猪肉消费进入淡季,价格下降0.7%,两项合计影响CPI下跌约0.18个百分点。

非食品价格上涨0.2%,影响CPI上涨约0.13个百分点。

暑期旅游出行人数增多,飞机票和旅行社收费价格分别上涨10.5%和6.1%,两项合计影响CPI上涨约0.13个百分点。

海通宏观研究团队表示,8月以来肉类、鲜菜等食品价格环比将呈季节性回升,预测8月CPI环比上涨0.1%,同比或将稳定在1.4%。

黑色系商品带动下,PMI环比由降转升

从环比看,7月份PPI由降转升,上涨0.2%,主要受钢材、有色金属等产品价格上涨影响。

在统计局调查的40个工业大类行业中,20个行业产品价格上涨,比上月增加9个。从主要行业看,环比涨幅扩大的有黑色金属冶炼和压延加工业、有色金属冶炼和压延加工业,分别上涨2.7%和1.5%,合计影响PPI上涨约0.3个百分点。

从同比看,PPI上涨5.5%,涨幅连续3个月相同。其中有黑色金属冶炼和压延加工业、非金属矿物制品业同比涨幅扩大,分别上涨27.5%和8.5%。据测算,在7月份5.5%的同比涨幅中,去年价格变动的翘尾因素约为4.6个百分点,新涨价因素约为0.9个百分点。

中信宏观研究团队预计,2017年年底PPI涨幅将会回落至0-2%的区间。但工业品严重通缩短期不会再现。未来半年至1年,如果上游行业的供需格局不发生大的扭转,工业品价格将持续温和上涨,周期行业高景气度可以延续。

下半年经济增长或放缓

中国国际经济交流中心信息部副部长王军表示,CPI显示终端需求还是相对比较疲弱,不支持新周期开始的说法,价格上涨更多是供给方面的反映。虽然PPI同比涨幅还保持较高水平,说明工业品价格有一定压力,但目前看价格上涨很难从上游传导到下游,因为需求没那么强劲。这对中下游是打击,中下游价格涨不起来,上游价格涨势也很难持续。

此外,经济回暖内生性不强,下半年还面临房地产持续严调控,汽车消费增速放缓等风险。鉴于终端需求不支持,王军预计下半年GDP会小幅回落至6.8%左右。

摩根大通驻香港经济学家Carol Liao也表示,考虑到中国经济正在变得更加依靠消费拉动而非投资拉动,尽管PPI看起来还不错,但由于CPI表现相对疲软,预计下半年中国经济经济增长将逐步放缓。