• 项目
首页>>文章列表 >>金融科技
文章列表

全景照片不怕歪!Facebook 用神经网络矫正扭曲的地平线

最近微博上的全景照片很火呀,相比各位都已经在自己的iPhone或者iPad上品鉴了多家IT公司的办公室、游玩了多个旅游胜地、享受了被小猫小狗环绕的感觉了。太平洋那头的Facebook也没闲着,从去年上线类似的功能以后,全世界 Facebook 用户们已经上传了七千万张全景照片了。

Facebook 支持多种全景照片和全景视频的拍摄方式,可以让人们把自己的全方位感受分享给好朋友们。如果用户有一个专门的全景摄像机,比如理光Theta S或者Giroptic iO,还可以直接把相机里的照片发布到Facebook上去。如今,多数高端安卓和iOS智能手机的内置相机也都有了全景模式,可以用来拍全景照片。

Facebook 在过去的一年中开发并上线了多种技术给用户提供更好的全景照片创建和分享体验,包括全景拍照、全景视频防抖,以及重新设计如何存储高分辨率媒体。最近,Facebook 还用到了深度神经网络来自动矫正全景照片的方向,可以给手机拍摄的照片直接带来更真实的包围感。AI科技评论对这篇介绍文章做了编译如下。

创建高分辨率全景照片

最近 Facebook 刚刚在 Facebook app中上线了一个新功能,用户可以在一个新的、能够无限滑动的界面里拍摄完整的360度全景照片。

由于全景照片会比一般的照片大很多,Facebook 首先需要解决的难题就是保证信息流里出现了一张全景照片的时候也能让用户流畅地在界面中拖拉滑动;同时,当用户停止滑动,移动手机或者转动手机看这张全景照片的时候,也能立即把全分辨率的照片加载出来。在屏幕立即上呈现全分辨率的照片或占用很多内存,所以当用户继续滑动页面往下看的时候,又会给加载新的内容带来延迟。

面对着这些挑战,Facebook 的工程师们重新设计了 Facebook 的底层照片处理机制,便于存储信息流中“拼贴”的照片以及呈现照片内容。

每张全景照片都会被转换为一张立方映射图,Facebook 之前也有类似的方法用在全景视频中。然后这些立方映射图会以多种不同的分辨率存储下来,而且每一个分辨率的版本都会分割为许多张小的 512x512 分辨率的图像。

当用户在信息流里刷到一张全景照片的时候,程序就会计算当前窗口渲染时需要哪种分辨率、以及用哪些小图像来拼贴成大图。如果当前需要的分辨率不可用,程序就会暂时渲染一个低分辨率的样子,同时等待网络把高分辨率的内容传过来。当用户进入全景照片移动手机和在屏幕上缩放观看的时候,程序会不停地做这样的全套计算。这样,原来的用户体验上不会有什么可感知的变化,却实现了千万甚至上亿像素的高分辨率全景图像显示。


用于全景照片的深度神经网络

用户公开上传到 Facebook 的上千万张全景照片形成了一个强有力的新数据集,Facebook 的研发人员们也就可以利用这个数据集改善自家的产品。这些数据可以和机器学习的方法联合起来,给用户带来更好的使用体验。

让人觉得全景照片不够真实的最常见的原因之一就是拍照的时候相机没有端平,然后最终的照片中也没有修复过来这些倾斜。比如下面就是照片倾斜的例子,拍照的时候相机拿歪了。呈现在照片里的地平线是倾斜的,完全破坏了照片的真实感。

对于传统的照片,用照片编辑软件修正这种倾斜是一件简单直接的事情,但是能够用于全景照片的这类工具并不多,而且修正球面上的倾斜旋转相当不直观。在拍摄全景照片的过程中,相机的旋转可以用 x 轴旋转(tilt)和 z 轴旋转(roll)两个参数来描述,如下方示意图所示。第三个方向的旋转,y 轴旋转(yaw),影响的是全景照片的起始点,但是这个方向上的旋转是不会造成照片内容的倾斜的。Facebook 的研发人员们就想开发出一种能够自动修正这些相机的旋转带来的照片倾斜旋转问题的方法。

为了解决这个问题,Facebook 的研究人员们使用了著名的深度神经网络架构 AlexNet,并对它做了一些相应的修改。用于网络训练的数据就是像前文中那样的照片,它包含了360x180度的完整球面环境,然后用等距离长方圆柱(equirectangular)投影转换为了一张矩形的照片。Facebook 的研究人员们首先假设这个问题的几何本质不需要颜色信息的参与,这样训练数据就可以简化为256x128分辨率的黑白照片。AlexNet 本来的设计是为了解决超过1000个类别的图像分类问题的,所以它最终的全连接层就有4096个输入和1000个输出。在 Facebook 的这个问题中,他们要解决的是一个回归问题,所以他们修改后的网络中,全连接层变成了4096个输入和 x 轴旋转、z 轴旋转两个值的连续值输出。

Facebook 的研究人员们用带有 x 轴和 z 轴旋转标签的图像训练了这个网络模型。训练数据集中包含了五十万张投影转换过的矩形照片,这些照片是研究人员们挑出来,总体没有旋转、倾斜的;换句话说,这些照片的 x 轴和 z 轴旋转全部都是0。在训练过程中,研究人员们人工地用随机生成的 x 轴和 z 轴旋转值对训练样本做旋转。如下的这个损失函数就会测量出这些随机生成的标签和网络模型预测结果之间的差值,并把减小这个差值作为网络的训练目标。

为了测试训练效果,研究人员们用一组给定的 x 轴和 z 轴旋转值对测试集中的图像做合成旋转。然后他们用训练过的网络模型分析这些旋转过的图像并记录模型给出的结果。这些已知的旋转值和模型给出的结果之间的差别可以归结为两个原因,1,模型没能完全解决这个旋转问题;2,所用的数据集还有一些问题,影响了模型的表现。这第二个原因也是真实存在的,Facebook 的研究人员们假定了选用的数据集总体是平直的,但是单独看其中的某个样本都还是有一些固有的旋转的。

所以,研究人员们用 [-4,-2,0,2,4] 度几种 x 轴和 z 轴旋转值中的所有组合在每一张照片都做了一遍,这就是用模型对每一张照片都过25遍。对于每一次所用的 x 轴和 z 轴旋转值,他们都会计算对应的旋转量。表示这种旋转量的最好的方法就是用3D图像中的一个常用工具:四元数(quaternion)。然后,模型会根据图像计算出另一个四元数旋转量。如果模型和数据中都不存在刚才提到的两个问题,那么这两个四元数就应当是相等的。实际中其实并不相等,所以在每一次计算中,他们都会把两个四元数相除,计算两者间的差值。最后,用以下公式算出每张图像在所有组合的下的差值的平均值。

以上公式中的计算都使用了四元数,因为它们用于计算差值和3D旋转的均值时非常好用。但是,这样就需要给每张图片计算新的 x 轴和 z 轴旋转值,因为数据集中的图像一开始的时候并不是完全平直的。这种平均差值就是对每张训练图像的真实方向的很好的预测。那么,研究人员们接下来简单地把四元数格式的平均差值转换为 x、y、z 轴旋转就可以更新图像的标签了。

在图像标签更新以后,就可以对模型做新一轮训练。模型一共经历了四轮训练和微调。在微调过程的最后,模型对全景照片算出的旋转值误差达到了0.1度的水平。每个阶段的训练都是从一个未经初始化的模型开始的,可以从下图明显地看到每个阶段中模型都收敛到了更小的训练损失。在另一项对抗测试中,模型也表现出了类似的收敛和误差值水平。模型的收敛表现足以让研究人员们得出结论:这样的“训练 - 微调”循环确实让模型学到了理想的旋转方程。

如下是一些经过旋转的全景照片结果,而且都是训练集之外的照片。从几组图片中可以看到,模型对于不同的内容类别都有出色的表现,不论有建筑这样的人造景观还是完全的自然风光。


结论

Facebook 的照片、视频、直播产品中都已经可以使用全景媒体。在这个过程中,具有沉浸感的内容也会带来一些特有的问题。这篇文章仅仅介绍了 Facebook 的研究人员们解决的问题里的几个。随着用户往 Facebook 上传这样的具有沉浸感的内容的速度越来越快,Facebook 也对研究的前景充满期待,他们相信类似这样的技术可以让用户用新的方式感受不同的地点和事件。

今起新发同业存单期限不超一年 旧单可继续存续

8月31日,央行发布今年第12号公告称,自2017年9月1日起,金融机构不得新发行期限超过1年(不含)的同业存单,此前已发行的1年期(不含)以上同业存单可继续存续至到期。

为引导同业存单市场规范有序发展,央行决定将《同业存单管理暂行办法》(中国人民银行公告〔2013〕第20号公布)第八条“固定利率存单期限原则上不超过1年,为1个月、3个月、6个月、9个月和1年,参考同期限上海银行间同业拆借利率定价。浮动利率存单以上海银行间同业拆借利率为浮动利率基准计息,期限原则上在1年以上,包括1年、2年和3年”的内容修改为“同业存单期限不超过1年,为1个月、3个月、6个月、9个月和1年,可按固定利率或浮动利率计息,并参考同期限上海银行间同业拆借利率定价”。今年第12号公告自2017年9月1日起施行。


央行进一步明确,自2017年9月1日起,金融机构不得新发行期限超过1年(不含)的同业存单,此前已发行的1年期(不含)以上同业存单可继续存续至到期。

央行金融研究所所长孙国峰表示,央行新规有利于适当缩短同业存单业务期限,促使同业存单回归其调剂金融体系内部资金余缺的本质属性,避免金融资源长期在金融体系内流转,加大金融支持实体经济的力度。通过鼓励金融机构发行1年期(含)以内的浮动利率同业存单,并参考上海银行间同业拆借利率(Shibor)定价,也有利于进一步培育货币市场基准利率。

孙国峰称,央行将继续引导和督促同业存单市场规范发展,进一步深化利率市场化改革,并加强与金融机构的沟通,稳定市场预期,实现相关工作平稳有序推进。

小米第二季度超苹果坐实“全球最大可穿戴设备厂商”

小米已经成为了全球最大的可穿戴设备厂商——至少从第三方统计的角度来看是这样的。

8月份,来自市场调研机构Strategy Analytics的统计结果显示,2017年第二季度,全球可穿戴设备的出货总量达到了2200万,其中小米拿下了17%的市场份额,超越了Fitbit和苹果,成为全球第一大可穿戴设备厂商。

而在日前,另一家机构IDC也发表了类似的数据报告,当中显示,今年第二季度全球可穿戴设备出货量同比增长10.3%,达到2630万部。

IDC研究经理Ramon Llamas表示:“今年第二季度,市场增长带动了诸多新兴产品问世。其中,智能手表的同比增长率达到两位数的水平,预计未来的可穿戴智能设备还会迎来更大幅的增长局面。”

其中,小米今年第二季度可穿戴智能设备出货量为350万部,约占全球市场13.4%的份额,并因此在全球可穿戴设备出货量排行榜上位居第一。

IDC的报告中分析道,小米公司在推广低价格设备方面的经验仍是其它公司无法比拟的,该公司推出的小米手环等系列产品深受市场的欢迎。


目前,小米在可穿戴设备市场上的最大竞争对手是苹果。根据IDC的报告,苹果排在可穿戴设备全球市场的第二位,它们的出货量为340万部,去年同期的数据是230万部。

至于小米反超苹果,也仅仅是最近的事。在8月份接受界面新闻的采访时,小米生态链副总裁夏勇峰表示,在第二季度小米超越了Fitbit和苹果;接下来,小米还将继续把差距拉开。

但苹果并不会坐以待毙。第二季度中,它们的可穿戴设备出货量增加了110万部,IDC评价称,第一代和第二代Apple Watch都已经比较成熟,这为它们的增长奠定了基础。在9月份的新品发布会上,预计苹果将会推出新一代Apple Watch。


排在名单第三位的是Fitbit,这家风头已经不复当年的可穿戴设备公司在日前发布了首款智能手表。从数据上看,它们在第二季度的可穿戴设备出货量同比减少了230万台。它们目前所希望的是智能手表能够改变这一状况。

但想进行自身的改变并不简单。有业内人士告诉界面新闻记者,目前Fitbit面临的最大问题就是产品定位,上有Apple Watch这样的高端智能手表,下有小米手环这样的廉价入门级产品,Fitbit面临的竞争非常激烈。

排在第四位和第五位的分别是Gamin公司和腕表品牌Fossil。至于三星在第二季度的表现则并不能让人满意,它们在排名上未入前五。不过根据业内的预测,由于三星在近期推出了包括智能手表、耳机等设备,从下一个季度开始,三星有望在可穿戴设备市场反弹。

共享单车第一股结束“11连板”:永安行今日暴跌9%

连续11个交易日涨停后,今日,共享单车第一股——永安行暴跌8.7%。

此外,今日多个共享单车概念股集体下跌,华西股份、三夫户外、信隆健康等跌幅均超过1%,而今日上证指数则收涨0.19%。

最近三个交易日,永安行股价盘中大幅震荡,交易量显著增大。永安行8月31日晚发布的股价异动公告称:

公司股票8月30日、8月31日连续2个交易日内收盘价格涨幅偏离值累计超过20%,属于异常波动情况。经公司自查,公司目前经营状况正常;公司不存在影响公司股票交易价格异常波动的重大事项;公司前期披露的信息不存在需要更正、补充之处;公司不存在应披露而未披露的重大信息。

今年8月17日,常州永安公共自行车系统股份有限公司(永安行)成功登陆上交所,以26.85元/股的价格发行2400万股新股,占发行后总股本的25.00%。当日,永安行开盘价为32.22元/股。

如今,12个交易日之后,永安行股价已高达91.57元,市值也升至87.91亿元。

永安行是一家集公共自行车系统生产、运营服务业务于一体的公司。永安行招股书显示,截至去年12月31日,全国共有超过400个市、县配备公共自行车系统,永安行覆盖了210个左右,永安行累计建设了约3.2万个公共自行车站点,投放约89万套公共自行车锁车器设备,骑行会员接近2000万人。

实际上,永安行共享单车业务占比并不大。招股书显示,公司去年营收中,共享单车业务占比仅为0.05%;截至今年一季度末,公司投放的共享单车也仅5万辆左右。

飓风肆虐“雪中送炭” 欧洲一大波油轮正带着汽油赶往美国

超级飓风“哈维”本周三(8月30日)二次登陆后,向美国内陆进发,不仅导致路易斯安那州暴雨倾盆,还向德州东北方向的阿拉巴马州和密西西比州推进,现已造成至少35人死亡。


美国墨西哥沿岸能源“心脏”遭受重创,13座炼油厂关闭,其余炼油厂也处于低产能运作状态。根据标准普尔的数据,飓风灾害已导致近两成的美国炼油产能“熄火”。

在休斯敦和东海岸城市之间每日输送逾1亿加仑汽油、约占美国成品油总需求八分之一的Colonial Pipeline管线也全面关闭。


为了弥补“哈维”飓风可能造成的汽油短缺,一支来自欧洲的庞大油轮船队已经行动了起来。

吉布森船运中介的Richard Matthews表示,本周预定将从欧洲航向美国的油轮数量翻了一番,达40艘。根据能源数据提供商Genscape,其他原定航向西非和欧洲的油轮也掉转船头,前往美国。

从欧洲大陆到美国本土,大量卡车、驳船和其他闲置的管道都被投入这场“汽油大抢运”当中。据Genscape估计,已有11.1万吨(3900万加仑)的欧洲汽油被输往美国。

“无利不起早”,这些欧洲油轮也是冲着巨额利润而去的。周四(8月31日)美国汽油期货跳涨11%,而随着美国劳动节周末(今年是9月2日-9月4日)临近,成品油消费量攀升,进口汽油的需求还有上涨的空间,价格进一步走高。

美国炼油产能受挫还影响到了其他美洲国家。Matthews表示,部分转向美洲的油轮中途还可能停靠拉丁美洲的港口,以弥补原先从美国出口到当地汽油的短缺。从亚洲送往美国西海岸的航空汽油运量也在攀升。

就目前而言,“哈维”的冲击暂时停留在大宗期货交易上,还未传导至美国当地人民日常用油的价格上。不过随着加油站运营商承受来自上游的涨价压力愈加强烈,加油泵边的价码上调也只是时间问题。

煤飞色舞行情火爆:黑色系盘中强势拉升 周期股掀涨停潮

中国神华A股、国电电力复牌涨停 封单数百万手

9月1日复牌后,中国神华A股、国电电力双双涨停,神华港股高开0.5%,涨幅一度扩大至4.22%。

中国神华股价涨幅9.99%,至21.25元/股,国电电力涨幅10.03%,至3.84元/股。国电电力开盘封单高达417万手,神华A股封单逾300万手。

8月28日,经国务院批准,国电集团与神华集团合并重组为国家能源投资集团有限责任公司。当日神华港股收涨2.08%。

今年6月,神华与国电双双停牌,称控股股东拟筹划涉及公司的重大事项。自那以来,A股电力板块累涨近9%。


神华和国电的员工数加起来共有32.6万人,而2016年的数据显示,美国煤电业的员工总数共7.7万人。也就是说,二者合并后的国家能源集团,人数是美国整个煤炭行业的四倍有多。

神华集团是中国第一大煤炭企业,业务以煤为基础,涉及电力、铁路、港口、航运、煤制油与煤化工等,拥有完整的产业链,被业内称为中国最赚钱的煤企。


国电集团是中国“五大发电集团”之一,为综合性电力集团,以发电为主,主要从事电源的开发、投资、建设、经营和管理,业务还涉及煤炭、发电设施、新能源、交通等。国电的风电装机近2583万千瓦,位居世界第一。

实现煤电联营,构建煤电一体化,一直被认为是解决目前中国煤电矛盾的重要举措。神华和国电的合并涉及资产超过1.8万亿元,发电装机容量达到约2.26亿千瓦,将成为目前中国最大的发电集团。