• 项目
首页>>文章列表 >>行业研究
行业研究

金准人工智能 全球半导体产业转移启示录(下)

五、中国台湾

Bloomberg BusinessWeek曾这么形容台湾的半导体事业,“在全球半导体产业的地位无可取代,如同中东石油在全球经济的角色”。从时间来看,台湾与韩国大约同时发展,在80年代台积电首创Foundry模式后,以代工切入迅速攀升国际地位。随着产业发展与技术提升,90年代以晶圆代工为主逐渐完善上中下游产业链。据统计,2017年台湾IC产业总产值27623亿新台币(约898亿美金),IC制造占49.5%,其中88.15%为晶圆代工,占全球代工市场的76%。台湾半导体区别于韩国的崛起方式主要因为1)抓住行业需求积极参与全球化分工;2)新竹园区聚集效应与海外人才的回流;3)包括工研院建立的政府政策、战略规划。

 

 

5.1 全球化分工

类似韩国的发展路径,台湾依靠早期给在台建厂的美日厂商做基础低端加工起步,积累所需知识与技术。80年代末,抓住美国逐渐转向Fabless模式推行全球纵向分工的机会,将利润不高、投资金额大的芯片制造、封测转进岛内。初期,台湾在设计、制造、测试和封装四个环节都有相应发展,但最终与韩国不同的主要原因在于1)技术始终落后,当时在台的美日厂商愿意授权的仅为封测技术,缺少核心设计环节;2)韩国财阀可以依靠运营其他产业来给半导体行业提供资金支持,但台湾的中小企业仅从事半导体,90年代的两次芯片价格下跌对台湾都造成巨大影响。因此,无领军企业的台湾融资能力与抗压能力次于韩国;3)台积电foundry模式的成功具有意义性质的示范作用,岛内其他企业可以依照台积电复制成功。

全球代工模式可以迅速获得专利授权并打开市场,错开与美日产业链有效降低与强国的竞争。因此,台湾积极参与代工把产业链延伸到岛内,同时发挥生产成本优势规模经济,成功巩固了全球代工地位

 

5.2 政府政策、战略规划

台湾当局在半导体行业发展起到以下三方面作用:

1)技术引进与招商引资。最早的技术引进为1977年与美国RCA公司合作的7微米CMOS技术转让,并建立第一家半导体示范工厂,完成技术消化到实际生产能力。之后,通过民间技术转让来吸引民间资本投资再带动海外资本入岛,活化岛内产业资金来源、发挥引导聚集作用。

2)整体规划与政策支持。针对台湾当时技术与资金情况,最早提出“积体电路计划草案”。之后政府主导代工的发展方向,并在后期逐渐丰满其他产业环节,提出例如“两兆双星”的发展目标。在发展过程中,辅以人才优惠,高科技企业税收减免等大力度倾斜性扶持政策。据统计,台湾每年对创新技术的资助金额占总规划的20%以上。

3)建立工研院,实行技术指引与组织交流职责1974年台湾效仿美国硅谷产学研模式建立电子工业研究中心,即工研院的前身。工研院主要职能为领头规划,加速人才与技术流通。此外,工研院还担任最新技术研发工作,例如1975-1979第一期专案计划的CMOS技术、1983-1987超大集成电路计划的1-1.5微米制造与封测技术等。通过自身技术研发或引进,实现生产能力后再转让给民间其他企业,提高台湾整体半导体技术。最重要的是,工研院还扮演孵化器角色,台湾第一家设计与制造公司联华电子(1979年)、全球最大晶圆代工厂台积电(1987年)、第一家8英寸生产线世界先进半导体公司(1994年)等均由工研院分衍出来。

 

5.3 产业园区的聚集效应与人才回流

为了加强工研院影响能力、调整岛内经济结构,台湾当局1976年筹建以半导体为核心的新竹科技园区,并于1980年完成。首先,新竹园区从产业多方面吸引高科技企业来园区发展。管理方面,通过《科学工业园区设置管理条例》等进行专项规划管理;税收方面,园区规定新办企业在9年内可任选连续5年免征所得税,5年后每年营业所得税不超过20%;风投方面,开设政府“开发基金”,从1985到1990年共划拨24亿新台币设立种子基金,也鼓励例如宏大风险基金的民间投资。其次,发挥地理优势加强信息技术沟通、互相竞争来提高台湾整体核心竞争力。这点在台积电、联华电子、宏基等台湾半导体领头厂商驻入后愈发明显,从某个企业单纯的代工模式到产业链全环节分布,形成联合生产群。第三,海外人才的吸引、高校的合作提供丰富人才储备。海外人才方面,台湾当局1985年在硅谷设立办公室,监测学习先进技术的同时召集华裔工程师,台积电创始人张忠谋正是以此被请回台湾。1983-1997年,海外人才以平均42%增速回到台湾,得益于此,这段时间的台湾制程技术不断提升。高校方面,与台湾清华大学、台湾交通大学、台湾电子技术研究院、中华工学院等众多大学和研究机构合作,为新竹园区培养了一大批储备人才。

目前,新竹园区共487家企业,半导体相关企业占64.27%,销售额占比高达90%以上,仅集成电路一项就支撑起台湾半导体产业销售额的31.25%,其重要程度不言而喻。

 

 

六、对中国大陆的启示

6.1 目前发展迅猛但技术自主能力不强,供需不平衡

中国集成电路发展势头凶猛。金准数据统计,2017年我国集成电路产业销售额达5411.3亿人民币,同比增长24.81%。从产业结构来看,设计、制造与封测三大产业增速均高于去年同期。设计业占比逐年攀升,产业结构从“大封测-中制造-小设计”到“大设计-中封测-中制造”转型,产业链逐渐从低端走向高端,展现我国集成电路发展的突破。

我国需求供给不平衡不匹配现象仍然严重,且将长期存在。2015年起,集成电路超越原油成为我国第一大进口商品,2017年出口金额663亿美金,较进口2579亿美金存在1916亿美金缺口,缺口比例(缺口额/总进出口额)长期保持50%以上。从产品种类来看,微处理器与控制器长期占45%以上进口额,说明我国在CPU、MPU等核心器件芯片的自主设计生产能力依旧薄弱,需要依赖于人。

 

 

随着经济与政策、相对廉价劳动力支撑,目前半导体产业逐渐向中国转移。正如开篇分析,半导体行业与宏观经济的强相关性将逐渐加强,我国每年的约6%GDP增速、例如集成电路产业投资基金等扶持政策都是推动我国集成电路发展的重要力量。以晶圆厂为例,据不完全统计,至2022年,包括海内外厂商约30座晶圆厂将在我国落地,主要聚集在上海、江苏和安徽一带。

 

6.2 启示

从两次半导体产业转移展现出的各国与地区经验来看,以美国为代表的领导者,依靠扎实的基础研究、倾斜性支持政策、游戏制定身份来长期维持行业垄断地位。以日韩台为代表的追赶者,则从每次产业变迁抓住需求变动,依靠产业政策或财阀领导实现跨越式升级。其中,日本的失败在于国家主权依赖程度高与对技术发展判断失误。

对此,金准人工智能专家认为中国需要:

1)强有力的政府领导作用。对待半导体行业,我国需开展类似对待“两弹一星”策略,即从行业整体规划出发,辅以相关税收减免、资金调配、技术与人才引进等政策。尽管我国近年加强对半导体行业的重视、将半导体集成电路列入发展纲要,但具体细节仍不够规范,例如设计产权法规不够明确、高科技企业税收减免定义存在漏洞等,这些都需要政府加强指引。

2)统筹规划产业发展方向、技术路线,统一目标与认知。半导体产业庞大,涉及支线众多,一个企业甚至一个国家无法做到全精通,对于尚在发展阶段的中国更是如此。目前我国并无明确组织或机构部门统一规划,出现三大产业发展较为平均却无突出点无重心:设计方面,增长快但核心芯片知识产权掌握程度低、IP供给率低;制造方面,设备材料依赖于人、及技术落后造成的遏制发展现象已经明显;封测方面,技术与利润始终处于产业链低端。例如美国主攻高附加值领域、日本韩国DRAM起家与台湾专精代工,我国需从产业现状出发明确发展方向,可以先加强制造,提升上游材料设备来提高制程技术、减少海外依赖,提升自主产权设计为最终目标来制定每三年或每阶段发展目标,统一各界认知,凝聚产业力量。

3)对比全球,继续加强投资。由于我国半导体发展晚、技术落后,对比其他国家,我国无论在设计人才培养、制造材料设备购买、封测技术升级的花费金额更甚。尽管在国家集成电路产业投资基金带领下,对60多个项目投约1400亿人民币,拉动整个产业投资,但长期发展留下的技术差异仍显不够。第二,投资无主攻目标。与产业整体无主要规划发展方向相同,投资方面也显得杂乱无章。从产业最大的集成电路产业投资基金来看,尽管投资总额大,但每个项目平均金额并不高,而且产业性质决定了无法全面优质发展,需要根据发展实情调配基金。

4)大力度培养人才。目前我国集成电路人才面临数量低、质量低和海外流出高的“两低一高”问题。据《中国集成电路产业人才白皮书》统计,我国2017年集成电路从业人员规模约40万人,其中设计类14万、制造类12万、封测类14万。但每年仅12%集成电路专业毕业生最终进入行业就业,数量约3万人,远少于需求端数量。据估计,到2022年我国集成电路人才缺口将达32万人。其次,面对行业发达国家教育、人才积累,我国缺乏复合型、经验型人才,并每年流出一定比例。对于此,国家或学校需发挥主导作用,吸引海外优质人才的同时,加强“产学研”形式的学校、企业与政府的互动,培养本土人才,提高人才待遇、改善就业环境。

5)建立区域性整体提高竞争优势,发挥群聚效应。美国的硅谷、韩国的京畿道区与台湾的新竹工业园区在各自国家与地区半导体发展做出巨大贡献。目前,我国半导体产业主要集中在上海、江苏、安徽等地区,有向中部的四川、湖北迁移趋势,但仍没有形成大规模区域整体。对此,学习美韩台经验,利用地理优势加强地区性产业规划来发挥群聚效应,联合配套设施、政策、教育、企业带动知识与技术的高效流动、活化资金,先以培养某些龙头来带动整个地区产业发展,集中力量办大事。

6)坚持政策自主,保持发展独立性。80年代美日两次签订的半导体双边协议,正是因为日本在军事与国防高度依赖美国而无法保持政策的独立自主,令日本尚未实现技术全方位压制就遭受打击,严重拖累日本半导体发展。因此,面对此次美国借贸易战名义打压遏制“中国制造2025”为代表的高科技领域,我们要坚持自主底线,不能受到外界压力丧失自主权。

金准人工智能 全球半导体产业转移启示录(上)

前言

从历史进程看,全球范围完成两次明显的半导体产业转移:第一次,二十世纪70年代从美国转向日本,第二次从80年代转向韩国与中国台湾,目前逐渐转向中国大陆。是什么支持这些国家与地区半导体行业发展如此蓬勃?他们又是如何抓住机遇?

从整体来看2017年全球半导体市场销售额达4122亿美金,同比增长21.6%,分为集成电路(83.25%)、光电子(8.45%)、分立器件(5.25%)和传感器(3.05%)四大类,集成电路连续数年领跑整个行业。从产业链来看,主要涉及电路设计、芯片制造与封测检验这三个环节。从运作模式来看,目前主流整合模式(IDM)与垂直加工模式。从上游设备材料消耗来看,第一被韩国(设备,31.71%)与中国台湾(材料,21.9%)包揽,中国大陆均排第三;但供给商方面,排名前十厂商被美日韩台垄断,占据市场份额90%以上,无一中国大陆企业。

半导体目前形成深化专业分工、细分领域高度集中的特点。从发展历史看,影响因素为两方面,宏观层面的全球经济波动与产业层面的转移变革。历史上两次成功的产业转移都带动产业发展方向改变、分工方式纵化、资源重新配置。也正是每次的变动,让后来者有切入机会,继而革新整个行业。因此,产业转移是技术进步、国家产业政策和企业发展规划的综合结果。以美国为代表的领导者,依靠扎实的基础研究、倾斜性支持政策、游戏制定身份来长期维持行业垄断地位;以日韩台为代表的追赶者,则从每次产业变迁抓住需求变动,依靠产业政策或财阀领导实现跨越式升级。其中,日本失败在国际政治和外交因素的压力下丧失了主导权与对技术发展判断失误。

详细来看:

作为技术的发源地,美国一度领导全球半导体与集成电路的发展。目前,美国半导体销售额为1889亿美金,处世界第一。除了1986-1991年期间被日本赶超,美国市场占比基本维持在50%。美国保持领先的原因为:1)扎实的基础研究奠定理论基础,时间积累突出研究深度;2)发明者的地位决定设计框架的国际使用,即游戏的设计者与规则制定者;3)国家意志推动,政府决定性地在资金、采购、政策规划、外交贸易等方面的突出领导作用。

日本半导体1986年DRAM市场占有率达80%反超美国成为世界半导体第一强国。成功在于1)初期美国的大力支持与经济复苏;2)大型机时代以“物美价廉”从DRAM市场切入赶超;3)政府在协调统一与贸易保护做出的巨大贡献。90年代开始逐渐没落,主要因为1)经济几乎停滞,同时美国打破贸易保护;2)固守大型机时代的成功,没有根据行业发展进行主动调整,失去先机;3)固守的分工方式,在人力与资金上显得累赘,缺乏灵活性。

韩国与中国台湾大约同时发展,抓住大型机到消费电子的转变期对新兴存储器与代工产生的需求。截至2017年,韩国以22%全球半导体市场份额成为仅次美国的半导体超级大国,而台湾以76%市场份额占领全球代工市场。造成这一区别的主要因为韩国独特的财阀推动作用1)发展前期在美国帮助下,财阀带领的主动对新型技术模仿吸收;2)不间断地对设备、材料、人才的投资;3)中后期政府参与时,研发依旧由财阀内部完成,政府基本起到基金调配作用而并非领导作用。因为缺少资本雄厚财阀,众多中小企业的台湾主要在政府产业政策下发展1)抓住行业需求积极参与全球化分工;2)新竹园区聚集效应与海外人才的回流;3)包括工研院建立的政府政策、战略规划。

中国集成电路发展势头凶猛,第三次产业转移趋向中国。金准数据统计,2017年我国集成电路产业销售额达5411.3亿人民币,同比增长24.81%。产业结构从“大封测-中制造-小设计”到“大设计-中封测-中制造”转型,从低端走向高端,展现我国集成电路发展的突破。但我国需求供给不平衡不匹配现象仍然严重,且将长期存在。金准人工智能专家认为,进出口缺口比例长期保持50%以上,其中进口项目45%以上为微处理器与控制器,说明我国在核心芯片缺乏核心竞争力,需要依赖于人。

对我国的启示,无论领导者还是追赶者:1)强有力的政府支持作用。政府在发展初期的强力支持作用至关重要,从行业整体规划出发,辅以相关税收减免、资金调配、技术与人才引进等产业政策。2)大力度培养人才。目前我国集成电路人才面临数量低、质量低和海外流出高的“两低一高”问题。国家需发挥主导作用,加强“产学研”,提高人才待遇、改善就业环境,吸引海外人才、培养本土人才。从追赶者经验来看:3)统筹规划产业发展方向、技术路线,统一目标与认知。结合我国制造占比连年下滑与制造的重要地位,我国可以先大力发展制造业,再以提升设计能力,规划制定每三年或每阶段发展目标,凝聚产业力量,统一各界认知。4)对比全球,继续加强投资。对比其他国家,我国无论在设计人才培养、制造材料设备购买、封测技术升级的需要花费的金额更甚。并且需要根据产业规划,明确投资主要方向,不能杂乱无章。5)建立区域整体,发挥群聚效应。学习韩台经验,利用地理优势加强地区性产业规划来发挥群聚效应,联合配套设施带动知识与技术的高效流动、活化资金。从日本失败经验来看:6)坚持政策自主,保持发展独立性。吸取美日两次双边协议教训,面对此次美国借贸易战名义打压遏制“中国制造2025”为代表的高科技领域,我们要坚持自主底线,不能受到外界压力丧失自主权。

此次中兴事件无疑给国人敲响警钟,金准人工智能专家认为,结合我国半导体产业现状事情,抓住此次产业转移趋势来提升我国高科技制造、设计能力,最终提高国家竞争力。

风险提示:技术进展、政策推动不及预期、全球经济波动剧烈等

一、半导体行业整体情况

1.1 细分领域、产业链与运作模式

以中兴禁令为启,此次中美贸易战,实质是美国打着贸易的旗号试图对“中国制造2025”为代表的高科技领域进行打压与遏制。代表之一的半导体,其历史最早追溯到19世纪30年代,经过长达一个世纪的研究,直到1947年美国贝尔实验室发明了更具实用价值的晶体管,人类才开启电子时代并向信息时代前进。可以说现代的大多数文明,例如家电、PC(个人电脑)、智能手机等,都需依靠半导体行业。

从类型来看,半导体可以分为集成电路、光电子、分立器件和传感器这四大类。尽管占比有下滑趋势,集成电路依旧以超80%市场份额领跑,细分包括储存器(36.12%)、逻辑电路(29.78%)、模拟电路(15.46%)和微处理器(18.63%)。

从整体来看,根据世界半导体贸易协会(WSTS)数据显示,2017年全球半导体市场销售额达4122亿美金,同比增长21.6%,背后主要推动力来自集成电路与传感器的强力增长:得益于DRAM(动态随机存取储存器)、NAND闪存等储存器爆发,集成电路2017年增速为24.03%;因物联网、智能控制、汽车应用、图像识别等强劲需求驱动,传感器市场去年增速为16.17%。

从产业链来看,主要涉及电路设计、芯片制造与封测检验这三个环节。生产流程主要是以电路设计为主导,IC设计商根据客户需求把系统逻辑和性能转换成物理图谱,然后委托芯片制造商从原材料,经过提纯、单晶硅柱、分片、蚀刻等过程制成晶圆(排列着集成电路的硅晶片),再送到封装厂完成电路封装、测试的最后步骤,最后进行销售。

从运作模式来看,目前主流两种运作模式,即整合模式与垂直加工模式。整合模式又称IDM(Integrated Device Manufacturer),早期的芯片企业多为IDM,以英特尔与三星为代表业务范围覆盖整个产业链。但根据摩尔定律,同等价格下,集成电路上容纳的晶体管元器件数目每18-24个月翻一倍,性能也随之提升一倍。这一定律揭示了半导体行业发展迅速的同时,也暗示整个行业需要不停的投入新型材料与仪器研发更高性能芯片。为了减轻投资压力与降低失败风险,上世纪九十年代开始,IDM逐渐拆分成单环节加工,形成以设计为主的Fabless模式、晶圆代工Foundry模式和纯封测检验模式。

1.2 市场规模

材料方面,据半导体工业协会数据显示(SIA),2017年上游材料端市值约470亿美金,排名第一的为中国台湾,以21.9%市场份额连续八年夺冠;中国大陆发展迅速,对比2011年增长56.8%。但最为重要的硅晶圆供应市场却被日本包揽一半,排名前五供应商占据全球94%市场份额,较去年增长一个百分点,垄断日益加剧。


设备方面2017年全球设备共投资566亿美金,韩国以179.5亿美金首次超越台湾成为全球设备花费最高国家,主要原因在于今年存储器的暴涨带动DRAM相关产业链增长,韩国作为DRAM产出第一国家的收益最高。中国大陆以27.4%增速展现对制造环节的投资热情,排全球第三。与材料供应市场类似,设备供应市场90%以上被欧美日韩垄断,且前十厂商均有较高的营收增长,其中韩国SEMES以142%增速成为全球涨幅最高供应商。


因为拥有英特尔、三星、海力士等全球前十公司,IDM市场规模远大于Fabless市场规模,但两者差距逐渐缩小。Fabless与IDM规模比从1999年的7.67%提升到2017年的38.66%,说明行业产业链全球纵向延伸加剧。终端应用方面,智能手机依旧是第一大场景,占整体32.28%。虽然智能手机市场逐渐饱和,出货量连续下滑,智能手机市场对半导体需求依然保持较高水平。另外,5G、人工智能、物联网、汽车电子等快速发展也大力度推动整个半导体芯片市场。


1.3 影响因素:宏观层面的全球经济与产业层面的转移变革

作为资金与技术高度密集行业,半导体目前形成深化的专业分工、细分领域高度集中的特点,因此半导体受全球经济影响波动较大,且相关性越来越强。分析1980-2022年期间全球经济与半导体行业之间的相关系数可以发现,除去90年代全球半导体行业处于整合模式向垂直加工模式转移,其他期间显示出全球经济对半导体行业强力拉动关系,而这一趋势未来表现更甚,相关系数逐渐向1靠拢。主要原因为两点:

1)垂直模式日趋成熟,产业链更细化。细化分工的产业链除了降低投资风险、提高环节操作效率与最终产品良品率,更重要的是给新玩家一个进入行业的切入点,例如技术水平较低的封装检测、设计突出的Fabless等。对比早期IDM形式,各自环节深化有效降低资本支出在销售的比例,企业盈利得到一定保障。

2)大规模兼并收购带来细分领域的龙头效应,议价能力增强。为了保障企业技术水平、研发进度领先,并拥有一定的市场份额,半导体自2000年开始进行一定规模的兼并收购,整体交易金额在2015年达至顶峰为1073亿美金。大量高频的行业并购降低制造商与供应商数量的同时,使“强者越强”。2017年的并购行为放缓也侧面说明,行业的成熟令各自领域的龙头效应明显,更多的并购已无法带来更好的边际效益。

从历史进程看,全球范围完成两次明显的产业转移:第一次,二十世纪70年代从美国转向日本。十九世纪50年代,晶体管诞生于美国,后续发明影响行业的革命性芯片与商业应用,例如英特尔4004、英特尔8088、IBM个人计算机等。出于经济与政治因素考虑,70年代向日本提供技术与设备支持,产业转向日本,日本半导体一度跃至世界第一。为了抵制日本发展夺回半导体行业话语权,美国开始向韩国台湾等地提供支持,第二次,产业从80年代开始转向韩国与台湾。为了降低设备、人力等成本,目前,产业逐渐转向中国大陆。是什么支持这些国家与地区半导体行业发展如此蓬勃?他们又是如何抓住机遇?我们后续根据国家一一分析。

二、美国

作为技术的发源地,美国一度领导全球半导体与集成电路的发展。据金准数据显示,美国半导体销售额以平均5.02%增速从1997年的709亿美金增至2017年的1889亿美金。除了1986-1991年期间被日本赶超全球公开销售市场份额一度跌至35%,美国市场占比基本维持在50%,处于世界第一,且在中日美欧等国家均占据重要地位。


尽管如此,美国半导体发展并不是一帆风顺,也曾面临过二战时期经费短缺与八十年代被日本打败等窘境。为此,美国成功化解危机并保持世界第一的位置,除了我们在《中美科技实力对比:体制视角》所提及的强大资金基础、高质量人才汇集、包括产学研为代表的创新创业精神与科研人员高效流动的科技体制外,金准人工智能专家认为还有以下几点1)扎实的基础研究奠定理论基础,时间积累突出研究深度;2)发明者的地位决定设计框架的国际使用,从而进一部强化国际地位;3)政府决定性地在资金、采购、政策规划、外交贸易等方面的领导。

2.1 基础研究扎实

美国对基础研究无论在深度还是广度都首屈一指。长期积累的物理、数学、化学实力是微电子学、电力学发展基础,二战后,在国防部支持下,美国基础学科受到高度重视,继承德法英研究的美国半导体正是此期间高速发展。以肖克利及“八叛徒”为代表的行业领军人物,大胆设想、不断钻研,令美国成为第一个发明半导体与集成电路的国家,极大带动美国研究热情。此后由国家科学基金委员会(NSF)带头,资助国家基础研究项目与科学教育,促进研究成果的同时大范围培养人才,加深基础研究,形成“研究领先-拥有人才培养实力-更多人才投入-积累突破”的良性循环。

资金支持力度上,美国保留了自二战以来对基础研究支持的传统。从研发支出结构来看,除全球金融危机时期,美国基础研究投入以较为稳定速度增长,且逐渐追平应用研究投入,占总研发支出的16.86%,而中国这一数字仅为5.45%。除了每年美国国家科学基金会固定投资的几项基础项目外,美国先后投入十数亿美金实施“超越摩尔定律的科学与工程”(SEBML)、“国家纳米技术”(NNI)等计划以维持自身在全球范围内的领导地位。

2.2 游戏制定者

从历史来看,晶体管、集成电路、大型集成电路、超大型集成电路、个人电脑、智能终端等发展,美国不是技术发明者就是行业领导者。“第一款产品”意味着开拓无人占领的新兴市场,也意味着对后来者设定市场准则。换句话说,高科技领域,一款新型产品的收益远不止销售所展现的数字,更多是身为游戏制定者与裁判双重身份所带来潜在好处。这也是美国在半导体甚至其他行业能展现出超强实力的重要原因之一。

以英特尔为例,Wintel(Windows+Intel)模式占据pc时代市场半壁江山,尽管影响逐渐下降,但对众多厂商造成的挑战始终存在。主要原因在于英特尔对指令集与微架构的长期统治。指令集(Instruction Set Architecture,ISA)为转化操作任务成CPU(中央处理器)可以理解的底层代码的一项硬程序,这一过程又叫做编译(compile)。微架构(microarchitecture)即设计者对芯片处理频率、运输速度、耗能水平等的体现,拥有微架构设计能力也等于拥有CPU自主知识产权。以书本比喻,微架构能力是作者整体绘图写作、思想意图的体现,而指令集是为不同国家读者按照一定标准的翻译器,通过这些过程,全球读者才能阅读到这本书。同一本书可以按照不同标准来翻译,因此出现了不同的指令集,最为著名的是英特尔x86、ARMv8、MIPS等。同理,一种翻译标准也可以翻译不同种类的书形成不同微架构,其中以低耗能ARM(英国公司)Cortex与高性能英特尔Core系列为主。

虽然在ARM移动处理联盟(手机厂商为主,包括华为、三星、苹果等)的围剿下,注重计算机市场的英特尔控制力有所下降,但据IC Insight数据显示,英特尔依旧全面占据2017年计算机处理器市场,算上平板电脑与手机应用处理器,英特尔x86占据超60%微处理器市场。作为最早推出的指令集x86,抢占先机制定标准,其余企业研发CPU时都需要考虑x86的兼容问题是其长期制霸的原因。另外,英特尔通过对少量企业授权AMD、Cyrix(已被收购)、IDT等),或进行同等价值的技术交换来拉长自身发展优势。第三,与windows建立的软件生态,吸引后来设计者的同时加强行业影响力。

其余细分领域,例如专攻某项能力的ASIC、FPGA等,都是类似“抢占先机-制定规则-扩大市场-再投资-辐射影响”逻辑令美国在半导体行业全球领先。


2.3 举重若轻的政府角色

半导体发展符合“刺激-反应-发展”的规律。与美国传统提倡的“市场经济”、“自由发展”所不同,美国政府进行过多次直接或间接关键性政策干预,直接行为为政府采购、政府资金支持、相关法律政策、外交贸易,间接行为为影响技术发展方向、市场需求与市场竞争。

2.3.1 技术方向、资金支持与政府采购

技术发展初期,即20世纪50年代至70年代,政府既是技术发展的提出者,又是资金提供与产品采购者。一项新技术的发明存在资金与风险双高情况,私人企业无法承担,政府在有明确需求下的大力支持可以很好的缓和企业风险,为技术创新准备充分条件。

作为军方的技术支持,早期各大企业与实验室的研发多基于政府需求,因此,政府对技术发展方向影响重大。因战争产生的对电子信息技术“高效、快速”要求,催生了晶体管的诞生。但第一枚晶体管原材料锗的化学性能在高温条件下不稳定且产量有限,促使了硅材料的使用。其次,军方对元器件线路庞大复杂、故障率高提出了“微型、轻便、高效”要求,激发研发小型整合体,这也是1959年德州仪器实验室发明集成电路的直接动机。

再者,政府的资金支持与大规模采购加快技术发展与产品商业化,其中空军支持率最高。研发经费分政府经费与民间经费,政府经费又分直接拨款与承包合同两种主要形式,而承包合同贡献率更强。据美国商务部数据统计,1958-1964年期间,平均每年研发经费来自政府的比例约85%(除1956年),1958年政府直接拨款400万美金,承包合同费用则高达990万美金。集成电路发明后的六年内,政府对其资助达3200万美金,70%来自空军。合作内容包括德州仪器115万美金的两年半的技术研发、德州仪器210万美金的500个集成电路生产能力、西屋公司的430万美金的电子产品生产等。在产品得到初步回报后,政府降低采购与资金力度,转接给个人与企业投资者,再借助市场效应扩大规模。


2.3.2 特殊时期的外交与贸易手段

到了发展中期,日本以DRAM储存器为切入点,无论从产量、技术还是价格优势均反超美国,从“后来者”逆袭为世界霸主。对此,美国政府迅速做出了战略调整,包括最为著名的《美日半导体贸易协议》The U.S-Japan Semiconductor Trade Agreements)与SEMATECH联盟(美国半导体科技与制造发展联盟)。

双边协议签订背景是日本抢走部分高科技领域而引发美国对自身发展的担忧。美日双边协议取消日本贸易壁垒扩大市场、同时遏制对手发展。80年代前全球销量最高半导体公司被美国所垄断,包括国民半导体、德州仪器、摩托罗拉等,到1986年全球前十公司有6所来自日本,前三强更是易主为日本电气、日立、东芝。为此,联邦政府开始在1985年与日本进行谈判,以“反倾销”名义令日本政府调整产业政策,主要要求为1)至1991年底,非日本企业生产的半导体器件与芯片在日本销量必须占日本市场总销量的20%(之前日本政府保护下为10%以下);2)禁止日资在美投资并购;3)建立价格监督机制,禁止第三国反倾销。从出发点与申诉点来看,都与今年中美贸易战有所相似,但不同的是,依赖美军保护与国防需求,日本在1986年签订了协议。由于当时众多美国企业为区别日本低价竞争,转向ASIC(某种特殊目的的定制芯片)等高技术高附加值市场,双边协议带来的效益不算很大。协议过后,日本全球市场份额与DRAM市场份额变动不大,依旧处于美国之上。对此美国于1989年再次与日本签订贸易协议,条款扩大至专利保护与专利授权等,对此,日本不得不令本国企业开始采用美国框架与产品。数据显示,1996年非日企业半导体产品在日本市场份额升至30%,其中75%来自美国。

SEMATECH整合资源,提高信息、技术与人才交流。尽管美国对产业做出调整改变分工方式,转向ASIC定制市场形成Fabless运营模式,但基础技术、设备、材料的劣势不能忽视,对比日本“价廉物美”,美国急需提高制造工艺降低成本,SEMATECH为此发挥了巨大作用。1987年,政府发挥主导效仿日本大规模集成电路技术合作联盟经验(VLSI计划,日本篇细讲)联合英特尔、德州仪器、IBM、摩托罗拉等在内的共11家公司建立SEMATECH,旨在增强美国国内半导体制造与原材料等基础供应能力。在国防部高级研究项目机构(DARPA)领导下,11家企业除了互通有无,更是加强了与设备制造厂商之间的合作,包括1)委托开发设备;2)改进现有设备;3)制定下一阶段技术发展战略;4)加强信息交流。其中最重要的是新设备开发,占总预算的60%,项目集中在金属板印刷技术、蚀刻、软件及制造等。统一规划合理配置资源的同时,降低研究与实验的重复性,改善企业无主攻方向问题并大大提升制造能力与材料研发进程。因此,美国1992年重新夺回世界第一。市场方面,美国国内对美产新设备采购意愿从1984年的40%提升1991年的70%,1992年美国应用材料公司成为全球最大设备材料供应商,并保持至今;技术方面,日本终端芯片对比美国的相对成品率从1985年的50%下降到1991年的9%,1993年SEMATECH完成0.35微米的电路制造。

2.3.3 相关立法与优惠政策

注重法律保护的美国,在半导体方面实施了多项政策贯穿全程,直接或间接的影响半导体行业在融资、投资、税收、专利保护、科技研发等方面的进程。形式可分为减免所得税、企业低税率、额外费用减扣、亏损结转、所有权保护、打击恶性竞争等。

以《经济复兴税收法》为例,企业研发费用不作为资本支持而作为费用抵扣,如当年研发开支超过前3年平均值,超出部分给予25%税收减免,企业用于新技术改进的设备投资可以按照投资额10%进行所得税抵免。这一法案的实施,减免企业营业压力的同时增加企业创新研发动力与研发强度。

针对早期芯片行业版权混乱现象,美国出台专门也是当时世界第一部的《半导体芯片保护法》,进行注册后的集成电路权利人可以在10年内享有该作品的复制、发行等基础权利,也享有对恶性抄袭复制者的追诉权,即使没有注册,设计者也在2年内享有权利。但是《芯片法》不反对反向工程(通过现成产品进行设计复原),也一定程度的促进市场竞争。这部创新性的保护法案也影响了其他国家集成电路的专利保护,更是影响了世界知识产权组织(WIPO)修订《集成电路知识产权条约》与世界贸易组织(WTO)修订《与贸易有关的知识产权协议》。


三、日本

从时间来看,日本半导体大致始于20世纪50年代,1950-1960年积极储备、酝酿实力;1970-1986年迎来黄金时代,1986年DRAM市场占有率达80%反超美国成为世界半导体第一强国,半导体产业逐渐从美国转向日本;1990-2000年逐渐没落,现今已经没有一家日本企业专注于DRAM市场了,可谓成也萧何败也萧何。80年代至90年代可谓日本半导体重要分界点,金准人工智能专家认为有四条原因促使日本成功,也有四方面因素令日本不复当年辉煌。


3.1 令人震惊的成功

3.1.1 美国支持与日本战后经济复苏,为技术发展提供良好环境

初期,即20世纪50年代至60年代,日本的发展离不开美国的支持,主要体现在经济复苏与技术授权。20世纪50年代,美国爆发对朝鲜战争,军需大大提高,作为美国“远东兵工厂”的日本凭借此次机会,迅速积累技术与财富,修复二战后科技与经济落后的差距。此后的美苏争霸,日本再次充当美国背后支持储备角色,支援的同时靠着美国提供的工业技术,充实自身基础,家电行业的腾飞也正是这些行为的结果。日本从“军转民”正式进入经济高速发展阶段,GDP在1955-1980年期间保持超10%增速增长,这不过花费约10年。

“引进-消化-改良”快速缩短与美国之间的差距。发展一项技术最快的方法就是学习模仿,因此日本实行产业标的(Industry Targeting)政策紧盯西方国家开始大量技术引进。半导体行业最早发生在1962年的日本电气公司引进仙童的平面集成电路制造技术,结合自身反向工程,成功实现集成电路量产。再在政府要求下传授给其他日企,将日本集成电路芯片制造能力逐年翻倍,成功实现硅晶体管的商业化与市场化。

3.1.2 政府角色

区别美国政府强硬作用,疲弱的日本军方无法复制类似美方在初期对半导体产业强力的技术指引与需求拉动,日本政府起到更像是整合规划带头的角色。

1)集合资源,整体规划,统一认识。不同于美国半导体企业大多单纯从事集成电路或者其他电子领域,日本企业大多有另外产业,整体规划稍显混乱,例如东芝的家电事业部、精工的腕表事业部、索尼的相机事业部等。进入到“轻薄短小”发展时期(早期是以钢铁煤炭为代表的“厚重生长”到70年代电子半导体“轻薄短小”),以通产省为代表的日本政府,发挥了资源与资金协调、加强企业与政府之间信息沟通与调整产业发展方向的作用。例如,为了解决IBM 370系统及1M存储器进入日本市场后带来的压力,通产省联合日本电气、日立、富士通和东芝五家企业在1976年组成为时4年的超大规模集成电路项目(VLSI),总投资2.36亿美金,其中政府出资45%。VLSI主要分为五家企业共同研发的基础共性技术与内部单独研发技术两条不同线路,目标为10年内提升DRAM技术,包括短期64K与256K与长期1M目标并实现量产。1980年VLSI计划宣布结束时,共获500多项联合专利与1200多项工业专利,极大的提升日本整体集成电路水平,也为日本在80年代以DRAM为切入点成为世界第一强国奠定技术基础。从该项目可以看出,虽然项目研发还是以企业为中心,但是政府在联合研究基础共性技术方面发挥带头与协调作用,并在专利保护、研发成果免费向成员公司转移等方面促进了知识高效流动。


2)民企拉动内需,“物美价廉”打开外需。正如上述,日本政府无法直接拉动半导体需求,因此出相关采购政策间接影响采购。主要行为包括强制政府与私人企业合营电子信息公司每年采购国产半导体达总采购量的80%、刺激家电产业来侧面提高半导体需求等。以日本电子计算机公司(JECC)为例,在政策支持下,JECC计算机采购量从1961年的300万美金升至1981年的23亿美金。足够大量的需求保障令日本电子产业发展初期在面对外国品牌攻击有了一定的自保能力。

经过十多年的铺垫,日本制造能力完成从“价廉物劣”到“价廉物美”转型,并依靠廉价劳动力获取大部分海外市场。从惠普公司1983年发布的一项DRAM芯片调查发现,1980年前日本芯片良品率是美国同等产品的5倍。与此同时,日本1960-1980年制造业平均小时工资为1.73美金而美国为3.8美金,日本仅为美国的约45%。


3)贸易保护为主的政策与资金支持。与美国类似,日本也出台一列相关政策,但更倾向贸易保护。代表性的为1957-1971年《电子工业振兴临时措施法》、1971-1978年《特定电子工业及特定机械工业振兴临时措施法》、1978-1985年《特定机械情报产业振兴临时措施法》。这些法案出发点1)从人才、资金、基础设备等为电子产业提供环境条件;2)限制外资,且海外产品市场占有率不得高于10%;3)以欧美为参照系,模仿学习再自研最新技术。这些法案的执行,令日本在完全拥有一流的自我研发技术之前,对幼稚产业(infant industry)的半导体发展起到时间和市场规模的缓冲。

3.1.3 抓住大型机时代对DRAM强力需求

得益于计算机的发明和普及,储存技术迅速发展,在摩尔定律下约每3年对DRAM需求翻倍。经过类似VLSI等项目发展,日本64K DRAM研发进度与IBM、德州仪器等美国公司持平,到了1985年256K DRAM研发进度赶超美国,日立与富士通率先量产上市。日本抓住大型机对基础存储技术的需求,以DRAM为切入点将日本半导体影响力辐射到全球。


3.2 令人错愕的衰败

3.2.1 失去的“二十年”与美国的双重打击

到达巅峰之后的日本并没有延续辉煌,而是渐渐江河日下。首先,作为强力支持的整体经济,受到亚洲金融风暴与日本经济泡沫影响,在1998年后开始出现负增长。其次,失去主权与美国签订的双边协议影响逐渐凸显。第一,《广场协议》推高日元降低美金,从1985年后的几年内,美日汇率从240日元降低到120日元,令日本出口优势不再。第二是美日半导体双边协议的作用,从电子产业产值变化曲线可以看出,第一次受到明显影响在1993年,正是美国夺回第一的次年。在美国切断技术支援与强势打开市场双重药剂下,日本电子产品出口值从1985年开始快速下降,到2000年电子产品出口值约1.5万亿日元,不及1985年峰值的一半。


3.2.2 对技术发展的判断失误,缺乏主动性

日本成功于DRAM,失败也在DRAM领域。沉迷大型机DRAM带来的成功忽略技术的改变,日本固执的将适用于大型机的DRAM技术深入发展,强调芯片的持续性与稳定性。但1980年后个人电脑、互联网等相继推出,以PC、移动手机为代表的消费电子时代到来,此时的芯片强调灵活、处理信息能力强等,并不要求非常长久的稳定性。1973年全球大型机出货量达到顶峰,之后慢慢萎缩而个人PC产值逐渐飙升,日本没有抓住技术需求变化主动进行产业调整,令韩国在同等领域以新技术超越。

3.2.3 韩国的崛起与固守的分工方式,缺乏灵活性

为分化日本实力,美国开始支援韩国与台湾。受到经济泡沫影响,银行低息借贷方式的筹资行为已不可行。加上市场份额逐渐被吞噬,固守IDM模式的日本企业负重累累,疲于投资再创新,“投资-技术创新-投资”逻辑线出现断裂,与竞争对手的差距被拉大,形成“技术差距-销量下降-无资金投资-技术差距扩大”的恶性循环。日本企业正是因为落后于市场的反应,被韩国夺走新型DRAM市场,被台湾依靠代工挤走更多制造份额。

四、韩国

韩国半导体在60年代外国厂商进韩建厂开始,利用当地廉价劳动力,进行简单的散件组装,技术非常低端,具有真正意义的发展在80年代,以韩国三星、LG、现代(2001年分离出为海力士)、和大宇(97年亚洲金融危机中破产)四大财阀开启。韩国抓住大型机到消费电子的转变期对新型存储器的需求,形成“财阀+政府+小企业”的国内产业结构。发展至今,韩国以22%(907亿美金)全球半导体市场份额成为仅次美国的半导体超级大国,三星更是超越英特尔成为全球第一半导体企业。区别其他国家地区以政府为主导(早期或者特定场景),韩国财阀的推动作用更为突出。主要原因为1)美日争霸期间,财阀主导的吸收模仿获得跨越式技术提升;2)财阀+政府联合,小企业依靠局面;3)不间断地对设备、材料、人才的投资。

4.1 美日争霸期间的“学习-模仿-超越”,储备知识与技术

在归国教授姜基东带领下,韩国拥有了16K DRAM生产技术,但是基础依旧薄弱,想要继续研制64K DRAM非常困难,这决定了韩国无法自主生产需要借助外力。通过向美国购买技术、设备、海外学习并建立实验室,韩国4年内就实现64K技术跨越。之后将相同战略复制到256K、1M生产中,逐渐缩小与日本的差距。

1986年后,美国开始向三星、现代与其他八家日企提出技术版权诉讼,韩国与日本均以赔偿而失败收尾。不得不面对技术短板的韩国政府决定成立类似日本VLSI的国家4M DRAM项目研究组,包括政府研究院、三家财团与六所大学,3年内耗费2.5亿美金,其中政府拨款57%。但不同的是,韩国联合研究团队各自为政,政府领导能力并不强,更多起到的是基金调配作用,研发任务也是企业内部完成。经过前期知识铺垫与政府资金支持,三家企业相互独立、竞争研究,韩国DRAM技术大大提升1994年全球第一推出256K DRAM,开启之后先人一步的DRAM战略。

期间,韩国芯片专利数量从1989年的708项激增到1994年的3336项,是其他国家总和的2倍之多,其中三星拥有2445项,现代拥有2059项。

4.2 财阀主导,中小企业依靠的产业结构

在财阀攻克后,韩国对半导体的热情高涨,众多中小企业纷纷进入。由于技术、资金等先决条件形成的门栏,这些企业较难突破三大财阀,衍变成为三星、海力士提供材料、设备、副产品加工的产业链结构。韩国半导体市场形成核心技术创造、上游设备材料供应、海外终端需求的完整链条。

尽管企业之间多有竞争,但粗略来看,韩国半导体产业可以视作三星、海力士等头部财阀的IDM模式放大版,形成以财阀主导带领中小企业出口海外的行业策略。期间政府的作用多半在资金、政策环境等提供条件,领导能力不如其他国家。

4.3 疯狂的对设备、材料、人才投资

半导体领域第一重要的为专业人才,第二就是材料设备,只有在这两方面大量储蓄才有可能实现技术升级。90年代日本在经济泡沫与美国双重打击下,多数企业已没有多余资金投入再研发,此时的韩国犹如饥饿的野兽,以重金疯狂吸引这些人才。正如NHK纪录片《重登顶峰,技术人员20年的战争》提到,即使如东芝一样著名日本领军企业,也遭受人才流失问题,其中70%被三星以三倍薪资挖走。

在政府基金、公司其他产业经营等支援下,韩国对半导体的投资逐年加大,即使全球半导体行业在09年金融风暴下不景气也持续加大投资力度。通过“投资-扩大生产-影响芯片价格”,韩国挤走众多竞争企业实现市场份额的进一步扩大。且因为2017年芯片价格的提升,三星反超英特尔成半导体第一企业。



金准人工智能 全球半导体产业报告(下)

随着经济与政策、相对廉价劳动力支撑,目前半导体产业逐渐向中国转移。正如开篇分析,半导体行业与宏观经济的强相关性将逐渐加强,我国每年的约6%GDP增速、例如集成电路产业投资基金等扶持政策都是推动我国集成电路发展的重要力量。以晶圆厂为例,据不完全统计,至2022年,包括海内外厂商约30座晶圆厂将在我国落地,主要聚集在上海、江苏和安徽一带。

 

6.2 启示

从两次半导体产业转移展现出的各国与地区经验来看,以美国为代表的领导者,依靠扎实的基础研究、倾斜性支持政策、游戏制定身份来长期维持行业垄断地位。以日韩台为代表的追赶者,则从每次产业变迁抓住需求变动,依靠产业政策或财阀领导实现跨越式升级。其中,日本的失败在于国家主权依赖程度高与对技术发展判断失误。

对此,金准人工智能专家认为中国需要:

1)强有力的政府领导作用。对待半导体行业,我国需开展类似对待“两弹一星”策略,即从行业整体规划出发,辅以相关税收减免、资金调配、技术与人才引进等政策。尽管我国近年加强对半导体行业的重视、将半导体集成电路列入发展纲要,但具体细节仍不够规范,例如设计产权法规不够明确、高科技企业税收减免定义存在漏洞等,这些都需要政府加强指引。

2)统筹规划产业发展方向、技术路线,统一目标与认知。半导体产业庞大,涉及支线众多,一个企业甚至一个国家无法做到全精通,对于尚在发展阶段的中国更是如此。目前我国并无明确组织或机构部门统一规划,出现三大产业发展较为平均却无突出点无重心:设计方面,增长快但核心芯片知识产权掌握程度低、IP供给率低;制造方面,设备材料依赖于人、及技术落后造成的遏制发展现象已经明显;封测方面,技术与利润始终处于产业链低端。例如美国主攻高附加值领域、日本韩国DRAM起家与台湾专精代工,我国需从产业现状出发明确发展方向,可以先加强制造,提升上游材料设备来提高制程技术、减少海外依赖,提升自主产权设计为最终目标来制定每三年或每阶段发展目标,统一各界认知,凝聚产业力量。

3)对比全球,继续加强投资。由于我国半导体发展晚、技术落后,对比其他国家,我国无论在设计人才培养、制造材料设备购买、封测技术升级的花费金额更甚。尽管在国家集成电路产业投资基金带领下,对60多个项目投约1400亿人民币,拉动整个产业投资,但长期发展留下的技术差异仍显不够。第二,投资无主攻目标。与产业整体无主要规划发展方向相同,投资方面也显得杂乱无章。从产业最大的集成电路产业投资基金来看,尽管投资总额大,但每个项目平均金额并不高,而且产业性质决定了无法全面优质发展,需要根据发展实情调配基金。

4)大力度培养人才。目前我国集成电路人才面临数量低、质量低和海外流出高的“两低一高”问题。据《中国集成电路产业人才白皮书》统计,我国2017年集成电路从业人员规模约40万人,其中设计类14万、制造类12万、封测类14万。但每年仅12%集成电路专业毕业生最终进入行业就业,数量约3万人,远少于需求端数量。据估计,到2022年我国集成电路人才缺口将达32万人。其次,面对行业发达国家教育、人才积累,我国缺乏复合型、经验型人才,并每年流出一定比例。对于此,国家或学校需发挥主导作用,吸引海外优质人才的同时,加强“产学研”形式的学校、企业与政府的互动,培养本土人才,提高人才待遇、改善就业环境。

5)建立区域性整体提高竞争优势,发挥群聚效应。美国的硅谷、韩国的京畿道区与台湾的新竹工业园区在各自国家与地区半导体发展做出巨大贡献。目前,我国半导体产业主要集中在上海、江苏、安徽等地区,有向中部的四川、湖北迁移趋势,但仍没有形成大规模区域整体。对此,学习美韩台经验,利用地理优势加强地区性产业规划来发挥群聚效应,联合配套设施、政策、教育、企业带动知识与技术的高效流动、活化资金,先以培养某些龙头来带动整个地区产业发展,集中力量办大事。

6)坚持政策自主,保持发展独立性。80年代美日两次签订的半导体双边协议,正是因为日本在军事与国防高度依赖美国而无法保持政策的独立自主,令日本尚未实现技术全方位压制就遭受打击,严重拖累日本半导体发展。因此,面对此次美国借贸易战名义打压遏制“中国制造2025”为代表的高科技领域,我们要坚持自主底线,不能受到外界压力丧失自主权。


金准人工智能 全球半导体产业报告(上)

前言

从整体来看,2017年全球半导体市场销售额达4122亿美金,同比增长21.6%,分为集成电路(83.25%)、光电子(8.45%)、分立器件(5.25%)和传感器(3.05%)四大类,集成电路连续数年领跑整个行业。从产业链来看,主要涉及电路设计、芯片制造与封测检验这三个环节。从运作模式来看,目前主流整合模式(IDM)与垂直加工模式。从上游设备材料消耗来看,第一被韩国(设备,31.71%)与中国台湾(材料,21.9%)包揽,中国大陆均排第三;但供给商方面,排名前十厂商被美日韩台垄断,占据市场份额90%以上,无一中国大陆企业。

半导体目前形成深化专业分工、细分领域高度集中的特点。从发展历史看,影响因素为两方面,宏观层面的全球经济波动与产业层面的转移变革。历史上两次成功的产业转移都带动产业发展方向改变、分工方式纵化、资源重新配置。也正是每次的变动,让后来者有切入机会,继而革新整个行业。因此,产业转移是技术进步、国家产业政策和企业发展规划的综合结果。以美国为代表的领导者,依靠扎实的基础研究、倾斜性支持政策、游戏制定身份来长期维持行业垄断地位;以日韩台为代表的追赶者,则从每次产业变迁抓住需求变动,依靠产业政策或财阀领导实现跨越式升级。其中,日本失败在国际政治和外交因素的压力下丧失了主导权与对技术发展判断失误。

详细来看:

作为技术的发源地,美国一度领导全球半导体与集成电路的发展。目前,美国半导体销售额为1889亿美金,处世界第一。除了1986-1991年期间被日本赶超,美国市场占比基本维持在50%。美国保持领先的原因为:1)扎实的基础研究奠定理论基础,时间积累突出研究深度;2)发明者的地位决定设计框架的国际使用,即游戏的设计者与规则制定者;3)国家意志推动,政府决定性地在资金、采购、政策规划、外交贸易等方面的突出领导作用。

日本半导体1986年DRAM市场占有率达80%反超美国成为世界半导体第一强国。成功在于1)初期美国的大力支持与经济复苏;2)大型机时代以“物美价廉”从DRAM市场切入赶超;3)政府在协调统一与贸易保护做出的巨大贡献。但90年代开始逐渐没落,主要因为1)经济几乎停滞,同时美国打破贸易保护;2)固守大型机时代的成功,没有根据行业发展进行主动调整,失去先机;3)固守的分工方式,在人力与资金上显得累赘,缺乏灵活性。

韩国与中国台湾大约同时发展,抓住大型机到消费电子的转变期对新兴存储器与代工产生的需求。截至2017年,韩国以22%全球半导体市场份额成为仅次美国的半导体超级大国,而台湾以76%市场份额占领全球代工市场。造成这一区别的主要因为韩国独特的财阀推动作用1)发展前期在美国帮助下,财阀带领的主动对新型技术模仿吸收;2)不间断地对设备、材料、人才的投资;3)中后期政府参与时,研发依旧由财阀内部完成,政府基本起到基金调配作用而并非领导作用。因为缺少资本雄厚财阀,众多中小企业的台湾主要在政府产业政策下发展1)抓住行业需求积极参与全球化分工;2)新竹园区聚集效应与海外人才的回流;3)包括工研院建立的政府政策、战略规划。

中国集成电路发展势头凶猛,第三次产业转移趋向中国。据金准人工智能专家统计,2017年我国集成电路产业销售额达5411.3亿人民币,同比增长24.81%。产业结构从“大封测-中制造-小设计”到“大设计-中封测-中制造”转型,从低端走向高端,展现我国集成电路发展的突破。但我国需求供给不平衡不匹配现象仍然严重,且将长期存在。进出口缺口比例长期保持50%以上,其中进口项目45%以上为微处理器与控制器,说明我国在核心芯片缺乏核心竞争力,需要依赖于人。

对我国的启示,无论领导者还是追赶者:1)强有力的政府支持作用。政府在发展初期的强力支持作用至关重要,从行业整体规划出发,辅以相关税收减免、资金调配、技术与人才引进等产业政策。2)大力度培养人才。目前我国集成电路人才面临数量低、质量低和海外流出高的“两低一高”问题。国家需发挥主导作用,加强“产学研”,提高人才待遇、改善就业环境,吸引海外人才、培养本土人才。从追赶者经验来看:3)统筹规划产业发展方向、技术路线,统一目标与认知。结合我国制造占比连年下滑与制造的重要地位,我国可以先大力发展制造业,再以提升设计能力,规划制定每三年或每阶段发展目标,凝聚产业力量,统一各界认知。4)对比全球,继续加强投资。对比其他国家,我国无论在设计人才培养、制造材料设备购买、封测技术升级的需要花费的金额更甚。并且需要根据产业规划,明确投资主要方向,不能杂乱无章。5)建立区域整体,发挥群聚效应。学习韩台经验,利用地理优势加强地区性产业规划来发挥群聚效应,联合配套设施带动知识与技术的高效流动、活化资金。从日本失败经验来看:6)坚持政策自主,保持发展独立性。吸取美日两次双边协议教训,面对此次美国借贸易战名义打压遏制“中国制造2025”为代表的高科技领域,金准人工智能专家认为要坚持自主底线,不能受到外界压力丧失自主权。

此次中兴事件无疑给国人敲响警钟,结合我国半导体产业现状事情,金准人工智能专家认为,应抓住此次产业转移趋势来提升我国高科技制造、设计能力,最终提高国家竞争力。

一、半导体行业整体情况

1.1 细分领域、产业链与运作模式

以中兴禁令为启,此次中美贸易战,实质是美国打着贸易的旗号试图对“中国制造2025”为代表的高科技领域进行打压与遏制。代表之一的半导体,其历史最早追溯到19世纪30年代,经过长达一个世纪的研究,直到1947年美国贝尔实验室发明了更具实用价值的晶体管,人类才开启电子时代并向信息时代前进。可以说现代的大多数文明,例如家电、PC(个人电脑)、智能手机等,都需依靠半导体行业。

从类型来看,半导体可以分为集成电路、光电子、分立器件和传感器这四大类。尽管占比有下滑趋势,集成电路依旧以超80%市场份额领跑,细分包括储存器(36.12%)、逻辑电路(29.78%)、模拟电路(15.46%)和微处理器(18.63%)。

从整体来看金准人工智能专家根据世界半导体贸易协会(WSTS)数据显示,2017年全球半导体市场销售额达4122亿美金,同比增长21.6%,背后主要推动力来自集成电路与传感器的强力增长:得益于DRAM(动态随机存取储存器)、NAND闪存等储存器爆发,集成电路2017年增速为24.03%;因物联网、智能控制、汽车应用、图像识别等强劲需求驱动,传感器市场去年增速为16.17%。

从产业链来看,主要涉及电路设计、芯片制造与封测检验这三个环节。生产流程主要是以电路设计为主导,IC设计商根据客户需求把系统逻辑和性能转换成物理图谱,然后委托芯片制造商从原材料,经过提纯、单晶硅柱、分片、蚀刻等过程制成晶圆(排列着集成电路的硅晶片),再送到封装厂完成电路封装、测试的最后步骤,最后进行销售。

从运作模式来看,目前主流两种运作模式,即整合模式与垂直加工模式。整合模式又称IDM(Integrated Device Manufacturer),早期的芯片企业多为IDM,以英特尔与三星为代表业务范围覆盖整个产业链。但根据摩尔定律,同等价格下,集成电路上容纳的晶体管元器件数目每18-24个月翻一倍,性能也随之提升一倍。这一定律揭示了半导体行业发展迅速的同时,也暗示整个行业需要不停的投入新型材料与仪器研发更高性能芯片。为了减轻投资压力与降低失败风险,上世纪九十年代开始,IDM逐渐拆分成单环节加工,形成以设计为主的Fabless模式、晶圆代工Foundry模式和纯封测检验模式。

1.2 市场规模

金准人工智能专家据半导体工业协会数据发现SIA),2017年上游材料端市值约470亿美金,排名第一的为中国台湾,以21.9%市场份额连续八年夺冠;中国大陆发展迅速,对比2011年增长56.8%。但最为重要的硅晶圆供应市场却被日本包揽一半,排名前五供应商占据全球94%市场份额,较去年增长一个百分点,垄断日益加剧。



设备方面2017年全球设备共投资566亿美金,韩国以179.5亿美金首次超越台湾成为全球设备花费最高国家,主要原因在于今年存储器的暴涨带动DRAM相关产业链增长,韩国作为DRAM产出第一国家的收益最高。中国大陆以27.4%增速展现对制造环节的投资热情,排全球第三。与材料供应市场类似,设备供应市场90%以上被欧美日韩垄断,且前十厂商均有较高的营收增长,其中韩国SEMES以142%增速成为全球涨幅最高供应商。

因为拥有英特尔、三星、海力士等全球前十公司,IDM市场规模远大于Fabless市场规模,但两者差距逐渐缩小。Fabless与IDM规模比从1999年的7.67%提升到2017年的38.66%,说明行业产业链全球纵向延伸加剧。终端应用方面,智能手机依旧是第一大场景,占整体32.28%。虽然智能手机市场逐渐饱和,出货量连续下滑,智能手机市场对半导体需求依然保持较高水平。另外,5G、人工智能、物联网、汽车电子等快速发展也大力度推动整个半导体芯片市场。


1.3 影响因素:宏观层面的全球经济与产业层面的转移变革

作为资金与技术高度密集行业,半导体目前形成深化的专业分工、细分领域高度集中的特点,因此半导体受全球经济影响波动较大,且相关性越来越强。分析1980-2022年期间全球经济与半导体行业之间的相关系数可以发现,除去90年代全球半导体行业处于整合模式向垂直加工模式转移,其他期间显示出全球经济对半导体行业强力拉动关系,而这一趋势未来表现更甚,相关系数逐渐向1靠拢。主要原因为两点:

1)垂直模式日趋成熟,产业链更细化。细化分工的产业链除了降低投资风险、提高环节操作效率与最终产品良品率,更重要的是给新玩家一个进入行业的切入点,例如技术水平较低的封装检测、设计突出的Fabless等。对比早期IDM形式,各自环节深化有效降低资本支出在销售的比例,企业盈利得到一定保障。

2)大规模兼并收购带来细分领域的龙头效应,议价能力增强。为了保障企业技术水平、研发进度领先,并拥有一定的市场份额,半导体自2000年开始进行一定规模的兼并收购,整体交易金额在2015年达至顶峰为1073亿美金。大量高频的行业并购降低制造商与供应商数量的同时,使“强者越强”。2017年的并购行为放缓也侧面说明,行业的成熟令各自领域的龙头效应明显,更多的并购已无法带来更好的边际效益。

从历史进程看,全球范围完成两次明显的产业转移:第一次,十九世纪70年代从美国转向日本。十九世纪50年代,晶体管诞生于美国,后续发明影响行业的革命性芯片与商业应用,例如英特尔4004、英特尔8088、IBM个人计算机等。出于经济与政治因素考虑,70年代向日本提供技术与设备支持,产业转向日本,日本半导体一度跃至世界第一。为了抵制日本发展夺回半导体行业话语权,美国开始向韩国台湾等地提供支持,第二次,产业从80年代开始转向韩国与台湾。为了降低设备、人力等成本,目前,产业逐渐转向中国大陆。是什么支持这些国家与地区半导体行业发展如此蓬勃?他们又是如何抓住机遇?我们后续根据国家一一分析。

二、美国

作为技术的发源地,美国一度领导全球半导体与集成电路的发展。金准人工智能专家统计数据显示,美国半导体销售额以平均5.02%增速从1997年的709亿美金增至2017年的1889亿美金。除了1986-1991年期间被日本赶超全球公开销售市场份额一度跌至35%,美国市场占比基本维持在50%,处于世界第一,且在中日美欧等国家均占据重要地位。

尽管如此,美国半导体发展并不是一帆风顺,也曾面临过二战时期经费短缺与八十年代被日本打败等窘境。为此,美国成功化解危机并保持世界第一的位置,除了我们在《中美科技实力对比:体制视角》所提及的强大资金基础、高质量人才汇集、包括产学研为代表的创新创业精神与科研人员高效流动的科技体制外,我们认为还有以下几点1)扎实的基础研究奠定理论基础,时间积累突出研究深度;2)发明者的地位决定设计框架的国际使用,从而进一部强化国际地位;3)政府决定性地在资金、采购、政策规划、外交贸易等方面的领导。

2.1 基础研究扎实

美国对基础研究无论在深度还是广度都首屈一指。长期积累的物理、数学、化学实力是微电子学、电力学发展基础,二战后,在国防部支持下,美国基础学科受到高度重视,继承德法英研究的美国半导体正是此期间高速发展。以肖克利及“八叛徒”为代表的行业领军人物,大胆设想、不断钻研,令美国成为第一个发明半导体与集成电路的国家,极大带动美国研究热情。此后由国家科学基金委员会(NSF)带头,资助国家基础研究项目与科学教育,促进研究成果的同时大范围培养人才,加深基础研究,形成“研究领先-拥有人才培养实力-更多人才投入-积累突破”的良性循环。

资金支持力度上,美国保留了自二战以来对基础研究支持的传统。从研发支出结构来看,除全球金融危机时期,美国基础研究投入以较为稳定速度增长,且逐渐追平应用研究投入,占总研发支出的16.86%,而中国这一数字仅为5.45%。除了每年美国国家科学基金会固定投资的几项基础项目外,美国先后投入十数亿美金实施“超越摩尔定律的科学与工程”(SEBML)、“国家纳米技术”(NNI)等计划以维持自身在全球范围内的领导地位。

2.2 游戏制定者

从历史来看,晶体管、集成电路、大型集成电路、超大型集成电路、个人电脑、智能终端等发展,美国不是技术发明者就是行业领导者。“第一款产品”意味着开拓无人占领的新兴市场,也意味着对后来者设定市场准则。换句话说,高科技领域,一款新型产品的收益远不止销售所展现的数字,更多是身为游戏制定者与裁判双重身份所带来潜在好处。这也是美国在半导体甚至其他行业能展现出超强实力的重要原因之一。

以英特尔为例,Wintel(Windows+Intel)模式占据pc时代市场半壁江山,尽管影响逐渐下降,但对众多厂商造成的挑战始终存在。主要原因在于英特尔对指令集与微架构的长期统治。指令集(Instruction Set Architecture,ISA)为转化操作任务成CPU(中央处理器)可以理解的底层代码的一项硬程序,这一过程又叫做编译(compile)。微架构(microarchitecture)即设计者对芯片处理频率、运输速度、耗能水平等的体现,拥有微架构设计能力也等于拥有CPU自主知识产权。以书本比喻,微架构能力是作者整体绘图写作、思想意图的体现,而指令集是为不同国家读者按照一定标准的翻译器,通过这些过程,全球读者才能阅读到这本书。同一本书可以按照不同标准来翻译,因此出现了不同的指令集,最为著名的是英特尔x86、ARMv8、MIPS等。同理,一种翻译标准也可以翻译不同种类的书形成不同微架构,其中以低耗能ARM(英国公司)Cortex与高性能英特尔Core系列为主。

虽然在ARM移动处理联盟(手机厂商为主,包括华为、三星、苹果等)的围剿下,注重计算机市场的英特尔控制力有所下降,但据IC Insight数据显示,英特尔依旧全面占据2017年计算机处理器市场,算上平板电脑与手机应用处理器,英特尔x86占据超60%微处理器市场。作为最早推出的指令集x86,抢占先机制定标准,其余企业研发CPU时都需要考虑x86的兼容问题是其长期制霸的原因。另外,英特尔通过对少量企业授权AMD、Cyrix(已被收购)、IDT等),或进行同等价值的技术交换来拉长自身发展优势。第三,与windows建立的软件生态,吸引后来设计者的同时加强行业影响力。

其余细分领域,例如专攻某项能力的ASIC、FPGA等,都是类似“抢占先机-制定规则-扩大市场-再投资-辐射影响”逻辑令美国在半导体行业全球领先。

2.3 举重若轻的政府角色

半导体发展符合“刺激-反应-发展”的规律。与美国传统提倡的“市场经济”、“自由发展”所不同,美国政府进行过多次直接或间接关键性政策干预,直接行为为政府采购、政府资金支持、相关法律政策、外交贸易,间接行为为影响技术发展方向、市场需求与市场竞争。

2.3.1 技术方向、资金支持与政府采购

技术发展初期,即20世纪50年代至70年代,政府既是技术发展的提出者,又是资金提供与产品采购者。一项新技术的发明存在资金与风险双高情况,私人企业无法承担,政府在有明确需求下的大力支持可以很好的缓和企业风险,为技术创新准备充分条件。

作为军方的技术支持,早期各大企业与实验室的研发多基于政府需求,因此,政府对技术发展方向影响重大。因战争产生的对电子信息技术“高效、快速”要求,催生了晶体管的诞生。但第一枚晶体管原材料锗的化学性能在高温条件下不稳定且产量有限,促使了硅材料的使用。其次,军方对元器件线路庞大复杂、故障率高提出了“微型、轻便、高效”要求,激发研发小型整合体,这也是1959年德州仪器实验室发明集成电路的直接动机。

再者,政府的资金支持与大规模采购加快技术发展与产品商业化,其中空军支持率最高。研发经费分政府经费与民间经费,政府经费又分直接拨款与承包合同两种主要形式,而承包合同贡献率更强。据美国商务部数据统计,1958-1964年期间,平均每年研发经费来自政府的比例约85%(除1956年),1958年政府直接拨款400万美金,承包合同费用则高达990万美金。集成电路发明后的六年内,政府对其资助达3200万美金,70%来自空军。合作内容包括德州仪器115万美金的两年半的技术研发、德州仪器210万美金的500个集成电路生产能力、西屋公司的430万美金的电子产品生产等。在产品得到初步回报后,政府降低采购与资金力度,转接给个人与企业投资者,再借助市场效应扩大规模。

2.3.2 特殊时期的外交与贸易手段

到了发展中期,日本以DRAM储存器为切入点,无论从产量、技术还是价格优势均反超美国,从“后来者”逆袭为世界霸主。对此,美国政府迅速做出了战略调整,包括最为著名的《美日半导体贸易协议》The U.S-Japan Semiconductor Trade Agreements)与SEMATECH联盟(美国半导体科技与制造发展联盟)。

双边协议签订背景是日本抢走部分高科技领域而引发美国对自身发展的担忧。美日双边协议取消日本贸易壁垒扩大市场、同时遏制对手发展。80年代前全球销量最高半导体公司被美国所垄断,包括国民半导体、德州仪器、摩托罗拉等,到1986年全球前十公司有6所来自日本,前三强更是易主为日本电气、日立、东芝。为此,联邦政府开始在1985年与日本进行谈判,以“反倾销”名义令日本政府调整产业政策,主要要求为1)至1991年底,非日本企业生产的半导体器件与芯片在日本销量必须占日本市场总销量的20%(之前日本政府保护下为10%以下);2)禁止日资在美投资并购;3)建立价格监督机制,禁止第三国反倾销。从出发点与申诉点来看,都与今年中美贸易战有所相似,但不同的是,依赖美军保护与国防需求,日本在1986年签订了协议。由于当时众多美国企业为区别日本低价竞争,转向ASIC(某种特殊目的的定制芯片)等高技术高附加值市场,双边协议带来的效益不算很大。协议过后,日本全球市场份额与DRAM市场份额变动不大,依旧处于美国之上。对此美国于1989年再次与日本签订贸易协议,条款扩大至专利保护与专利授权等,对此,日本不得不令本国企业开始采用美国框架与产品。数据显示,1996年非日企业半导体产品在日本市场份额升至30%,其中75%来自美国。

SEMATECH整合资源,提高信息、技术与人才交流。尽管美国对产业做出调整改变分工方式,转向ASIC定制市场形成Fabless运营模式,但基础技术、设备、材料的劣势不能忽视,对比日本“价廉物美”,美国急需提高制造工艺降低成本,SEMATECH为此发挥了巨大作用。1987年,政府发挥主导效仿日本大规模集成电路技术合作联盟经验(VLSI计划,日本篇细讲)联合英特尔、德州仪器、IBM、摩托罗拉等在内的共11家公司建立SEMATECH,旨在增强美国国内半导体制造与原材料等基础供应能力。在国防部高级研究项目机构(DARPA)领导下,11家企业除了互通有无,更是加强了与设备制造厂商之间的合作,包括1)委托开发设备;2)改进现有设备;3)制定下一阶段技术发展战略;4)加强信息交流。其中最重要的是新设备开发,占总预算的60%,项目集中在金属板印刷技术、蚀刻、软件及制造等。统一规划合理配置资源的同时,降低研究与实验的重复性,改善企业无主攻方向问题并大大提升制造能力与材料研发进程。因此,美国1992年重新夺回世界第一。市场方面,美国国内对美产新设备采购意愿从1984年的40%提升1991年的70%,1992年美国应用材料公司成为全球最大设备材料供应商,并保持至今;技术方面,日本终端芯片对比美国的相对成品率从1985年的50%下降到1991年的9%,1993年SEMATECH完成0.35微米的电路制造。

2.3.3 相关立法与优惠政策

注重法律保护的美国,在半导体方面实施了多项政策贯穿全程,直接或间接的影响半导体行业在融资、投资、税收、专利保护、科技研发等方面的进程。形式可分为减免所得税、企业低税率、额外费用减扣、亏损结转、所有权保护、打击恶性竞争等。

以《经济复兴税收法》为例,企业研发费用不作为资本支持而作为费用抵扣,如当年研发开支超过前3年平均值,超出部分给予25%税收减免,企业用于新技术改进的设备投资可以按照投资额10%进行所得税抵免。这一法案的实施,减免企业营业压力的同时增加企业创新研发动力与研发强度。

针对早期芯片行业版权混乱现象,美国出台专门也是当时世界第一部的《半导体芯片保护法》,进行注册后的集成电路权利人可以在10年内享有该作品的复制、发行等基础权利,也享有对恶性抄袭复制者的追诉权,即使没有注册,设计者也在2年内享有权利。但是《芯片法》不反对反向工程(通过现成产品进行设计复原),也一定程度的促进市场竞争。这部创新性的保护法案也影响了其他国家集成电路的专利保护,更是影响了世界知识产权组织(WIPO)修订《集成电路知识产权条约》与世界贸易组织(WTO)修订《与贸易有关的知识产权协议》。

三、日本

从时间来看,日本半导体大致始于20世纪50年代,1950-1960年积极储备、酝酿实力;1970-1986年迎来黄金时代,1986年DRAM市场占有率达80%反超美国成为世界半导体第一强国,半导体产业逐渐从美国转向日本;1990-2000年逐渐没落,现今已经没有一家日本企业专注于DRAM市场了,可谓成也萧何败也萧何。80年代至90年代可谓日本半导体重要分界点,金准人工智能专家认为有四条原因促使日本成功,也有四方面因素令日本不复当年辉煌。

3.1 令人震惊的成功

3.1.1 美国支持与日本战后经济复苏,为技术发展提供良好环境

初期,即20世纪50年代至60年代,日本的发展离不开美国的支持,主要体现在经济复苏与技术授权。20世纪50年代,美国爆发对朝鲜战争,军需大大提高,作为美国“远东兵工厂”的日本凭借此次机会,迅速积累技术与财富,修复二战后科技与经济落后的差距。此后的美苏争霸,日本再次充当美国背后支持储备角色,支援的同时靠着美国提供的工业技术,充实自身基础,家电行业的腾飞也正是这些行为的结果。日本从“军转民”正式进入经济高速发展阶段,GDP在1955-1980年期间保持超10%增速增长,这不过花费约10年。

“引进-消化-改良”快速缩短与美国之间的差距。发展一项技术最快的方法就是学习模仿,因此日本实行产业标的(Industry Targeting)政策紧盯西方国家开始大量技术引进。半导体行业最早发生在1962年的日本电气公司引进仙童的平面集成电路制造技术,结合自身反向工程,成功实现集成电路量产。再在政府要求下传授给其他日企,将日本集成电路芯片制造能力逐年翻倍,成功实现硅晶体管的商业化与市场化。

3.1.2 政府角色

区别美国政府强硬作用,疲弱的日本军方无法复制类似美方在初期对半导体产业强力的技术指引与需求拉动,日本政府起到更像是整合规划带头的角色。

1)集合资源,整体规划,统一认识。不同于美国半导体企业大多单纯从事集成电路或者其他电子领域,日本企业大多有另外产业,整体规划稍显混乱,例如东芝的家电事业部、精工的腕表事业部、索尼的相机事业部等。进入到“轻薄短小”发展时期(早期是以钢铁煤炭为代表的“厚重生长”到70年代电子半导体“轻薄短小”),以通产省为代表的日本政府,发挥了资源与资金协调、加强企业与政府之间信息沟通与调整产业发展方向的作用。例如,为了解决IBM 370系统及1M存储器进入日本市场后带来的压力,通产省联合日本电气、日立、富士通和东芝五家企业在1976年组成为时4年的超大规模集成电路项目(VLSI),总投资2.36亿美金,其中政府出资45%。VLSI主要分为五家企业共同研发的基础共性技术与内部单独研发技术两条不同线路,目标为10年内提升DRAM技术,包括短期64K与256K与长期1M目标并实现量产。1980年VLSI计划宣布结束时,共获500多项联合专利与1200多项工业专利,极大的提升日本整体集成电路水平,也为日本在80年代以DRAM为切入点成为世界第一强国奠定技术基础。从该项目可以看出,虽然项目研发还是以企业为中心,但是政府在联合研究基础共性技术方面发挥带头与协调作用,并在专利保护、研发成果免费向成员公司转移等方面促进了知识高效流动。

2)民企拉动内需,“物美价廉”打开外需。正如上述,日本政府无法直接拉动半导体需求,因此出相关采购政策间接影响采购。主要行为包括强制政府与私人企业合营电子信息公司每年采购国产半导体达总采购量的80%、刺激家电产业来侧面提高半导体需求等。以日本电子计算机公司(JECC)为例,在政策支持下,JECC计算机采购量从1961年的300万美金升至1981年的23亿美金。足够大量的需求保障令日本电子产业发展初期在面对外国品牌攻击有了一定的自保能力。

经过十多年的铺垫,日本制造能力完成从“价廉物劣”到“价廉物美”转型,并依靠廉价劳动力获取大部分海外市场。从惠普公司1983年发布的一项DRAM芯片调查发现,1980年前日本芯片良品率是美国同等产品的5倍。与此同时,日本1960-1980年制造业平均小时工资为1.73美金而美国为3.8美金,日本仅为美国的约45%。

3)贸易保护为主的政策与资金支持。与美国类似,日本也出台一列相关政策,但更倾向贸易保护。代表性的为1957-1971年《电子工业振兴临时措施法》、1971-1978年《特定电子工业及特定机械工业振兴临时措施法》、1978-1985年《特定机械情报产业振兴临时措施法》。这些法案出发点1)从人才、资金、基础设备等为电子产业提供环境条件;2)限制外资,且海外产品市场占有率不得高于10%;3)以欧美为参照系,模仿学习再自研最新技术。这些法案的执行,令日本在完全拥有一流的自我研发技术之前,对幼稚产业(infant industry)的半导体发展起到时间和市场规模的缓冲。

3.1.3 抓住大型机时代对DRAM强力需求

得益于计算机的发明和普及,储存技术迅速发展,在摩尔定律下约每3年对DRAM需求翻倍。经过类似VLSI等项目发展,日本64K DRAM研发进度与IBM、德州仪器等美国公司持平,到了1985年256K DRAM研发进度赶超美国,日立与富士通率先量产上市。日本抓住大型机对基础存储技术的需求,以DRAM为切入点将日本半导体影响力辐射到全球。

3.2 令人错愕的衰败

3.2.1 失去的“二十年”与美国的双重打击

到达巅峰之后的日本并没有延续辉煌,而是渐渐江河日下。首先,作为强力支持的整体经济,受到亚洲金融风暴与日本经济泡沫影响,在1998年后开始出现负增长。其次,失去主权与美国签订的双边协议影响逐渐凸显。第一,《广场协议》推高日元降低美金,从1985年后的几年内,美日汇率从240日元降低到120日元,令日本出口优势不再。第二是美日半导体双边协议的作用,从电子产业产值变化曲线可以看出,第一次受到明显影响在1993年,正是美国夺回第一的次年。在美国切断技术支援与强势打开市场双重药剂下,日本电子产品出口值从1985年开始快速下降,到2000年电子产品出口值约1.5万亿日元,不及1985年峰值的一半。

3.2.2 对技术发展的判断失误,缺乏主动性

日本成功于DRAM,失败也在DRAM领域。沉迷大型机DRAM带来的成功忽略技术的改变,日本固执的将适用于大型机的DRAM技术深入发展,强调芯片的持续性与稳定性。但1980年后个人电脑、互联网等相继推出,以PC、移动手机为代表的消费电子时代到来,此时的芯片强调灵活、处理信息能力强等,并不要求非常长久的稳定性。1973年全球大型机出货量达到顶峰,之后慢慢萎缩而个人PC产值逐渐飙升,日本没有抓住技术需求变化主动进行产业调整,令韩国在同等领域以新技术超越。

3.2.3 韩国的崛起与固守的分工方式,缺乏灵活性

为分化日本实力,美国开始支援韩国与台湾。受到经济泡沫影响,银行低息借贷方式的筹资行为已不可行。加上市场份额逐渐被吞噬,固守IDM模式的日本企业负重累累,疲于投资再创新,“投资-技术创新-投资”逻辑线出现断裂,与竞争对手的差距被拉大,形成“技术差距-销量下降-无资金投资-技术差距扩大”的恶性循环。日本企业正是因为落后于市场的反应,被韩国夺走新型DRAM市场,被台湾依靠代工挤走更多制造份额。

四、韩国

韩国半导体在60年代外国厂商进韩建厂开始,利用当地廉价劳动力,进行简单的散件组装,技术非常低端,具有真正意义的发展在80年代,以韩国三星、LG、现代(2001年分离出为海力士)、和大宇(97年亚洲金融危机中破产)四大财阀开启。韩国抓住大型机到消费电子的转变期对新型存储器的需求,形成“财阀+政府+小企业”的国内产业结构。发展至今,韩国以22%(907亿美金)全球半导体市场份额成为仅次美国的半导体超级大国,三星更是超越英特尔成为全球第一半导体企业。区别其他国家地区以政府为主导(早期或者特定场景),韩国财阀的推动作用更为突出。主要原因为1)美日争霸期间,财阀主导的吸收模仿获得跨越式技术提升;2)财阀+政府联合,小企业依靠局面;3)不间断地对设备、材料、人才的投资。

4.1 美日争霸期间的“学习-模仿-超越”,储备知识与技术

在归国教授姜基东带领下,韩国拥有了16K DRAM生产技术,但是基础依旧薄弱,想要继续研制64K DRAM非常困难,这决定了韩国无法自主生产需要借助外力。通过向美国购买技术、设备、海外学习并建立实验室,韩国4年内就实现64K技术跨越。之后将相同战略复制到256K、1M生产中,逐渐缩小与日本的差距。

1986年后,美国开始向三星、现代与其他八家日企提出技术版权诉讼,韩国与日本均以赔偿而失败收尾。不得不面对技术短板的韩国政府决定成立类似日本VLSI的国家4M DRAM项目研究组,包括政府研究院、三家财团与六所大学,3年内耗费2.5亿美金,其中政府拨款57%。但不同的是,韩国联合研究团队各自为政,政府领导能力并不强,更多起到的是基金调配作用,研发任务也是企业内部完成。经过前期知识铺垫与政府资金支持,三家企业相互独立、竞争研究,韩国DRAM技术大大提升1994年全球第一推出256K DRAM,开启之后先人一步的DRAM战略。

期间,韩国芯片专利数量从1989年的708项激增到1994年的3336项,是其他国家总和的2倍之多,其中三星拥有2445项,现代拥有2059项。

4.2 财阀主导,中小企业依靠的产业结构

在财阀攻克后,韩国对半导体的热情高涨,众多中小企业纷纷进入。由于技术、资金等先决条件形成的门栏,这些企业较难突破三大财阀,衍变成为三星、海力士提供材料、设备、副产品加工的产业链结构。韩国半导体市场形成核心技术创造、上游设备材料供应、海外终端需求的完整链条。

尽管企业之间多有竞争,但粗略来看,韩国半导体产业可以视作三星、海力士等头部财阀的IDM模式放大版,形成以财阀主导带领中小企业出口海外的行业策略。期间政府的作用多半在资金、政策环境等提供条件,领导能力不如其他国家。

4.3 疯狂的对设备、材料、人才投资

半导体领域第一重要的为专业人才,第二就是材料设备,只有在这两方面大量储蓄才有可能实现技术升级。90年代日本在经济泡沫与美国双重打击下,多数企业已没有多余资金投入再研发,此时的韩国犹如饥饿的野兽,以重金疯狂吸引这些人才。正如NHK纪录片《重登顶峰,技术人员20年的战争》提到,即使如东芝一样著名日本领军企业,也遭受人才流失问题,其中70%被三星以三倍薪资挖走。

在政府基金、公司其他产业经营等支援下,韩国对半导体的投资逐年加大,即使全球半导体行业在09年金融风暴下不景气也持续加大投资力度。通过“投资-扩大生产-影响芯片价格”,韩国挤走众多竞争企业实现市场份额的进一步扩大。且因为2017年芯片价格的提升,三星反超英特尔成半导体第一企业。

五、中国台湾

Bloomberg BusinessWeek曾这么形容台湾的半导体事业,“在全球半导体产业的地位无可取代,如同中东石油在全球经济的角色”。从时间来看,台湾与韩国大约同时发展,在80年代台积电首创Foundry模式后,以代工切入迅速攀升国际地位。随着产业发展与技术提升,90年代以晶圆代工为主逐渐完善上中下游产业链。据统计,2017年台湾IC产业总产值27623亿新台币(约898亿美金),IC制造占49.5%,其中88.15%为晶圆代工,占全球代工市场的76%。台湾半导体区别于韩国的崛起方式主要因为1)抓住行业需求积极参与全球化分工;2)新竹园区聚集效应与海外人才的回流;3)包括工研院建立的政府政策、战略规划。

5.1 全球化分工

类似韩国的发展路径,台湾依靠早期给在台建厂的美日厂商做基础低端加工起步,积累所需知识与技术。80年代末,抓住美国逐渐转向Fabless模式推行全球纵向分工的机会,将利润不高、投资金额大的芯片制造、封测转进岛内。初期,台湾在设计、制造、测试和封装四个环节都有相应发展,但最终与韩国不同的主要原因在于1)技术始终落后,当时在台的美日厂商愿意授权的仅为封测技术,缺少核心设计环节;2)韩国财阀可以依靠运营其他产业来给半导体行业提供资金支持,但台湾的中小企业仅从事半导体,90年代的两次芯片价格下跌对台湾都造成巨大影响。因此,无领军企业的台湾融资能力与抗压能力次于韩国;3)台积电foundry模式的成功具有意义性质的示范作用,岛内其他企业可以依照台积电复制成功。

全球代工模式可以迅速获得专利授权并打开市场,错开与美日产业链有效降低与强国的竞争。因此,台湾积极参与代工把产业链延伸到岛内,同时发挥生产成本优势规模经济,成功巩固了全球代工地位

5.2 政府政策、战略规划

金准人工智能专家认为台湾当局在半导体行业发展起到以下三方面作用:

1)技术引进与招商引资。最早的技术引进为1977年与美国RCA公司合作的7微米CMOS技术转让,并建立第一家半导体示范工厂,完成技术消化到实际生产能力。之后,通过民间技术转让来吸引民间资本投资再带动海外资本入岛,活化岛内产业资金来源、发挥引导聚集作用。

2)整体规划与政策支持。针对台湾当时技术与资金情况,最早提出“积体电路计划草案”。之后政府主导代工的发展方向,并在后期逐渐丰满其他产业环节,提出例如“两兆双星”的发展目标。在发展过程中,辅以人才优惠,高科技企业税收减免等大力度倾斜性扶持政策。据统计,台湾每年对创新技术的资助金额占总规划的20%以上。

3)建立工研院,实行技术指引与组织交流职责1974年台湾效仿美国硅谷产学研模式建立电子工业研究中心,即工研院的前身。工研院主要职能为领头规划,加速人才与技术流通。此外,工研院还担任最新技术研发工作,例如1975-1979第一期专案计划的CMOS技术、1983-1987超大集成电路计划的1-1.5微米制造与封测技术等。通过自身技术研发或引进,实现生产能力后再转让给民间其他企业,提高台湾整体半导体技术。最重要的是,工研院还扮演孵化器角色,台湾第一家设计与制造公司联华电子(1979年)、全球最大晶圆代工厂台积电(1987年)、第一家8英寸生产线世界先进半导体公司(1994年)等均由工研院分衍出来。

5.3 产业园区的聚集效应与人才回流

为了加强工研院影响能力、调整岛内经济结构,台湾当局1976年筹建以半导体为核心的新竹科技园区,并于1980年完成。首先,新竹园区从产业多方面吸引高科技企业来园区发展。管理方面,通过《科学工业园区设置管理条例》等进行专项规划管理;税收方面,园区规定新办企业在9年内可任选连续5年免征所得税,5年后每年营业所得税不超过20%;风投方面,开设政府“开发基金”,从1985到1990年共划拨24亿新台币设立种子基金,也鼓励例如宏大风险基金的民间投资。其次,发挥地理优势加强信息技术沟通、互相竞争来提高台湾整体核心竞争力。这点在台积电、联华电子、宏基等台湾半导体领头厂商驻入后愈发明显,从某个企业单纯的代工模式到产业链全环节分布,形成联合生产群。第三,海外人才的吸引、高校的合作提供丰富人才储备。海外人才方面,台湾当局1985年在硅谷设立办公室,监测学习先进技术的同时召集华裔工程师,台积电创始人张忠谋正是以此被请回台湾。1983-1997年,海外人才以平均42%增速回到台湾,得益于此,这段时间的台湾制程技术不断提升。高校方面,与台湾清华大学、台湾交通大学、台湾电子技术研究院、中华工学院等众多大学和研究机构合作,为新竹园区培养了一大批储备人才。

目前,新竹园区共487家企业,半导体相关企业占64.27%,销售额占比高达90%以上,仅集成电路一项就支撑起台湾半导体产业销售额的31.25%,其重要程度不言而喻。

六、对中国大陆的启示

6.1 目前发展迅猛但技术自主能力不强,供需不平衡

中国集成电路发展势头凶猛。金准人工智能专家统计数据,2017年我国集成电路产业销售额达5411.3亿人民币,同比增长24.81%。从产业结构来看,设计、制造与封测三大产业增速均高于去年同期。设计业占比逐年攀升,产业结构从“大封测-中制造-小设计”到“大设计-中封测-中制造”转型,产业链逐渐从低端走向高端,展现我国集成电路发展的突破。

我国需求供给不平衡不匹配现象仍然严重,且将长期存在。2015年起,集成电路超越原油成为我国第一大进口商品,2017年出口金额663亿美金,较进口2579亿美金存在1916亿美金缺口,缺口比例(缺口额/总进出口额)长期保持50%以上。从产品种类来看,微处理器与控制器长期占45%以上进口额,说明我国在CPU、MPU等核心器件芯片的自主设计生产能力依旧薄弱,需要依赖于人。

金准人工智能分享在金融行业深度学习的技术应用

前言

金准人工智能专家主要从主流深度学习算法在金融量化领域的局限性、解决方案探索、树模型在可解释性探索上的贡献、敏感性分析在可解释性上的价值、基于深度学习的低频事件学习五个方面介绍,首先讲一下主流深度学习算法在金融领域的局限性,然后针对这些局限性所做的探索解决方案,以及在探索过程中主要围绕可解释性和低频学习这两点的展开讲解。

一、主流深度学习算法在金融量化领域的局限性

金融领域面临的问题可能和传统互联网公司面临的问题可能不一样,比如深度学习可以大致分为三块:卷积神经网络、递归神经网络、深度神经网络。其优缺点都应该很明显,简单讲卷积神经网络对空间结构相关性的探索比较强,递归神经网络对时间相关性探索(时间序列)较强,深度神经网络在全局相关性探索较强。它们的主流应用都集中在计算机视觉、自然语言处理等方向,特点是先验知识很鲜明。要识别猫或狗,其特征很明显,可以构建这样的数据集,在自然语言方面,词汇是有限的,文章也是可以无限挖掘。但是在金融领域,绝大部分没有先验知识的,不知道样本的特征区分好不好,有时通过长期的积累可能会知道知识比较明显。比如信用方面,一个人总是不还款就有问题,这可能是一个比较好的先验知识,但是这样的知识非常少,无法发掘。同样的我们无法造数据,如果要对宏观经济走势的预测或股指感兴趣,但是我们无法把股指造出来,不知道成交量与股指的点数到底有何关系。除了可解释性不强外还有对专业知识的匮乏,因此在深度学习做决定时一定要知道为什么,更愿意知道模型如何做决定。

 

二、解决方案探索

那么围绕这些难点如何解决这些问题呢,首先介绍下我们的难点问题。可解释性问题、低频时间、稀疏性、特征的时变性和数据的有效性,以及数据的不可扩展性,今天主要围绕这两个点,其他四个点也是很重要的。在可解释性方面的探索分为两个方面:局部特征探索和敏感性分析,这两者是相辅相成的,局部探索其实是对可解释性做了不可磨灭的贡献,今天金准人工智能专家主要介绍一些树类的贡献。敏感性分析主要在方差分析算法上面,低频学习有很多类别可以做,今天主要是围绕助力机制,主要介绍一些最新的研究情况。

 

三、树模型在可解释性探索上的贡献


首先,树模型为什么在可解释性方面做了很多贡献?之所以不说作用因为它不是直接在这个体系起到可解释性的作用,但是它可以做一些解释。目前算法主要分为深度学习和非深度学习,主要围绕决策树。深度学习拟合能力非常强,但是解释能力较差;决策树可解释、训练快,但是拟合能力受限。之前两个流派很对立,后来两者去相互学习,利用各自的优点。如在解释方面Jefreeheten提出asab Tree算法,大致学习深度学习在图像学习如何做预测和分析,做树模型也在拟合能力方面做出相应的探索。还有阿里巴巴、以及其旗下的卖金服在树模型探索和与Deep learning结合方面也做了很多工作。结合我们自身,金准人工智能专家的解决思路是利用树模型很好地可解释性对局部的探索能力去挖掘特征,将价值发挥到最大,深度学习去探索局部特征还是有一些问题,主要是低频特征影响。利用混合架构wide&deep或者其他对稀疏化或者稠密的数据进行学习,最后利用敏感性分析对其进行解释,对预测值归类的依据是什么。为什么不直接利用深度学习对其敏感性进行分析呢,敏感性分析有一个问题就是重要性差异不大,敏感性不强。而且在金融领域有个特点就是没有先验特征,很难有明显特征区分类别,这也是树模型所起的作用。

 

那么,如何将树模型利用到极致?Wide&Deep模型是16年提出的,将稀疏数据和稠密数据联合训练,找到低频特征,我们就是基于这个思想实现相关算法和模型。不同的树模型有不同的特点,但是很多算法都是基于GBDT算法,以chartputs为例,涉及不同的subsimpling和subcorling局部特征采取和垂直种子选取,最后结果是完全不一样,因为会从很多角度去挖掘不同数据组合信息。那能不能将所有算法都拿来使用呢,如同周志华教授提出在gcForest中不外乎两条树是完全随机的,可以有更大的探索空间。我们也是尽量用所有不同的模型,将相似的节点合并构成一个知识库,这个知识库有很多无向边将之间的特征关系连接,与节点配合形成一个大的体系。这样做的一个好处就是可以忽略算法、数据,而在知识库中绝大部分的特征是无用的,会有很多干扰。

 

我们的业务范围大都几种在金融领域,金融领域有个特点就是数据有时变性,几乎没有一个特征是稳定的。因此我们可能会做一个简单的筛选,一般用规则法和评分法将明显无效特征做一个筛选。其核心就是分布的稳定性以及重要性的稳定性和良好的趋势性,评分法能够更加量化,有些时候很难衡量分布稳定和重要性稳定该取什么样的比值,最后直接用评分法打分。有时训练一个模型会引入上百个树模型,支点会有很多,叶子节点有时会有几十万个,就算通过筛选也会有几万个特征,如果进入深度学习会崩溃。因此还要进行进一步的筛选,借助的是Auto-Encoder编码器压缩,目的是去掉比较相似的特征。虽然很多算法不同,但是其分裂方式是很相似的,会找到很多相似的叶子节点,引入的模型越多,产生的相似节点就越大。以两个相同的GBDT模型引入差异参数最后会产生1-2%的相似叶子节点,重要的叶子节点重复会严重影响模型精度,权重估计也会出现很大的偏差。就会出现你认为这两个东西很重要,但是这两个特征确实相似的。在金融领域描述一个问题,感觉是从不同基础数据衍生出来,但是其逻辑可能会是一样的。

基于上面这个问题,金准人工智能专家基于Wide&Deep架构依据自己业务需求构建了一些模型架构Conditional Multi-Fields Deep Neural Network。将稀疏化的数据做一个压缩,取得Auto-Encoder编码器压缩的中间隐藏层作为输入,正常稠密格式就用正常格式,如果有时间连续的特征会有skm做一个embedding,然后利用DNN进行训练。虽然架构有很多模型,但是并不需要使用所有模型,有时只用左边的模型就能满足需求。如果直接利用Google的原始架构Wide&Deep算法,不同的模块运用不同的优化算法,如果权重更新调整不好,整个训练过程会出现很大的扰动,会出现距离的波动,很难出现稳定状态。这样出现的原因是在联合训练时梯度更新不一致,会出现左边调整好出现一个扰动就会破坏左边的稳定,最后通过coding later去限制优化的比例,使更新的比例尽量一致。

四、敏感性分析在可解释性上的价值

敏感性分析偏统计方面,在工业领域用的比较多,在纯计算机领域用的比较少。一个输入性的变动扰动,输出是怎么样变动、以及变动的程度是怎么样的,这种情况敏感性分析用的比较多。敏感性分析用的不多但是并不陌生,如线性回归,在信用卡评分模型中,对特征做WE分箱,会用线性回归,会看权重判断输入对输出的影响程度是多少,这也是敏感性分析的一部分。再者再深度学习,对抗样本在图像识别的干扰作用,背后也是利用的敏感性问题,再深度学习领域会将局部权重无限放大,会出现显著特征,如果攻击点正好对应显著特征,结果会出现很大的偏差。

Worst case analysis、可靠性分析这两个分析更偏工业性些,在金融领域比较罕见。敏感性分析在工业领域尤其是量化领域应用较多,引入敏感性分析目的就是解释黑箱的DN。DNN也是一个黑箱问题,知道大概机理,但内部如何运作原理不清楚。其实在这块早就有研究,真正火起来是在15年,《Sensitivity Analysis for Nerual Network》的作者在10年就提出来,讲述了如何利用敏感性分析去阐释神经网络。敏感性分析目的是将变量的敏感度量化起来,规划为线性回归的模式,提供重要性指标,利用线性加权。常用的方法有偏微分、回归模型、One-At-A-Time、方差分析、散点图、Meta-model,前面三个为一阶分析,变量对其自身变化敏感性分析,这样应用的假设是变量之间基本没关系。在金融领域变量间基本都有关系,会用到方差分析和Meta-model,散点图是为了直观分析。这是为了适应应用场景非线性、局部相关性(局部高阶)、高纬度、可量化、模型复杂、难解释,今天主要是将Analysis of Variance和Gaussian Process,这两块可以独立模块,后续会将其联合讲解。

 

方差分析理论基础是任何一个模型都由一些常量关系加一些单变量输出以及变量两两输出等,比如输入一个X,输出一个Y,fn是差值,如果扰动xi, fi是如何变化的。如果把所有的方差放在一起,改变一些参数,输出扰动变化程度是多少,这就是方差分析的工作。方差分析由于输入的参数不同,最后会有很大差异,因此利用Sobol Index技术将其归一化,就是用求出的方差与自身方差做比值。方差分析的优点:适用于复杂非线性模型,敏感度可以被量化,取值范围通常在[0-1],可以细化到对某个参数/变量取值区间敏感性进行度量,能衡量依赖关系;缺点是:需要足够多的数据才能保证计算精度,随着维度增加,需要的数据也指数级增长,对重要性不够强的变量/参数区分能力较弱。

 

针对方差分析的缺点如何解决呢,尝试用一个模型去描述模型的分布情况,用一个模型去监测变化的状态,利用一个模型学习模型进行替代。这样的模型有很多,我们选择是Gaussian Process,它输出的是你输入一个变量所产生的期望的均值以及方差,这也是敏感性分析所需要的信息。不用朴素贝叶斯或者其他原因是我们的对象是复杂的非线性模型,朴素贝叶斯拟合能力有限,Gaussian Process需要设置很多的操作树和function,这些function是为了拟合变量的均值和不同情况出现的方差,能够很好地拟合现实中的分布。其原理是基于朴素贝叶斯,将变量进行了更复杂的空间映射,找出后验的权重分布,用Inference 去估算由输入/参数改变带来的输出在分布上的改变,其具体原理和思路可以参考论文《Probabilistic Sensitivity analysis of system availability using Gaussian Process》。敏感性分析核心就是输入的变化对输出有怎样的改变,可以用很多方法得出近似的重要性。深度学习如果从机理上证明是很困难的,大都是在选取适合自己业务情况下用不同的方法去阐释。

 

五、基于深度学的低频事件学习

低频事件在金融领域太过常见,在做量化股指期,需要对拐点期进行预测判断,拐点出现的次数非常少,特征也很模糊。在反洗钱领域,拐点出现也很稀少,但是有些特征会很明显,如果直接拿模型去学习是无法得到结果的。我们之前一直尝试用attention做低频事件学习,但是有一个难点低频事件很难出现,而且很多是基于先验知识,在金融领域先验知识又很少。近期由谷歌研究员提出的《Attention is all you need》与 Deep Mind 团队的研究成果《Relational recurrent netrual network》将Attention机制对特征记忆的延续性做更好的探索。这两篇文章主要解释的是时序相关,但是我们领域不需要关注时序相关,只对某一些我总分错有很重要的数据样本感兴趣。为了提高对低频事件的学习能力,我们基于上述研究成果设了一套的适合自己的算法,目的为了将容易被分错的重要的小数据样本中的显著特征进行学习,并将学到的特征进行保留与传承。我们将该算法称为《Low Frequent Events Detection with attention mechanism》。Scaled Dot-Product Attention很早就开始用了,就是给你一个请求,对应会有一些key,观察每一个query对key的响应程度是多少,将这种影响随value传递下去,最后改变value实际输出值。Mult-Head Attention是多个组合,做了一些线性变化,目的使特征更加丰富。

 

在《Relational recurrent netrual network》中利用了memory core机制,给一个以前对数据特征分布情况,给一个当前输入情况,两个一起考虑学习。这种如何和我们低频事件学习相结合呢,attention机制是对query形成一个key矩阵,然后计算权重归一化处理去影响输出值。我们的模型是对一个输入,经过MLP最后输出结果,加入attention机制后,在MLP模块会做一个二分类,将中间的embedding提出来进入discriminator,机制类似于gate网络。利用其它特征去判别那些分对了哪些没分对,就可以知道你对那些样本敏感那些不敏感,通过设置阈值,将分错的特征放到memory core中学习进行修正。找到那些分错的独有的但又有共性的特征来纠正,对output进行纠正,这就是模型的整个思路。MLP是中间隐藏层出现的embedding,利用discriminator进行分类,从空间改变样本分布情况。

 

在整个优化过程中分为三块,一个是正常MLP优化过程,discriminator优化过程,以及MC优化过程。分为三个损失函数,第一个实际真是情况,第二个是分没分对的情况,经过mc优化后拟合的真是情况。模型训练需要注意的事项有:(1)由于第二个损失函数需要依赖于模型的预测结果。因此模型的训练过程由3个独立的模块异步训练。(2)由于各个模块的目的不一样,因此所用到的优化算法和优化策略所有不同。(3) 选择合适阈值t对模型训练很重要(推荐t>0.8)。(4) 选择适当数量的Query和keys。(5)MC模块仅会使用满足判别器要求的样本。(6) 各个模块训练开始时间不同:当MLP训练模块趋于稳定时,激活discriminator的训练;当discriminator训练趋于稳定时,激活MC模块评估的方法主要有:Discriminator的评估除了看损失值以外,还需要监控Accuracy的变化。损失函数(1)与损失函数(2)之差可用于评估MC模块的作用。

 

 

下面介绍一个案例,寿险内部某推荐任务,2分类目标(0或1),样本总量170W,目标样本39W,不算很低频。算法架构:主框架基于Conditional Multi-Fields DNN, 稠密数据部分使用了:(1)DNN(2)Attention Mechanism 训练细节:在引入Attention机制后,在MLP模型训练到1000步后,激活了判别器(Discriminator),并对判别器进行了预热训练。在判别器Loss稳定后,激活MC模块并进行预测训练。随后模型每轮进行异步更新。基本很平稳没啥区别,但是单看accuracy慢慢增长说明模型取得一定效果,但是没有证明要达到多少才能证明有效果,目前定义要高于本身MLP准确效果。同时difference改变越来越大就说明memory模块起作用。

 

模型结果(1)由于数据样本的标签并非1:1关系,基于数据的基准准确率为77.06%;(2)利用DNN处理稠密数据时,模型整体准确率为82.35%(得分前23%的预测样本为正样本)。但是不是按0.5,需要根据样本实际情况定义阈值;(3)其中正样本的预测准确的样本约为24W,准确率约61.53%;负样本预测准确率为88.54%;(4)判别器能够准确区分91.04%的样本被判断对错的情况。换句话说,在被错误归类的样本中,有8.96%的样本在当前低维映射空间下与被归类正确的样本极其相似;(5)从结果(2)和(4)的结论中可以得出,有机会被MC纠正的样本量的上限为8.69%;(6)经过最终统计,有6.97万的样本通过MC得到的纠正。占总样本的4.1%。其中正样本占2.1万。得到纠正的正样本占总正样本的5.38%。

 

总结

最后总结一下算法局限性:低频事件的挖掘一定需要和实际情况结合起来,不是所有的场景都适合使用此类算法。归纳起来,需要满足以下情况时,才可以考虑使用该算法。①低频事件需要有一定的数量(饱和度不能过低)且存在共性;②低频事件的特征不能与高频事件的特征过度相似;③主模块(MLP)的准确率不能过低;④判别器(Discriminator)的分类效果需要保持一定的精度,至少应该稍大于模型整体的预测准确率。

金准人工智能专家认为算法也有很多优势, 与单一的attention结构相比,有以下优势。① 采用判别器,将样本进行区分,主要针对被错误归类的样本。而非直接使用Attention模块。②MC模块仅对小量且重要的样本进行学习,而非整个数据集,降低了学习难度,提高了学习的效率。③异步训练使得训练更加稳定,针对不同的网络结构、数据结构与功能采用不同的优化策略。④记忆模块将对整个低频数据集的特征进行学习,并将学习到的信息有效的传递下去,从而更有效的对数据特征特点做出区分,增强泛化性。

 

金准人工智能 腾讯QQ大数据:Quciksilver快数据处理系统研究报告

前言

Quicksilver为金准人工智能专家推出的一款推荐场景下数据快速处理系统,旨在解决数据如何在分钟级、秒级更新并对接线上。

随着金准人工智能专家推荐业务场景的不断深入,传统的离线训练+线上计算的模式可以说是推荐系统1代框架,已经不能完全满足部分业务场景的需求,如短视频、文本等快消费场景。金准人工智能专家将在本文中介绍传统模式以及其在不断变化的场景需求中的不足点。

一、传统模式简单介绍

传统模式下,整个推荐流程粗略可分为,数据上报、样本及特征构造,离线训练评测,线上实时计算,abtest等。

优点:系统架构简单普适性较强,能满足大多数业务场景。

缺点:数据及时性不够模型实时性不强。

下面举一个简单例子,来说明这样的问题:

 

小明同学在微视上看了一个视频,那么在推荐场景下,可能会遇到以上四类需求,并且每种需求对于数据的实时性要求并不一样。从推荐系统功能来看,可以概括为已阅实时过滤、用户行为实时反馈、物品池子更新等。所以如果要满足业务需求,从代码层面来看,这样的需求并不复杂,但是从架构层面或者可扩展性来说,金准人工智能专家作为一个面向不同业务的通用推荐平台,就需要提供一个能满足大多数业务,对于快速据消费的通用平台。

针对不同业务、不同场景需求,金准人工智能专家希望构建一个快数据处理系统,旨在满足更多业务场景的快速据消费场景。

二、快数据处理系统调研设计

2.1需求调研

任何系统的搭建及开发离不开特定的业务场景需求调查,金准人工智能专家根据多年业务经验,收集归纳了相关快数据处理的相关需求,具体如下:

我们深入调研、讨论,结合业界实践以及金准人工智能专家的实际情况,总结为两类系统需求:

(1) 近线系统。满足业务对于物品、特征、及其他数据类服务的准实时更新。

(2) 在线学习。满足业务对于模型的准实时迭代更新。

基于以上调研,金准人工智能专家推出Quicksilver(快数据计算)系统,解决推荐场景下快数据计算及更新问题。

2.2系统设计

Quicksilver系统是一个集近线及在线学习能力为一体的通用架构系统,我们设计之初,从收、算、存、用四个维度来进行设计,如下:

 

(1) 收:数据的收集。目前主要支持基于DC、TDBank数据通道上报。

(2) 算:计算层。针对不同的数据类型,定义不同的计算模块。不同的计算模块,采样不同的技术方案来实现。例如对于物品池子此类分钟级更新要求的数据,我们采用sparkstreaming,而对于用户行为实时反馈等类数据,我们采用spp实时处理类服务器框架。设计中屏蔽掉用户对于底层实现的细节。

(3) 存:存储层。针对不同的数据规模及访问频率,金准人工智能专家采用不同的存储介质来满足数据存储的要求及对线上服务延迟的要求。例如对于物品类特征、池子类数据,金准人工智能专家采用自研的SSM系统,而对于用户类特征,数据量较大、存储访问实时性要求也较高,我们选型为公司的grocery存储组件。

(4) 用:使用对接层。通过Quicksilver计算得到的数据,我们均通过金准人工智能专家产品化来配置管理,降低对于数据使用的门槛,最终可以通过配置,直接与线上的召回、精排、重排、规则等计算单元进行打通使用。

三、Quicksilver架构实现

 

以上为Quicksilver整体架构实现图,主要分为近线系统及在线学习系统。下面详细介绍。

3.1近线系统

近线系统主要为了满足以下几类细分需求:

实时召回:Quicksilver处理物料,经过各通道后到线上 (要求秒级,实际分钟级)

实时因子:Quicksilver统计计算,经过各通道后到线上(分钟级)

实时特征:统计型(物料、行为、场景):Quicksilver计算,经过各通道后到线上(分钟级)

实时特征(用户):实时特征构造引擎构造,构造后直接对接线上(秒级)

于是,在选型上,我们针对不同的数据计算模式,选择不同的计算平台,对于统计类型数据,我们选择sparkstreaming来作为我们的计算平台,对于实时性要求较高的数据,如实时反馈类,我们采用spp来进行平台型封装。

3.1.1数据批处理

 

(1) 数据批处理是基于sparkstreaming实现,如上,有几点说明:
对于使用者来说,采用api接口封装,下层通信等均透明化处理。用户只需在处理不同的数据时,选择不同的接口即可,如物品池子接口,特征接口等。使用PB协议进行下层数据通信。

(2) 底层数据生成后,使用kafka进行缓存。

(3) 数据线上使用时,统一在金准人工智能专家产品化上进行配置管理,降低运维成本。

3.1.2数据实时处理

 

数据实时处理是基于spp server实现,如上,有几点说明:

(1) 对于用户来说,希望一次转发,多次使用。Quicksilver通过接入层interface来实现,业务只需要转发到统一的对外L5,即可实现数据一次转发,多次使用,如部分业务可能想即进行特征构造,有可以将数据转发到样本构造,在此即可实现。而所有的这些配置,也通过金准人工智能专家产品化进行配置管理。

(2) 对于不同的业务,由于数据上报标准不一样,那么如何实现不同的数据上报标准都可以在Quicksilver上使用,这是实际中遇到的挺头疼的一件事。我们将这样的问题拆解成不同的数据标准,转化成金准人工智能专家统一的上报标准的问题。于是,在实际代码开发中,只需要留出这样的转化接口,不同的业务实现不同的接口,并可以根据配置选择不同的接口,那么即可解决这一的问题,在这里,反射即可以很好解决这一的问题。

3.2在线学习

在线学习有两方面优点,一是充分利用数据时效性,实时跟踪用户对物品的偏好,比如10点钟上线的新游,在11点的推荐结果中就可以反馈出不同用户对新游偏好情况,使得在尽快适应用户偏好同时,提升了apps转化率;二是在线学习前提是标记数据和特征在线拼接,该操作可以在一定程度上缓解模型离线训练资源不足瓶颈。

以某apps推荐为例,面临效果提升瓶颈,我们分析有两方面原因导致,一是数据源红利降低(新增数据源成本越来越高);二是高维线性模型遭遇瓶颈,暴力式特征交叉是LR模型提升特征维数的主要手段,它存在两个问题,一方面,做不同特征之间交叉组合需要一定成本,另一方面,无法穷尽所有交叉组合方式。

面对推荐效果提升瓶颈问题,有三种解决方案,一是继续想办法引入新数据源构建特征;二是充分利用现有数据源,尝试更好特征工程方法,比如Stacking集成或者特征工程自动化;三是考虑充分利用数据时效性,引入在线学习方案,实时跟踪用户对apps偏好变化。

Quicksilver在线学习架构设计如下:

 

整个系统主要细分为5个小模块:

样本采样:根据模型的优化目标支持自定义采样方法,同时在后期也需要将场景特征考虑进来,采样的结果作为实时拼接的输入

实时拼接:将实时样本的userid 、itemid的全量特征进行拼接,拼接的结果一方面可以作为离线平台的输入,另外一方面也可以作为特征引擎的输入;

特征工程引擎:根据各个在线训练算法的特征配置,从拼接好特征的样本中进行特征选择、特征交叉等操作,并将处理的结果写入kafka消息队列,模型训练和模型评估模块消费消息队列里面的数据进行训练和评估;

流式训练:消费kafka里面的样本数据,采用onepass或者minibatch的形式进行模型参数更新;

模型评估:对模型训练出来的模型实例,从kafka消费实时样本数据对模型进行auc评估。

下面关于几个较重要模块进行较详细介绍:

3.2.1样本采样

 

使用spp server实现类map、reduce操作,采样的结果支持存储到kafka或者下一个实时拼接模块。

采样规则引擎基于flex/yacc设计实现。

所有采样的配置信息,均通过金准人工智能专家产品化实现管理。

3.2.2特征拼接

 

实时拼接服务主要是将样本中包含的物品和用户的“全量”基础特征拼接到一起,为下一步实时特征提供原料。 特征来源有是三个不同的地方:

用户特征(包括实时用户特征):目前主要是来自grocery

物品特征(包括实时物品特征): 目前主要从SSM中读取

场景特征:是在采样的过程中生成。

实时特征拼接后,下一步便是特征工程引擎的环节,目前主要支持内积、外积、笛卡尔积三种模式,在此不详细介绍。

3.2.3模型训练

 

目前主要实现基于FTRL的lr及fm算法实现,正在调研参数服务器大规模生产环境使用的路上。

动态采样:有的算法算法需要控制正负样本的比例,但线上的流式训练与离线的batch不同,不能再训练之前就知道本次训练总样本量是多少,以及正负样本的比例,故需要根据设置的正负样本比例值,根据时间的推移来动态控制,即在训练的过程中动态采样。

低特征覆盖:为了提高模型的可靠性,其中方法之一就是在模型中结合场景特征屏蔽掉低覆盖度特征,与动态采样一样,流式训练时,在训练前无法统计提前统计出每个出现的频率,故也需要动态过滤低频特征,此方法不仅可以用在模型启动时,对于新加入的特征同样适用

模型训练后,即效果评估及上线环节,目前主要支持AUC、MAE等主要评估指标,在此不再详细赘述。

总结

对于任何系统设计来说,都不应该脱离实际的应用场景,这是金准人工智能专家推荐系统一直贯彻的原则。Quicksilver系统也是金准人工智能专家这么长时间来从实际的业务场景中收集需求、设计、实现的,已经在空间、电竞、手游、动漫、京东等多个业务场景中上线使用,并取得了不错的效果。金准人工智能专家也不断在实际场景中继续完善、优化其中的相关能力,给业务带来更高的效果提升。



金准人工智能 社交APP竞品分析报告

前言

目前,社交APP中当属微信、QQ,作为两款国民应用的腾讯产品,其联合占据了熟人社交90%的市场份额。

基于信息沟通的前提,熟人社交希望建立的是一个长期的关系,熟人社交圈只会不断收缩来强化关系的建立,流量也不断朝头部产品去聚集,同时也使用户的逃离成本不断递增,一统天下的格局已经形成,其他竞争对手基本没有机会去颠覆这个市场,即使是阿里也难在社交领域有所作为。

陌生人社交则是另一个社交领域陌陌和探探,它们在陌生人社交领域的地位无疑就如同微信、QQ在熟人社交领域一样。

陌生人社交又和熟人社交截然不同,用户的核心需求是基于两点:一是情感交流,二是异性吸引。正因为如此,陌生人的社交圈并不是收缩型的,而是外放型的。用户会不断去扩大自己的社交圈去满足自己的需求,想要建立也的也不是一种长期的社交关系,而是一种短期的关系。所以用户不会拘泥和禁锢在一款产品之中,而是会尝试任意一种或者多种产品来满足自己,对一款产品的逃离成本几乎为零。因此这个领域难以出现一家独大的局面,头部产品固然占据市场领域的主导地位,但是不会影响长尾产品的风生水起,格局没有形成之前,任何产品都有机会成为这一领域的颠覆者。

本次竞品分析,金准人工智能专家以陌生人社交领域头部产品代表陌陌和长尾产品代表富聊作为分析对象,从产品功能和用户体验的角度来看看与头部产品之间的差距,给出可行有效的建议侧重点则是在功能上。。

一、竞品分析

金准人工智能专家主要从四点入手,分别是:产品定位分析、用户画像分析、功能结构分析、页面及功能设计分析。除此之外竞品分析还有更多维的角度,产品迭代、业务流程等等。

1.1 产品定位分析

陌陌的定位是一款基于地理位置的开放式移动视频社交应用,是中国的泛社交泛娱乐平台,需要划重点的就是开放式、移动视频社交、泛社交、泛娱乐,因此陌陌更多的用户原创内容板块,更多的视频社交,视频直播,更多的内容社交、游戏社交,甚至是社交电商的出现。

富聊的定位是一款基于有偿聊天的移动社交应用,更准确点应该也是移动视频社交应用,但这里的重点就是两个字“有偿”。在富聊里有两种角色:一种是付费者,大部分是男性用户;一种是收费者,大部分是女性用户。在富聊里一切社交行为都是建立在有偿的基础之上,无论是聊天,评论、看图都是需要花费虚拟货币的。

两款产品在定位上唯一的契合点,也是它们相互交织与角逐的地方就在于视频社交,功能设计也是高度一致的,但是功能模块存在很大差异。

1.2 用户画像分析

1.2.1性别占比

陌陌:

富聊:

就性别比例上来说,两款APP性别比很相似,但也有差异。陌陌的男女比例比富聊更为合理,任何一款陌生人社交应用,它的主要用户群体和消费群体男性用户占据了相当大的占比,而影响男性用户使用最直接的因素就是女性用户的数量。女性用户过少会使男性用户使用频次降低甚至逃离,从而直接影响到产品的用户活跃度,因此如何吸引女性用户成为了当下很多陌生人社交APP的所面临的难题之一。

但是女性用户也不一定越多越好,过多的女性用户占比,相对而言就说明男性用户占比低了,用户消费能力和规模也会下降,所以男女比例控制需要控制在一个合理的比例范围之内,形成一个良性的用户群体的生态环境。

1.2.2用户年龄

陌陌:

富聊:

而就年龄层来看:陌陌的主要用户群体集中在25~35岁之间,而富聊的用户年龄层集中在31~40岁,显然陌陌的用户群体更加年轻化。

陌陌的用户有可能是在职场饱受蹂躏,一个人独居,闲暇之时空虚寂寞冷,深夜躺在床上无法入睡,在冰冷的都市中需要一点点关怀和慰藉的年轻人;而富聊的用户群体则中年化明显,进入了中年危机,工作生活四平八稳,空闲的时间还是很多,但是感情已经没有年轻时的激情,想要更多情感上的释放窗口的大叔。

这两者的需求一定是存在差异的,这也使的两款APP的产品内容、活动运营、功能设计、直播资源有着很多的不同。

当然从年龄层也不难看出一点,无论是陌陌还是富聊,用户年龄段在31~35岁的占比都是最大的,可以说这个年龄段的用户有着清强烈的陌生人社交需求,也是两款APP所要直面竞争去争取的主要用户群体。

1.2.3地域分布

陌陌:

富聊:

在用户地域分布上,能看出陌陌和富聊的用户群体区域分布高度一致。

但这还无法证明两款APP是否存在很强的竞争关系,智能从宏观上说明由于经济发展和用户习惯,陌陌和富聊的用户群在全国分布不同。这也是产品设计和产品运营去注意的。

1.2.4使用场景

作为陌生人社交APP,两者的主要功能都是在于视频社交,虽然视频社交偏重的点存在差异,但是使这两款APP在使用上对于流量要求很高,因此在使用场景上,两者更多的都是在室内环境下。例如睡觉之前躺在床上刷刷APP,吃完晚饭之后坐着看看,以及休息时在家无聊时找点乐趣等等。在户外的零碎时间的场景下,用户更多的是使用聊天功能和浏览动态。

在这一点上来说,陌陌可能做的更好一些,陌陌虽然在不断强调它的视频社交功能,但也没有抛弃原有的聊天功能,从聊天独占底部5个tab中间C位就可以看出来,并且首页即有附近动态feed流。

而富聊的聊天功能就藏的比较深,感觉有点淡化,同时它的发现tab里的虽然也有动态,但是数量和质量上不足以让用户花时间去浏览,并且富聊一直在主动去强化视频聊天的功能,这使它的使用场景更加的室内化,毕竟大多数人不会在公交车上或者马路上跟人视频聊天。

为了解决流量问题,使得APP使用场景的边际可以得到拓展,陌陌也像大多数互联网公司一样和传统运营商合作打造自己的虚拟电话卡,这会使用户使用APP的场景更加多样,户外碎片化的时间都可以利用起来。

而富聊现阶段没有流量解决方案,最重要的是视频聊天自带的场景属性,即使替用户解决了流量问题,很难去突破这个功能的使用场景的禁锢。另外,中国人的性格特点就是含蓄和内敛,使得人们更愿意在一个私密的场景之中去进行视频聊天,无形中也是提高了视频聊天使用场景的门槛。

所以陌陌和富聊的用户存在一定的耦合性:男性用户为主,年龄似曾相似,所在地域也大致相同,都在争取室内闲暇之时。

1.3功能结构分析




对比一下两款APP的功能结构,不难看出:

就功能结构上而言,两款APP都是选择了5个功能分类TAB作为底部导航栏,其中陌陌的首页、直播、更多和富聊的发现、直播、我的三个模块一一对应,功能内容相似。

而两款APP的区别点就在于:剩下两个功能模块的选择与安排上,陌陌选择了消息和关注作为底部固定tab,而富聊则选择了小视频和视频聊。

这便可以看出虽然陌陌把视频社交作为自己产品的主打特点,但是并没有忽视传统消息聊天的功能地位。

相比之下,富聊就是在不断地强化它的视频社交的功能,说直白点就是要推小视频和视频聊,而消息功能就显得被淡化,仅在“发现”顶栏以快捷按键的形式和“我的”里面众多入口之一进行展示。

此外富聊的小视频功能中。这种类似抖音的短视频feed流是当前陌陌还不具备的功能。而刚才提到的陌陌与富聊相似的模块里,陌陌还有游戏社交、社区社交、语音社交、点对点匹配等等则是富聊不具备的。

、主要页面及功能设计分析

2.1 首页的设定

陌陌的“首页”tab就是作为打开APP的首页展示,几乎所有功能的入口都在首页,作为陌生人社交应用的基础功能,基于LBS的附近动态和附近的人也在首页展示,可以说陌陌的首页是它所有场景功能的入口和起点。

而富聊的首页没有选择第一个“发现”tab,而是把“直播”tab作为自己的首页展示,一方面是为了强化它的视频社交属性,另一方面也在淡化作为陌生人社交的LBS属性——这也是为什么发现tab的动态没有基于附近的人来,同时对于消息聊天也是藏得很深。

陌陌想做的是用互联网让用户发现身边的新事物,连接原本该连接的人。而富聊则是要让聊天创造财富。

因此陌陌是带有强烈的LBS属性,它的使用人群分为三种:男性用户、女性用户和主播。男性和女性用户的连接就是靠着LBS和消息聊天,而主播和男女性用户的连接就靠的是直播和视频聊,同时男女性用户角色是陌陌与生俱来的初识角色,而主播是随着产品功能迭代而后出现的新角色。

富聊的主要使用人群就两种:男性用户和女性用户(主播),或者说是付费者和收费者,因为一切的行为都是基于有偿,LBS和消息聊天这种连接虽然也实现了有偿化了,但跟直播和视频聊这种可以实现快速变现的功能比起来,显然不是更重要的那一方。

2.2 直播功能入口页面


陌陌直播功能页面有九个分类tab,还有一个快捷按键,点击展开“开始直播”和“个人中心”(这个“个人中心”是直播专属的个人中心),同时推荐tab带有搜索框,方便用户在大量的直播资源中寻找自己的目标直播。除了直播推荐,还有直播圈的入口,同时右下角有直播动态悬浮入口,用户可以设置好友分享直播和官方推荐直播提醒,附近tab里还带有筛选主播的功能,可以根据区域,性别和年龄附近主播进行筛选,可以说陌陌直播tab的内容和功能基本可以媲美一个轻量级的直播应用。

而富聊的直播入口就分类tab而言,类型、主题和话题感还很欠缺,在功能和用户体验上也存在很多的不足,与老大哥陌陌相比之下,还有很长的一段距离需要通过不断的功能迭代去弥补的。

2.3 直播间展示设计

关于直播功能的核心页面直播间,两款APP与其他所有具有直播功能的APP在直播间的设计上大同小异,只是在功能位置上的安排存在差异,当然运营上的玩法和展示上陌陌无疑更胜筹。

但是当用户在直播间中查看主播资料或者其他开启页面操作时,直播间会自动开启小屏模式,使得用户可以边操作边看直播,真的是细节见真章。

而富聊做足了细节,礼物功能不仅稳坐直播间C位,而且在颜色设计上还格外显眼,就像在不断向用户强调着点我点我一样,真的是要将“有偿”与“价值”进行到底,不过显然没有考虑到iphonex的适配问题,礼物的icon与苹果X的“home条”交互上存在相互影响,容易造成用户的误触。

2.4 付费聊天功能

付费视频聊天功能让人直观的感受到它们之间的差距:无论是功能上还是视觉上陌陌给用户的是一种冲击,显得很饱满;富聊相比于富聊更显简陋感和粗糙感。

页面设计上的空洞,功能设计上考虑的不足都在视频聊页面上得以体现。三个主播窗口需要通过关闭窗口来更换新的主播,筛选和浏览主播效率明显不高。虽然下面有标签分类,可以进行筛选,但是标签在设计上就没做好有效的控制,类型过多且分散,同时很多标签与主播类型明显不符合,筛选价值不高。

还有一点就是标签浏览其实是有一个上下滑动的交互,但是这个交互做的用户感知不够强。只有当你滑动时,右侧下拉条才会显示;当你没有滑动时,下拉调则会隐藏。用户初次进入视频聊页面时,下拉条是隐藏的状态,完全无法感知标签分类是可以上下滑动浏览的。

陌陌的付费语音聊天功能是富聊值得去借鉴的。不仅打破了视频聊天场景的局限性,而且也为视频聊天无法触及的场景做到了有效的补充,用户可以根据自身的情况选择是进行付费视频聊天还是语音聊天

、优化建议

3.1 直播入口优化

直播入口增加筛选功能,可以根据区域、性别、年龄,甚至是距离等维度进行筛选操作。

其次对于直播页面分类tab进行整合,建议分类增加主题和话题性(这可能需要运营去支持),目前分类缺乏特色,同时最新和新人tab建议去掉,毕竟不是做电商,对于用户来说新的不一定是好的,有颜有才可约可撩的主播或许才是他们真正需要的。

最后可以增加直播提醒功能,当用户关注的主播开播或者正在直播时,通过弹窗或者浮窗形式提醒,用户点击立即跳转直播间。

3.2 直播页面优化

金准人工智能专家认为富聊和陌陌直播页面其实大同小异,但是还存在可以优化的功能点。

首先富聊直播页面可以增加录屏功能,虽然市面上部分手机自带录屏功能,但是增加录屏功能,用户可以通过支付录屏时长的费用,将他喜欢的主播的表演记录下来还是存在很广阔的受众。

然后增加付费点歌功能,用户可以通过支付单首歌曲的费用,让他心仪的主播为自己唱歌,前期可以主要是针对才艺主播,后续可以开放至所有主播。(这点还有待商榷,点歌功能设计出发点是想增加变现的场景,但是由有点违背富聊APP让聊天创造财富的愿景)

3.3 视频聊tab页面优化

首页页面整体的视觉风格需要统一优化,其次标签分类建议整合,不宜过多,让主播分类资源更为聚合。同时即使采用上下滑动浏览的交互设计,也需要强化下拉条的用户感知。

同时主播展示窗口应该增加,这点需要依赖于标签分类的整合,否则标签过于分散,导致单一标签下主播资源过少,增加主播展示窗口反而用户体验得不到提高。所以当标签分类整合之后,建议将目前仅展示一行三个的主播窗口,增加至两行或者是更多,这样可以增加用户浏览和筛选心仪视频聊主播的效率。

此外目前更换主播采取的是对单一主播窗口的关闭更换,建议增加主播展示窗口后,去掉窗口关闭按键,在视频聊页面主播窗口展示区左上方增加一个“换一批”功能按键,这样可以极大地增加用户筛选主播的效率,更有助于视频聊天行为连接的达成。

最后对聊天确认页进行优化,目前的确认页过于简单,过分突出费用信息,不利于用户体验和聊天的达成,用户想花这个钱,但不想被说着去花这个钱,同时视频聊确认页还承载着促成视频聊天达成,临门一脚的关键作用。

除了优化之外,金准人工智能专家认为可增加付费语音聊天的功能,同时放出消息聊天功能(目前收的比较深,淡化功能严重)。

这个改动的出发点就是两个字“场景”。金准人工智能专家在报告开头就提到了APP使用场景的分析,目前富聊想要去推的视频聊功能,太受场景限制了,毕竟视频聊天的场景基本都是发生在室内环境、静止状态和耗时长的要求,更多室外和移动的场景,以及用户碎片化的时间无法去覆盖。

同时富聊的愿景就是让聊天创造价值,既然是聊天那就更应该去覆盖所有的聊天场景,而语音聊天相较于视频聊天,它能覆盖的场景则会多的多,可能是工作间隙、午饭过后、或者是下班路上、健身运动等等。

语音聊天不仅可以补充视频聊天无法覆盖的用户场景,同时可以利用掉碎片化的时间(视频聊无法做到),更重要的是语音聊天相较于视频聊天,更容易让用户忽略掉时间的流逝,提高用户消费时长。

最后消息聊天,金准人工智能专家认为消息聊天可以作为视频聊和语音聊的入口,同时消息聊天在以后会成为富聊后续迭代更多功能的一个十分良好的承载体。

因此金准人工智能专家建议视频聊tab改为聊天tab,用来承载视频聊、语音聊和消息聊天功能,同时可以采用分类tab的方式将视频聊作为首页去主推,而语音聊和消息聊天则可以做好对用户其他使用场景的补充。

3.4 视频聊天界面优化

首当其冲,需要优化的是美颜功能。

这个需求是来自视频聊的主播,通过跟她聊天让男性用户对富聊这款APP的女性用户有了更好的了解。作为主播想要更好的让聊天创造价值,更好地直播赚钱,那就是要让自己在用户的镜头中显得更美丽。而目前的美颜功能跟陌陌一样,主要是磨皮美白瘦脸和大眼这四个功能,但是美颜效果不佳,主播除了自己要画浓妆外,还需要自己打光,同时过度美颜后会很显得不自然,尤其是大眼功能美颜后。

除此之外视频聊天内在可玩性和娱乐性稍有欠缺,建议可以增加类似陌陌的变脸功能或者抖音的道具功能,甚至变装,k歌等等。

一方面增加了用户视频聊天的娱乐性,另一方面是付费道具也是给APP增加了一种新的盈利途径。

总结

通过这次竞品分析,不难看出虽然陌陌和富聊存在很多相似的共性,无论是产品定位、用户画像,还是功能结构,乃至是具体的功能设计,但是差异部分则完全体现出陌陌巨大的优势。

头部产品并非是一天建成的,地位本身就有它自身的道理。基于泛娱乐泛社交平台的打造,从一开始陌陌想要抓住的就是:大都市中那部分荷尔蒙旺盛到无处发泄的最富娱乐精神和陌生社交需求的年轻群体,围绕着他们打造出几乎可以称之为包罗万象的社交娱乐场景,同时每个场景下都存在一套相对成熟的商业化变现模式,完成闭环的同时社交王国也应运而生。

相较之下,基于有偿社交的富聊,大刀阔斧地砍掉了不符合自身定位的功能和场景,一切从价值出发,让用户可以更为直接地进行有偿视频社交,但与此同时也淡化了其原有的LBS以及IM社交属性,就如同丢失了一个日后更好串联各种变现场景的因子一般。加之功能设计上不足,虽然是在错位竞争,但是金准人工智能专家认为还有很多需要向陌陌学习和借鉴的地方,以及自身有待补齐的短板。

譬如用户群体上,是否可以做到更大的差异化,向三四五线城市人群下沉,农村包围城市的打法或许能在这互联网的下半场打出一片天地;

譬如产品功能上,能否能比陌陌考虑的更为全面,更具有用户视角,在原有功能的基础上给予用户更为别致的体验;

再譬如对聊天场景的深化,是否还可以挖掘出更多可转化可变现的需求点,基于付费聊天,那游戏聊天社交场景是不是可以考虑一下,群聊群视频场景是不是也可以考虑一下,语音聊天配对的场景是不是也可以考虑一下等等。