什么是图像处理芯片（cis+isp）？是GPU吗？应用在哪？有哪些公司？

本文主要是介绍什么是图像处理芯片（cis+isp）？是GPU吗？应用在哪？有哪些公司？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在了解视频处理之前，我们需要了解图像的基本组成：像素（pixel），即“画像元素”。每个像素就是真实图像的一个取样点，而照片就是这一个个取样点的集合，单位面积内的像素越多代表分辨率越高，所显示的图片就会接近于真实物体。

我们平时说的百万像素（Mega Pixels，缩写为MP）是指有“一百万个像素”，通常用于表达相机的分辨率。例如，我们说一个摄像头有1200万像素分辨率，拍摄出的最高像素图片一行大约4000个像素，一列大约3000个像素，合计约为4000×3000=12,000 ,000 像素,即12MP。现在主流电视一般支持1080P片源。

摄像的过程实际就是把光信号转换为电信号的过程。在数字摄像的过程中，外面的光通过透镜打到传感器芯片，传感器芯片把图像分解成百上千万个像素，传感器测量每个像素的色彩与亮度，并把它转化为数字信号作为代号，例如“010101010……”。这样，实际图像就变成一系列数字的集合。由于原始图片尺寸通常很大，为了传输方便，视频处理芯片再对其继续进行压缩编码等处理，以方便传输储存等。

摄像处理流程:

1. 镜头：汇聚外界景物发出的光线。

2. 传感器芯片：传感器芯片把外届图像分解成百上千万个像素，并转化为电信号，并传给模拟数字转换器，转换成数字信号。

3. 视频处理芯片：接受传感器传送的数字信号，对其进一步处理，比如压缩编码等。

所以，传感器芯片（光信号转为电信号）与视频处理芯片（主要处理数字信号）是图像处理最重要的两种电子元器件。

传感器芯片

CMOS传感器逐步代替CCD传感器成为主流

传感器芯片主要有两种类型：电荷耦合元件（CCD，Charge-Coupled Device）与CMOS传感器（CIS，CMOS Image Sensor）。CCD于1969年被发明，并于1975年正式应用于照相机领域，CMOS的出现则相对晚了十年。

随着后来CMOS成像技术不断提升，CIS借其低功耗、体积小、高帧数（有利于拍摄动态影像）等优势，逐步在民用消费电子等领域占领市场，而CCD则由于图像质量有优势，在专业领域如在卫星、医疗等领域仍有一席之地，但已经逐步丢失大部分市场份额。鉴于CIS的市场份额已经超过99%。我们在本文主要讨论CIS的行业状况。

2.1 CIS行业技术发展与趋势——得技术者得天下

芯片作为最高端的电子元器件，一直是靠技术迭代驱动，而CIS又是属于芯片中相对高端的一类产品，故此一直是得技术者得天下，且龙头效应愈发明显。索尼公司凭借在摄像领域强大的技术储备与领先程度，近几年一直处于龙头地位而且在CIS市场份额一直在扩大，从2015年的38%上升到2016年的42%。

CIS主要分为传统（前照式）CIS、背照式（Back-illuminated）CIS。

传统的前照式CIS光线射入后依次经过片上透镜、彩色滤光片、金属线路最后光线才被光电二极管接收。由于金属线路会对光线产生影响，最后被光点二极管吸收的光只有80%或者更少，折旧影响了图像质量。

背照式CIS改变了架构，把金属线路与光电二极管位置调换，让光线依次经过片上透镜、彩色滤光片、光电二极管。这样减少金属线路对管线的干扰，从而增加进光量，减少噪度，对于光线不足场景有比较明显效果。Sony公司平衡了量产工艺与成本的问题，于2009年将背照式CIS商用化。

在背照式CIS的基础上，各家公司纷纷开发新的技术：

2013年，为了解决相邻像素模块互相干扰问题，三星开发了ISOCELL技术，在相邻像素模块中间插入金属隔离层，这样每个像素模块可以吸收更多光线，大幅度提高图像质量。随后三星在ISOCELL基础上推出升级版ISOCELL Plus，把金属隔离层改成日本富士公司（Fujifilm）提供的特殊材料，进一步减少金属对于光线的干扰，可以将感光度提升15%。目前ISOCELL PLUS技术主要应用在大像素产品上，例如分辨率20MP以上的传感器。

2017年，在背照式CIS之后索尼发明了业界第一款三层堆叠式stacked CIS。这款传感器在传统堆叠式传感器的感光层（光电二极管）与金属线路之间增加了一层DRAM存储层。增加DRAM存储层用来临时存储数据，作用类比计算机的内存，可以整体提高数据读写速度，对于高速动态物体的抓拍有很好的效果。

2018年，索尼公司为了解决图像扭曲问题，推出具有模拟数字转关（ADC，Analog Digital Converter）模块的CIS。传统的CIS需要一行一行读取传输感光模块，这就造成了图像焦面扭曲。索尼新产品在传统感光层下面平铺一层ADC层，可以同时读取感光模块，完美的解决了图像扭曲问题。在感光层与ADC之间，用铜-铜Cu-Cu连接，在一款传感器中最多用了300万个铜-铜连接器。

可以看出CIS的技术门槛很高，微架构方面的改进都是在纳米级别。半导体制造方面也需要有足够的工艺水平来配合设计的构想，故此索尼与三星在CIS方面都是IDM模式（Integrated Device Manufacturing，全产业链模式），即自己拥有设计、制造、封装全套技术。

通过技术方面的不断探索，索尼与三星逐步占领了CIS市场份额前两位，目前两个巨头市场份额超过60%。

2.2 CIS市场概况

根据IC insights 2016年数据，2016年全球图像传感器市场规模约为116亿美金，到2021年预计为170亿美金，CAGR=10.3%，销售数量CAGR=13.6%。我们的预测数据高于IC insight，详情请看2.3节。

CIS市场集中度较高，龙头（索尼）份额进一步加大。2016年前四大公司占有全球76%的市场份额，索尼（42%）、三星（18%）、豪威/Omnivision（12%）、安森半导体（6%）。前几大厂的侧重点各不一样，索尼与三星主要是消费电子应用占主导，安森半导体则在汽车电子有优势。

2.3 下游需求仍将保持旺盛

过去十年，对于CIS最大的拉动莫过于智能手机的普及。未来十年，我们认为多摄像头手机、无人驾驶汽车、安防、医疗、机器人等行业应用占比将逐步升高，继续拉动下游需求。

从左下图可以看出，从智能手机兴起开始，CIS的出货量曲线基本拟合智能手机出货量曲线。2013年以前主要是智能手机的拉动，尽管在2013年后，手机增长趋势放缓，但是由于其他应用的崛起，例如安防、智能汽车、物联网等，CIS的增长曲线仍能保持以前的增长趋势。

多摄或将成为行业趋势

虽然智能手机出货量已经趋于稳定，但是双摄甚至多摄摄手机再一次拉动了CIS的需求。目前配备双摄的主要是2000元以上手机。根据第三方数据，2017年全球双摄手机渗透率达到了8%-10%，我们估计未来3年有望达到50%渗透率甚至更高。即绝大部分2000元机以及相当比例千元机会标配双摄。仅此一项，按年出货15亿部手机计算，未来三年即可额外拉动7亿颗CIS需求。

2018年华为已经率先推出搭配3摄的P20 Pro旗舰手机。而国外厂商Light已经推出配备9个摄像头的原型机。在智能手机创新不足的情况下，摄像头是为数不多可以做文章的突破口。

3D感测（3D Sensing）将增加红外CMOS图像传感器需求

3D感测是未来人机交互的重要入口之一。根据AMS公司预测，2017年3D感测市场规模为1亿欧元，未来5年3D感测市场CAGR=44%，2022年将达到8亿欧元。目前由于成本与技术的原因，大部分3D sensing 应用在工业领域。随着产品技术的不断发展，未来4年电子/汽车/工业领域CAGR分别为74%/45%/13%。到2022年预计超过60%的下游应用在消费电子领域。

未来3D感测应用将从手机延伸到汽车、智能家居、可穿戴设备。主要应用有：

智能手机：人脸识别、AR、手势识别

工业：3D 定位、无人机器人、图案（Pattern）识别

智能家居：手势识别、光线感应、人体感应。

汽车：驾驶监控（例如疲劳驾驶）、手势识别、3D雷达

目前3D感测主要有三种技术路径：结构光（structured Light)、TOF(Time of Flight)与双目测距(Stereo Vision)。其中双目测距所需算法量太大，对于硬件资源要求较高，目前产业主要以结构光与ToF为主。

从上表可以看出，3D sensing中对于红外摄像头或者红外传感器的需求是最多的。

随着AR应用的发展，未来手机3D感测配置将从前置扩展到后置。ToF 感应技术识别距离可达4~5m，远超过结构光识别距离(一般在1m以内)，故此我们分析未来后置3D感测技术路径将是ToF主导。例如微软游戏主机Xbox One中的Kinect就是采用ToF技术解决方案。

根据智能手机出货量与3D感测前置/后置渗透率，我们估算未来三年3D感测对于红外CIS的拉动需求为7000万颗/1.79亿颗/3.5亿颗，YOY分别为600%/255%/196%。

汽车无疑是继手机之后最大的CIS应用场景之一

预计到2021年，车用CIS在所有应用占比将从2015年的3%提升到14%，是增幅最大的下游应用。

车均摄像头数目有望从目前1.23个持续增加，到2020年预计达到2.2个/车。2017年全球车载摄像头出货量约为1.2亿台，汽车产量约为9700万辆，平均全球每台车装备摄像头数目约为1.23个。随着各个国家对于交通安全的重视（例如美国要求在2018年5月开始所有新产轿车必须装备后视摄像头，到2019年范围扩大到所有卡车与公交车）以及ADAS的渗透率提升，未来车均摄像头数目有望持续增加。

一个摄像头对应一颗CIS。基于以下几个假设，我们估计未来3年车载CIS需求量：

全球汽车产量年均增长4%

配备ADAS车均摄像头5个，1个后视摄像头+4个环视摄像头

普通车配备一个摄像头

结论：预计未来3年车载（前装市场）CIS需求量分别为1.4亿、1.8亿、2.4亿颗，增速分别达到21%、28%、33%，到2020年车均摄像头数目为2.2颗。以上估算略有保守，高端ADAS车型车均摄像头超过5个，例如Tesla配置8颗摄像头。

多摄智能手机、3D感测、无人汽车三驾马车对于CIS拉动

综上所述，我们预测了对于CIS拉动最大的三架马车：即智能手机多摄、3D 感测、无人驾驶汽车（前装市场），对于CIS的需求未来三年将达到34亿、39亿、45亿颗，YoY分别为12%、15%、15%。

视频处理芯片——计算机视觉芯片将成为主流

视频处理芯片的作用主要是处理上游CIS传输过来的数字信号，例如受限于传输带宽的原因，图像需要进行压缩、编码等处理，经过传输，在后端进行解压缩还原图像。在这个过程中，视频处理芯片处理算法的质量直接决定着图像后端显示的清晰程度，重要程度可见一斑。

目前估计全球视频处理芯片市场规模约为30亿美金，其中安防领域5亿美金左右。预计到2022年整体将达到55亿美金，4年CAGR约为16%，其中汽车占比最高（74%），将达到41亿美金；安防占比其次（20%），将达到11亿美金。

我们认为以下几个方面将会继续拉动视频处理芯片的发展：

终端视频设备数量持续增加。随着芯片小型化与性能提高，越来越多的终端可以提供高质量视频，如智能手机、平板电脑、可穿戴设备、安防摄像头、无人机等。关于手机、汽车等数据请参阅我们第二章的分析。

安防领域，我们估计2017年全球网络摄像机芯片出货量达到1亿台左右，其中专业安防占70%，消费级安防占30%，估计未来安防市场CAGR=15%，到2022年预计网络摄像芯片整体数目将达到2.01亿台。

图像处理质量能力提升->ASP提升。终端产品所支持的图像画质逐步提升，从最早的480P->720P->1080P->4K（UHD,超高清）。终端屏幕显示能力的提高反过来驱动了片源图像质量的提升，同时也驱动了芯片的处理能力的提升。

视频压缩能力需求加强->ASP提升。对于家用摄像机领域，压缩视频可以延长摄像机的电池使用寿命与摄录工作时间。我们看到纯无线电池类摄像头开始涌现，代表产品：Amazon doorbell，待机时间可长达6个月。对于专业安防领域则可以节省传输带宽，故此芯片压缩视频的能力变得至关重要。

例如，现在视频芯片普遍从H.264编码格式升级到H.265编码方式。相比H.264，H.265只需原先H.264编码的一半带宽即可传输相同质量的视频，同样存储方面也会节省一半的空间。

功能性模块增加->ASP提升。在个人消费领域，消费者会随时把视频从终端传到智能手机或者社交网站分享，而在专业领域，视频会被传输到云端储存、分析。这就要求芯片具有无线通讯能力，即蓝牙或者wifi模块。

计算机视觉功能加入->ASP提升。计算机视觉指的是芯片可以自动分析、处理、识别图像中的内容。比如停车场中的自动识别车牌、自动驾驶中识别左右交通线防止车道偏离、人脸识别等。

具有计算机视觉模块的视频处理芯片将会逐步占领主流市场，目标领域是边缘端。把计算机视觉处理能力放在边缘端可以1）降低减少带宽需求2）降低云端存储成本3）加快反应时间

代表产品：海康威视500 万星光级1/2.7”CMOS ICR 日夜型半球型网络摄像机，其主要特点有：

高分辨率:2560×1440@25fps

支持背光补偿，适应不同监控环境

红外模式：自动切换,实现真正的日夜监控

计算机视觉：10项行为分析,2项异常检测,1项识别检测

主要视频芯片厂商

4.1 全球CIS相关公司

这里我们对比一下国内外CIS厂商各自主流高端产品：

从传感器尺寸、有效像素、帧率等三个主要参数看，索尼仍然在CIS领域领先全球。例如索尼2018年7月最新发布的IMX586具有业界最高水平的 4800 万像素，并且传感器尺寸为 1/2 英寸，在高达4800万像素图像下，仍然可以达到每秒30帧的水平，性能相当强悍。三星与豪威紧随其后，中国厂商的产品虽然距离一流大厂还有一定差距，但已经逐步从中低端开始渗透。

索尼——CIS市占率42%

源自日本，以研制电子产品为主业，经营领域横跨消费性电子产品、专业性电子产品、游戏、金融、娱乐等。众所周知，索尼公司长期统治了相机市场，与其掌握强大的核心元器件技术CIS是分不开的。2017其半导体营收占集团总营收10%，达到72亿美金，其中主要产品有CIS（营收45亿美金，约占半导体营收60%）、VCSEL(应用于3D感测核心部件)、电视投影仪芯片、OLED等。其多次发布革命性CIS技术，如3D堆叠（具体见2.1节），牢牢占据摄像领域高端市场。

三星电子——CIS市占率18%

韩国最大的消费电子产品及电子组件制造商，亦是全球最大的信息技术公司。2017年受益于存储器价格景气周期，存储龙头三星电子超过Intel成为最大的半导体公司。2017年三星电子总营收2139亿美金，其中半导体营收663亿美金，占总营收31%。CIS营收约为20亿美金左右。

Omnivision（北京豪威科技）——CIS市占率12%

成立于1995年的豪威科技，是一家领先的数字图像处理方案提供商，原为美国纳斯达克上市公司，后于2016年初被中资财团以19亿美金收购。公司主营业务就是CMOS图像传感技术。

截止到2017年底，豪威主要财务数据如下（人民币）：资产总额 143.7亿；净资产90.89亿；营收90.5亿元；净利润27.7亿元。

2018年7月14日，韦尔股份公告拟以现金收购北京豪威1.97%的股权，本次收购价格预计为人民币2.6-3.0亿元，我们预期以后韦尔会提高其持股。

中国资本收购豪威，有助于补中国在CIS领域的空白。被收购前，豪威是属于CIS第一集团，市占率仅次于索尼、三星。从豪威专利数量也可以看出豪威的技术储备，而且在国外的专利数量（我们分析主要是中国）已经超过美国本土。如果中方资本能够利用好豪威的技术储备，背靠中国的大市场，豪威在中国半导体的产业链中将占有重要一环。

安森美半导体On Semiconductor——CIS市占率6%

安森美半导体(ON Semiconductor，美国纳斯达克上市代号：ON)提供全面的高能效电源管理、模拟、传感器、逻辑、时序、互通互联、分立、系统单芯片(SoC)及定制器件。

格科微——未上市

公司创立于2003年，是国内领先的图像传感器芯片设计公司，主要服务于全球移动设备及消费电子市场。目前，公司主要从事CMOS图像传感器、LCD Driver、高端嵌入式多媒体SOC芯片及应用系统的设计开发和销售，获得中国半导体行业协会颁发的“2017年中国十大集成电路设计企业奖”。

国内第一颗量产的CMOS图像传感芯片，第一颗基于BSI工艺的5M像素CMOS图像传感芯片以及第一颗BSI工艺的2M像素CMOS图像传感芯片均来自于格科。

4.2 图像处理芯片相关厂商

华为海思国内芯片龙头企业已经占有专业安防领域超过50%市场份额，从以下产品性能对比也可以看出，高端Hi3559芯片在专业安防领域已经不逊于国外产品。安霸新产品CV2主要卖点在于配备神经网络（DNN）的计算机视觉功能，可以在边缘端领域自动识别物体；被英特尔收购的Movidius芯片有比较好的性能与功耗的平衡，目标市场在于可穿戴、无人机等领域；中国富瀚微在高清视频处理方面颇又有竞争力，已经成功进入国内一流安防市场，并且积极进行汽车前装领域的验证。

华为海思——专业安防芯片领域市占率超过50%

海思半导体作为中国大陆半导体设计公司龙头，2017年营收达到387亿人民币，同比增长27.7%.海思已经深耕半导体行业20多年，有超过200种芯片和专利数量超过5000。在以智能手机代表的移动通信领域，海思麒麟系列芯片已经成功跻身国际一线芯片行列，无论是从处理器速度、基带（全网通模式，上\下行下载速度）、工艺制程等参数均不输于国外一线大厂。

在安防领域，根据我们的市场调研，海思已经在专业安防领域（即对芯片性能要求最高的领域），已经占有全球50%以上市场份额，产品已经广泛应用于海康威视、大华股份等一线安防厂商。而华为的目标不仅仅是专业安防领域，在消费级也在逐步扩展市场。例如视频会议系统、USB即插即用运动相机等。

华为在安防领域的优势：

1）掌握底层核心技术：芯片。在这一系列扩张的背后都是有强大的技术做支持：从底层芯片到上层软件从而延伸到整个系统，缺一不可。而华为恰恰掌握了底层最核心的元器件——芯片，即掌握了整个系统的入口，在自家芯片上开发自家系统，无论从安全性与系统开发迭代速度角度看都有较大优势的。

2）掌握未来发展的入口：人工智能。未来安防向着智能化方向发展。而华为已经率先在自家芯片试验人工智能模块，例如应用于旗舰机Mate10的麒麟970芯片。虽然麒麟970的人工智能功能不是很明显，可以看做是一次试水，我们更期待今年发布麒麟980芯片在人工智能方面的表现，但是这个证明华为已经在未来科技入口处开始布局，并且是从芯片、软件、系统、产品全方位布局，可以推断华为会将人工智能应用从智能手机扩展到智能安防领域。

安霸（Ambarella）——市场地位受到挑战

2017发布第一款计算机视觉芯片CV1，主要应用在安防、可穿戴、无人机领域，未来还将扩展到无人汽车等领域。下游主要客户包括海康威视、大华股份、GoPro，Garmin等。2018财年营收达到2.95亿美金，下游主要市场包括安防、无人机、运动相机、汽车（包括前装、后装）等。

安霸在视频市场的地位收到了来自中国厂家的挑战，主要竞争对手包括海思、富瀚微等。故此安霸需要加快开发高端产品，以增加产品附加值，例如2018年推出的采用10nm工艺的CV2计算机视觉芯片，主要定位于无人汽车市场。

富瀚微

A 股为数不多的安防芯片优质标的。公司成立于2004年，是国内最早进入安防视频监控相关领域的企业之一，公司主要产品为安防视频监控多媒体处理芯片。其中，图像信号处理（ISP）芯片产品种类覆盖度高，2016年模拟摄像机ISP芯片市场份额超过60%；网络摄像机芯片（IPC SoC）的市场份额由于与安防巨头海康威视的深度合作得以快速提升，2017年度IPC SoC 芯片在安防领域实现从零到一的增长。

公司积极向高端领域扩展：

1）逐步向汽车前装市场渗透。公司现在已经有1颗芯片进入国内主流厂商前装验证环节，目标是360度环视系统。

2）积极投入研发，在研项目有：

面向消费应用的云智能网络摄像机SoC芯片：具备AI人脸识别的轻应用人工智能芯片。

H.265超高清视频编码SoC芯片。H.265编码技术将比上一代H.264编码技术提高一倍的压缩比例，即H.265只需原先H.264编码的一半带宽即可传输相同质量的视频，同样存储方面也会节省一半的空间。

预计安防市场空间未来3-5 年仍有望保持15%-20%左右高速增长，公司仍将受益于行业增长红利。

国内厂商还有北京君正，国科微等

晶方科技——CIS封测厂商

公司成立于2005年，专注于传感器领域的封装测试业务，同时具备8英寸、12英寸晶圆级芯片封装技术。封装产品主要包括CIS芯片、指纹识别芯片、微机电系统芯片（MEMS）等。

公司一直在走“小而美”路线。深耕晶圆级封装技术，相对于同行业，毛利率净利率一直领先三大封测厂。

国家扶持推动公司发展。2018年初，国家大基金以6.8亿元入股晶方科技，占9.32%股份。晶方科技是细分赛道CIS封测的龙头，未来无论在物联网、3D sensing 领域均有重要战略意义。

大力投入研发。2017年研发支出9600万，占营收15%，行业内也处于遥遥领先地位。预计公司未来将在汽车电子、3D sensing等领域逐步扩展业务。