(原文作者:富士通半导体 welch ding 丁洁早)
引言
从3d着色到影像变形,现今绘图显示控制器(gdc)的功能,透过各式各样的应用呈现在使用者的眼前。众多高阶图像显示控制器的产品风格与价值,塑造出让消费者目眩神迷的影像,在频谱的另一端,各种等级的gdc能明确而简单地显示资讯,让使用者一目了然看到自己想要的讯息。
不论是简单的功能或炫丽的特色,能在绘图功能上细心投入的,最后必会在许多层面获得明显的成果。打造完美图像功能的第一步,是针对应用目标选择一款适合的gdc,并以合理的价位获得所需功能。gdc可根据其性价比分成下列三类:
基本 - qvga萤幕,预先着色的图形,可包括影像输入功能
中阶 - wvga萤幕,以2d动态绘图为主,也可支援3d,有支援影像输入功能
高阶 - sxga或更高分辨率的萤幕,动态3d绘图,多重影像输入
本白皮书将为您阐述这三种gdc功能,以及它们如何达成各种应用之目标。文章最后将介绍富士通半导体阵容完备的gdc系列产品,还有该公司的360度环绕视讯影像技术。现今各种产品研发业者最重要的设计任务之一,就是充分发挥gdc各项功能优势,包括跑步机、电冰箱、智慧型手机和汽车等产品。
1 决定嵌入式绘图架构的因素
1.1 成本压力
汽车产业是成本相对敏感应用领域的一个很好的例子,对于系统研发业者而言,最重要的工作就是降低零组件(bom)成本。就基本到中阶的应用而言,研发业者可采用系统单芯片(soc)绘图控制器来满足此方面需求,利用这种元件作为单芯片解决方案,这些gdc能透过can总线来和其他汽车系统进行通讯,并能切换到关机的电源模式来节省电池电力。由于内部vram记忆体的容量有限,加上各项系统瓶颈(像是总线速度)的限制,因此这些装置所支援的图像功能,弹性,像素填充率,以及萤幕尺寸都会受到局限。
当成本因素的重要性不及效能时,这类应用可采用多重芯片架构的高阶芯片。这些gdc依赖外部车用来管理can传输作业,电源,以及像是步进马达控制器等周边元件。
此外,由于这些gdc没有内建vram与程式快闪记忆体,因此会利用外部vram来支援高效能作业,在未来,运用内建式vram可进一步降低高阶车用gdc成本。
相较于汽车产业,像是医疗和航空等领域的应用,面临的成本压力相对较低。系统研发业者可选择采用独立高阶gdc芯片,因为客户愿意多花一点钱来购买更高效能。若系统一开始设计时,需要重复使用软体,而是把一个独立gdc放到系统中就是个不错的作法。
运用一颗时脉速度约1ghz的cpu,像是英特尔的atom,制造商可在不同产品线上重复使用一部分的硬体与软体。有些产品可使用内建在cpu内的gdc。有些对价位较敏感的产品,但对效能的要求不是很高,则可采用soc产品,其中效能强大的cpu整合了gdc处理核心。
1.2 终端客户的期盼
有些应用必须配合智慧型手机常见的高阶绘图能,此类应用之广包括汽车与各种家电产品。
而在这些应用中,系统研发业者必须确保gdc能绘制出流畅清晰的影像,让系统能针对使用者的输入讯息做快速反应,因此,若要提供能满足最终使用者的经验,gdc就不能成为系统瓶颈,才不会产生延迟。
基本型与中阶的应用也许使用真单芯片的soc即足够。但对于高阶应用而言,这类元件无法提供足够效能,因此需要用到含有外部vram与快闪记忆体的高阶(多芯片架构)芯片。
若产品的萤幕支援24位rgb输入讯号,则24位rgb输出功能的gdc可协助避免频带效应 - 亦即相同颜色的阴影会出现急剧变化。运用24位色彩可确保图像影像外观流畅,否则,这样的应用就必须动用gdc内的抖色功能,来抵销频带效应。抖色可在画面缓冲区中套用随机的杂讯,以避免因有限的色彩深度导致的频带效应。
尽管流畅鲜明的图像总是能吸引目光,但像是设备等应用,光靠较基本的图像功能,就能达到坚固易用的设计目标。在许多应用中,较低阶的gdc就能提供令人惊艳的效能,而且不会让零组件成本攀升。
1.3 绘图内容的性质 - 静态或动态
业者还必须根据图像内容的性质来挑选gdc。若内容属于静态,而且能预先判断,像是spirite引擎这类低成本gdc就足堪重任。预先着色的位元图可储存在sprint gdc的外部快闪记忆体。这类gdc非常适合用来处理不同色彩格式(包括使用色彩查找表或把实际像素值储存在画面缓冲区),而且还能处理透明与alpha-blending的作业。运用资源耗用较少的压缩法,像是rld(运行长度解码器),可大幅降低预先着色绘图的储存需求,进而降低成本。
其他需要动态图像的应用,像是地图或随机动画等,其所需内容都是当场立即决定,这些应用需要一个具备全功能管线的gdc,可透过贴图(纹理贴图)2d或3d来着色模型。像是硬体光源与云雾等,也可发挥这类功能的效益。对于较复杂的作业而言,内含着色器的图像引擎可带来更高弹性。
利用功能完备且具弹性的显示控制器,不仅能简化图像建置的工作,还能支援更好的图像功能,明确的说,图像开发远比控制器功能来得简单,像是弹性图层法以及支援多图层与alpha-blending,还有各种色彩深度。
1.4 2d或3d图像
运用3d绘图对于gdc的效能与功能需求会有显着影响,例如,3d应用需要的顶点处理性能远高于2d应用,再加上像是贴图与mipmap贴图等功能所需的视野校正,这些都是3d图像需要的功能(mipmap是主要贴图的优化与调整尺寸版本,这种贴图和主要贴图储存在同一处)。它们让系统不必立即调整主要贴图的尺寸,对于效能提升有明显帮助。
在3d图像中光是加入?轴座标,就会大幅增加处理需求。相较之下,2d绘图着色的过程则简单许多,若内容属于静态,还能预先着色,就如同本文先前所讨论,在2d或3d动态内容方面,需要用到一个全管线化的图像引擎。
1.5 显示屏分辨率
因为尺寸较大,分辨率较高的显示屏必须处理更多像素,因此采用较大显示屏的应用就需要更快,更强大的gdc。航空与医疗方面的应用,通常在其低阶机种需要640 × 480像素的显示屏,而在高阶机种中就需要1280 × 1024像素分辨率的显示屏。在汽车市场,低阶仪表板与中控台的显示屏尺寸通常为480x272像素,中阶机种为800x480,而高阶机种则为1280x480或更高像素。
1.6 显示屏数量
不论是增加单一显示屏的分辨率,或是增加显示屏数量,其所涉及到的像素数量都会以倍数增加,并需提高gdc的处理需求。虽然可以运用多个gdc来应付需求,但也有某些gdc内含的显示屏控制器能透过单一控制器来支援多个显示屏。这些gdc能多工处理视讯输出资讯,其运用两倍的显示屏或像素时脉频率的速率,就像是处理一个显示屏一样,不过这两个显示屏必须拥有相同的时序属性与显示屏分辨率。这类gdc对于汽车仪表板相当实用,因为仪表板通常有两个相同分辨率的显示屏。
另一方面,有些gdc整合了超过一个显示屏控制器,能驱动多个不同时序与分辨率的显示屏。这类控制器的成本会低于两个独立式gdc,设计工作也较简化。这其中一个典型例子,就是车用抬头显示器(hud),hud在仪表板上的显示屏分辨率就低于主显示屏,而也有一种汽车应用是运用单一gdc来控制仪表板与中控台显示屏。
1.7 视讯撷取的需求
gdc针对不同的显示屏影像输入来源提供各种功能,包括摄像头或其他讯号来源。有些gdc整合了必要的模拟电路来支援模拟式ntsc(美规)/ pal(欧规)的影像输入讯号,这些控制器对于基本视讯撷取应用而言相当实用。而其他gdc则支援数位yuv / rgb视讯格式,或需搭配ad转换器。
对于需要撷取多重视讯的应用而言,可采用较高阶的gdc,这类元件整合多个视讯撷取单元,其显示屏控制器亦必须更强大,才能处理多重输入讯号,并把视讯串流重叠到影像上。
汽车抬头显示器就是这种功能的另一项应用。由于影像投射在挡风玻璃上,为了配合挡风玻璃的曲度,其影像的调整处理过程便会类似鱼眼校正。
影像的变形需要有内建3d功能的gdc来调整。若gdc能调整视讯影像的分辨率高低,对系统会很有帮助。
支援多重摄影处理的全景系统提升驾驶辅助系统之功能
另一项特殊应用可能成为未来汽车的重要功能,就是利用装在车体四周的多部摄影机,将其输入影像结合成一张图像。这种应用中的系统必须要能处理高分辨率视讯,再加上各种特殊影像处理功能,以接合成一张环绕全景的影像。
理想的解决方案,是采用一个能够支援多重视讯输入格式,并具备高速影像处理功能的gdc,这种方案不需要外部fpga就能建置这些功能,并达到必要效能,将3d着色功能纳入gdc内,系统便可将接合影像对应到碗状表面,以显示出逼真,无扭曲的360度车体四周环绕影像。
1.8 特殊需求
在许多情况中,各种特殊需求也会影响gdc的选择。本章节接下来将会介绍这些需求。
1.8.1 影像变形调整
摄影机本身就存在镜头鱼眼扭曲的问题,导致拍出的影像出现变形。若摄影机没有内建功能来校正此问题,gdc就必须运用一种名为影像变形的功能来校正扭曲影像,此过程会将输入视讯影像对应到3d表面,借以消除鱼眼扭曲。如下图所示,图像表面是由一组包含(x,y,z)座标点的模型网格所产生。
1.8.2 安全应用
在汽车产业,像是影像增强与物体侦测等功能,可协助防范意外与拯救性命。建置这类功能,需要动用gdc内部的特殊影像处理模块。
世界许多地区的管理当局规定许多安全功能,像是签章单元 - 这种检查码功能可确保图像内容显示在显示面板上的正确位置。将这种功能内建在系统中,可节省成本以及cpu耗用资源。
1.8.3 支援旧硬体/软体和独立gdc需求
某些应用必须重复使用先前设计案的cpu,借以支援各种旧型需求,而且无法重头开始设计。这些应用通常可善加运用独立式gdc,这类gdc没有内建cpu,而且可透过记忆体, pci,或pci express的总线来和旧型cpu进行通讯。这种方式能支援可扩充设计,与各种不同效能和功能组合。
1.8.4 序列链路连结远端显示屏
有些应用需要连结远离gdc的远端显示屏,这类产品需要利用像是apix这类高速序列总线,来把视讯内容传送到显示屏。这种组态让系统能采用客户机/服务器架构,由gdc扮演主控端,而显示屏则是从属端。分头独立开发从属端与主控端系统,将有助于降低主控端的软体与检验成本,因为印刷可重复用在整个系列的多款产品上。如果高速序列输出功能是整合在gdc内,这类建置方案将会非常有用。
2 富士通的gdc方案
如下图所示,富士通提供众多gdc,涵盖各种类型的应用,包括高阶型到基本型。在每个类型当中,富士通均提供一款适合各类型应用的,整合cpu,gdc,以及各种周边元件,这些元件将在以下章节详细介绍。如果系统并不需要从基础开始组装,而且必须延用一部分的旧元件,富士通的全系列独立gdc会是极具吸引力之方案。
2.1 以下产品适合支援需要基础且独立之gdc且对成本敏感之应用
mb86291“scarlet”是一款第二代gdc,具备3d着色功能以及一个几何座标处理器,此款元件支援视讯输出与输入功能。2mb的内建vram记忆体可节省pcb空间与成本。
mb86276“lime”与mb86277“mint”是没有内建几何座标处理器的gdc,但仍支援z-buffer元件。lime能同时驱动两个多工显示屏。lime与mint(以及scarlet)拥有sram接口来连结外部cpu。
mb88f332“indigo”是apix应用的专属元件,它具备所有汽车必要的周边元件,包括脉冲调变器(pwm),步进马达控制器,类比至数位转换器(adc)等。
mb88f333“indigo- l”是indigo的低成本版本,它采用相同架构,但结合一组优化的周边元件,并采用较小封装来降低成本。
富士通的中阶应用方案可兼顾成本,功能,以及效能:
mb8629x“coral”系列的gdc属于全功能独立式3d产品,这些gdc运作时频率166mhz。
富士通的高阶独立式gdc提供卓越的效能与/或支援适合的专属应用。所有这些独立式产品都能运用gdc搭配外部cpu:
mb86297“carmine”是一款极强大的opengl es的1.1产品,支援两个独立视讯输入与输出端
mb86298“ruby”是最新的独立式gdc,采用的opengl es 2.0核心,并内建着色器引擎,这款产品支援四个独立视讯输入与两个视讯输出端。
富士通的gdc产品将cpu、gdc,以及周边元件,都整合到一颗单芯片中,可提供高整合度以及具吸引力之成本:
mb91590“sapphire”采用富士通的专利32位元risc微控制器,并内建一个双核心gdc,包含位元模块转换器(位块传送或blt),以及sprite引擎。而其整合1mb的快闪记忆体与800kb的vram记忆体,并提供一个外部接口来连结平行或串行式快闪记忆体。sapphire对于基本产品而言非常实用,让这类产品能采用预先着色的图像内容,可驱动较小的显示屏。由于sapphire亦支援类比与数位摄像头输入,因此对于简单的摄影机应用而言相当实用。
在中阶应用方面,mb86r0x“jade family”系列提供多功能,低成本的芯片解决方案,此系列元件具备333mhz的的arm926ej - s强大的cpu,并内含一个完整的3d图像引擎。jade系列支援独立的双视讯输入与输出端,此系列中的一款元件,b86r02“jade- d”支援apix,另一款mb86r03“jade- l”则建置适合低成本系统的功能。jade相当适合支援中阶应用,这类应用须处理动态内容并需要3d管线,但屏幕分辨率则属于800 × 480的等级。此系列元件亦支援较高的屏幕分辨率 - 最高达1280x768的像素。由于其结合视讯撷取与3d功能,使此系列元件能处理影像变形功能,可校正摄影机或屏幕的扭曲。
mb86r1x“emerald family”是富士通最新的2d/3d 绘图soc芯片,整合了gdc与gpu。此款尖端元件包含一个强大的arm的cortex - a9处理器,时脉高达533mhz,并含有的opengl es 2.0技术与着色器图形引擎。emerald拥有4个独立视讯输入端,以及3个独立视讯输出端,它还提供丰富的周边组合。这些功能让emerald成为极具吸引力的元件,能为高分辨率的屏幕提供动态与精采的3d内容。由于支援多重视讯输入与内建影像处理功能,emerald亦适合用在多重摄影机的驾驶辅助系统与安全应用。emerald- l与emerald- p的主要差别,是emerald- p速度较快,cpu主频533mhz,且具备apix接口来支援高速序列像素链路。emerald-l的cpu主频是400mhz。
2.2 富士通的360度环绕视讯影像技术
一组专门针对多重摄影机先进驾驶辅助系统之工具组
富士通亦提供360度环绕视讯影像技术,作为一种多重摄影机驾驶辅助与安全应用,这种技术亦整合成富士通的绘图芯片功能组。富士通的技术采用先进的3d算法,把四部摄影机的影像结合,组成一个涵盖360度的全方位车辆围绕视图。富士通的技术具备一项重要创新,就是能提供动态更新的可自设视角,或“自由视角点”。系统研发业者与驾驶人可利用“自由视角点“来选择特定驾驶情境下的最佳视角 - 包括虚拟三维之”第三者“视角,可同时看到车辆与四周影像。
3 结语
总结来说,现今极广泛的gdc功能,让元件选择成为应用开发的一个重要环结。富士通协助简化这种选择工作,针对各种应用提供许多量身打造的gdc选择,这些gdc产品都具备多元功能,并且获得业界肯定,具备竞争力与成本效益。
5G RedCap:对物联网设备 RF 要求的潜在影响
区块链可以在哪些领域影响我们的生活
IP矿用电话模块SV-2800VP
乐视超级电视亮相虎嗅F&M创新节 足以证明业界对其的认可
基于DSP与FPGA的机器人声控系统设计方案
嵌入式绘图架构选择之汽车电子显示控制器方案分析
FireEye推AWS新云安全解决方案 龙芯中科发布龙芯平台Java环境
140家企业耗费近4个月“厮杀”2017高工金球奖
三星将在2018开发者大会上展示折叠屏幕手机
三星Galaxy Buds Pro正式上架京东开售
关于未来工厂发展的五大趋势详解
基于FPGA和MB86S02的数字图像处理系统设计
汽车电子+5G 覆铜板未来商机无限
知用CYBERTEK高压差分探头P1300的使用操作步骤
什么是工控主板?工控机主板主要应用有哪些?
翌光发布中国最薄柔性OLED车灯样品
聊聊两粒子顶角函数的有趣之处
挠性电路材料是由什么构成的
FPGA之Verilog点灯小程序
芯闻3分钟:探秘临港特斯拉:500亿“速成”式超级工厂