基于彩色光栅投影的快速三维测量方法_王露阳

文章编号:1002-2082(2011)02-0276-06

应　用　光　学

JournalofAppliedOpticsVol.32No.2Mar.2011

基于彩色光栅投影的快速三维测量方法

王露阳,达飞鹏

(东南大学自动化研究所,江苏南京210096)

摘　要:针对条纹投影术提取物体高度信息的问题,提出了一种新的基于彩色光栅投影的三维测量方法。对选取G分量为255,R,B分量各取0或255而组成的青、白、黄、绿四色遵循格雷码原理进行编码,然后将G分量作正弦调制形成投影光栅投向被测物体。提取采集到的光栅变形图中G分量,利用傅里叶变换方法得到其初始相位;同时对采集到图像中的R,B分量作阈值迭代分割而G分量自动赋值为255,综合三分量信息得到条纹颜色信息进而获取条纹的周期信息,从而展开相位。全过程仅需投影一幅彩色光栅图就能完成三维测量,实验结果表明该算法易于实现,在测量实时性和精确性上表现良好。关键词:三维测量;彩色光栅投影;彩色编码

中图分类号:TN206;TP391　　　　　　文献标志码:A

Rapid3Dshapemeasurementbasedoncolor-encodedfringeprojection

WANGLu-yang,DAFei-peng

(InstituteofAutomation,SoutheastUniversity,Nanjing210096,China)

Abstract:Arapid3Dmeasurementtechniquebasedoncolorcodingfringeprojectionisproposed.The3Dshapeinformationofanobjectcanbeobtainedbyonlyonecolor-encodedfringepatternimage.Thecolor-encodedstripeswereembeddedintoasinusoidalfringepatterninordertogettheabsoluteshapeofanobject.Phaseunwrappingwasperformedaccordingtothecolor-encodedstripes.Anovelcolorcodingmethodusingfourcolorswasdesigned.ThesinusoidalGcomponentofacolorimagewasusedtoobtainthephasebyFouriertransformmethod,theRandBcomponentswereusedtoidentifythefringeordersothatphaseunwrappingcanbeeasilydone.Onlyoneframeofcolorimageisneededtogetthe3Dinforma-tionofanobject,experimentsindicatethatthe3Dinformationofanobjectcanbeobtainedaccuratelyandrapidly.

Keywords:3DMeasurement;colorfringeprojection;colorcoding

引言

基于结构光的三维测量技术是现代广泛应用的三维复杂曲面非接触式测量技术之一,具有快速、准确、适用范围广等优点

[1]

提取术[2]早期的图案法中,设计和投影到被测物体表面的为灰度图像,这时亮度是唯一可利用的信息。因此,为了获得一个视角下三维测量所需的足够信息,通常需要投影多幅图像,基于黑白图像的相移法实现三维测量的方法要采集的图像数量通常要达到十幅之多

[3]

,在产品检测与质

量控制、虚拟现实、文物保存工程、人体测量和医学工程等方面都有广泛的应用。在光栅投影轮廓

,这一点与动态测量所

收稿日期:2010-08-24;　修回日期:2010-11-23

基金项目:国家自然科学基金(60775025);新世纪优秀人才支持计划;江苏省自然科学基金(BK2010058)作者简介:王露阳(1986-),女,浙江义乌人,硕士研究生,主要从事图像处理、三维重构、三维动态测量、模式识别方面的研究工作。E-mail:jenny.lyw@gmail.com

应用光学　2011,32(2)　王露阳,等:基于彩色光栅投影的快速三维测量方法

·277·

需的实时性和快速性要求相违背。随着测量快速性要求的日益提高,学者们提出了快速性较好的测量方法。通常选择一幅正弦调制的黑白编码图像,利用傅里叶变换的方法解得初始相位,然后通过基于边缘跳变检测[4]或SongZhang等人提出的基于质量图指导[5]的方法进行相位展开。此类方法计算过程较复杂,在被测物体高度跳变剧烈时测量精度不高。

基于彩色图像的光栅投影方法主要是用一幅彩色条纹编码图取代传统灰阶码法[6]中所用的七幅逐步二分的黑白条纹图,彩色光栅的优点是可利用条纹颜色记录更多的被测物体相位信息,达到减少图像采集数量、改善相位法实时性的目的。一些学者提出了三色相移法,此法充分利用了彩色图像R,G,B三个分量携带的信息,即对三个分量分别进行相移为0°、120°、240°的正弦调制,从而代替传统三幅相移法中的三幅相移图,三色相移法在完成整个三维测量的过程中需要两幅图,在快速性的改善上还存在不足。文献[9]介绍了利用一幅彩色编码条纹图像加一幅灰度图像完成三维信息测量的方法。W.H.Su等人提出的基于彩色编码条纹投影的三维测量方法,此法仅需一幅彩色编码条纹图即可完成对待测物体三维信息的获取

[10]

[7-8]

图1　基于本文方法的三维测量流程图

Fig.1　Processofmeasurementbasedontheproposed

method

1.1　彩色投影光栅

图2为根据本文方法设计的彩色编码条纹,该彩色条纹图选用了绿色(010)、青色(011)、白色(111)、黄色(110)四色,用RGB三分量描述。其中“1”表示该分量的值为255,“0”表示该分量的值为0。再将其中G分量按(1)作正弦调制,最后得到图1所示的彩色编码条纹图。

πxf(x)=255×sin()w

(1)

。

基于上述问题,本文提出了一种新的基于彩

色光栅投影的三维测量方法。该方法只需投影一幅彩色编码条纹图像即能完成测量。黄、白、绿、青四色基于格雷码原则进行编码,可靠性高,易于编程实现。然后将G分量作正弦调制形成彩色投影光栅,通过对采集到的图中R,B分量作阈值迭代分割得到正确的颜色信息后解码获得条纹的位置信息,再将采集到的图像中的G分量单独分离出来,利用基于傅里叶变换[11]的方法解得其灰度信息的初始相位值,最后结合初始相位信息和相位周期信息进行相位的展开。该方法将求取相位的两个步骤所需的信息融合在一幅彩色编码图像中,充分利用了彩色图像RGB三分量信息,算法易于实现且在测量快速性、测量精度上都能达到较理想的效果。

式中:f(x)为根据本文方法设计的彩色编码条纹图像中G分量在单个条纹宽度内位于横向第x个像素点的灰度值;w为条纹宽度;x在0～w之间取值。

图2　本文所用的彩色投影光栅图

Fig.2　Appearanceofthedesignedcolor-encodedfringepatternfor

projection

1.1.1　编码规则

1　测量原理

图1给出了基于本文提出方法实现三维测量的具体流程。

本文方法选用绿、青、白、黄四色,这四种颜色中G分量值均为255,R,B分量为0或255。编码原则是相邻的两个码组之间只有一位不同即基于格雷码

·278·

应用光学　2011,32(2)　王露阳,等:基于彩色光栅投影的快速三维测量方法

原理进行编码,克服了码间干扰问题,得到序列周期唯一且编码周期起始位置任意的彩色条纹编码(见图3)。其中,编码周期为4,条纹周期为32。

图5中5幅图给出了选用本文设计的编码方式和分割方法得到彩色分割图效果与选用其他彩色分割方法和编码方式得到的效果图的对比情况。

图3　编码条纹颜色组合信息

Fig.3　Colorarrangementoftheproposedencodedscheme

1.2　彩色分割

阈值迭代分割

[12]

算法是采用逐步逼近和迭代

的方法来选取阈值,从而根据这个阈值完成图像分割。这是一种基于单像素的分割算法,在灰度图像的分割应用中比较成熟,能较快得到理想的分割效果,在图像目标和背景差异不大的情况下是比较理想的选择。本文将其应用推广到彩色图像分割的处理中,具体原理如图4所示。

图5　分割效果图Fig.5　Segmentationresults

　　图5结果表明,针对本文设计的彩色投影光栅,如果同时对R,G,B三个分量作阈值迭代法分割,由于G分量的正弦性,在单位条纹周期内部出现带状明暗区域,无法统一选取阈值而将导致无法识别单位条纹周期内部边界的颜色信息,结果如图5中(a)所示;如果用同样的编码原理对颜色进行排列,但选择R,G,B三分量同时正弦调制时,不论是对三个分量同时作阈值迭代法分割还是仅选取其中部分分量分割,同样在单位条纹周期内部的较亮区域和较暗区域依然会因为无法统

图4　迭代阈值法求彩色图像分割阈值流程图Fig.4　Flowdiagramofstepsforgettingsegmentation

thresholdbyiteration

一选取阈值进行二值化而影响分割效果。这也表明本文提出的结合编码颜色中RGB分量的特点所采用的分割算法在不影响精度前提下能很好地简化彩色图像分割算法。1.3　相位提取

为了得到图像中每一点的相位信息,本文分两步获取所需信息:一步是初始相位信息的提取;另一步是相位的展开。第一步:求取初始相位

把采集到的彩色光栅变形图中G分量信息单独提取出来,得到整幅图每处G分量对应的一个灰度值(见图6)。　　基于本文设计的彩色编码条纹所选用颜色的特点即G分量值均为255,R,B分量为0或255,由于在投影光栅中,R,B分量未经调制,因此可认为在采集到的图像中,单位条纹周期内部它们的值是不变的。这样在彩色分割步骤中根据图4流程得到图像中,R,B分量的分割阈值完成二值化的结果是比较准确的,然后将G分量值自动赋为255,最后把三个分量综合,完成彩色图像分割。在不影响分割效果的前提下简化了彩色图像分割过程。

应用光学　2011,32(2)　王露阳,等:基于彩色光栅投影的快速三维测量方法

·279·

①从左到右遍历第i行像素,标志出各条纹的边界,并根据初始相位信息图中边界跳变信息对

图6　彩色图像对应的G分量信息灰度图

Fig.6　Projectedcolor-encodedfringesdisplayedingrayin-tensitylevels

彩色分割图像边界加以修正。

②判断出彩色图像分割图中各条纹的位置编码。从左到右依次取出各个编码周期的条纹,即每次取出相邻的四个条纹,将其排列顺序与用于投影的彩色编码条纹中的条纹序列进行对比,由于相邻四个条纹的组合都是唯一的,当找到匹配的组合时,就能确定取出的四个条纹的位置编码。同理可确定该行所有条纹的位置编码。

③用各像素所属条纹的位置编码取代标志数组中的颜色编号。只要该位置像素不属于背景部分,则把对应位置的元素值换成该像素所属条纹的位置编号。

通过上述步骤得到图像中每一点像素所属的条纹位置编号即相位周期信息,将相位周期信息和利用傅里叶变换解得的初始相位信息结合,依据(3)式对相位展开得到最终相位 (x,y):

(x,y)=Δφ(x,y)+2π(n-1)式中n为条纹位置编号,即相位的周期信息。

(4)

　　将G分量灰度图像可表示为

2πI(x,y)=a(x,y)+b(x,y)cos[x+Δφ(x,y)]=

d1j[2πx+Δφ(x,y)]

　　　　a(x,y)+b(x,y)ed+

2　　　　1b(x,y)e-j[

2

2πx+Δφ(x,y)]d

(2)

式中:a(x,y)为背景光强;b(x,y)为调制光强;I(x,y)为CCD采集到的图像中G分量在(x,y)位置处的光强;d为投影条纹周期;Δφ(x,y)为初始相位值。

由欧拉公式原理,(2)式可改写为如下形式:I(x,y)=a(x,y)+c(x,y)exp(2πif0x)+　　　　c＊(x,y)exp(-2πif0x)(x,y)为c(x,y)的共轭复数。

对(3)中所示的一维光强信号I(x,y)沿着正x方向进行一维傅里叶变换,滤波提取含有相位信息的基频分量,然后通过逆傅里叶变换得到每一点的初始相位值Δφ(x,y)。这里解得的Δφ(x,y)变化范围为0～2π,即每经历一个2π的变化发生一次周期跳变。第二步:相位展开

经由彩色图像分割环节识别出彩色编码条纹图中各条纹的颜色和边界之后,根据彩色编码的设计规则来设计相应解码方法,得出这些彩色条纹与用于投影的彩色编码条纹中各条纹的对应关系,即求得它们对应的位置编码,这个位置编码也就是相位周期性展开中用到的相位周期信息。解码步骤如下:

步骤1:数据预处理。首先建立一个标志数组,其元素数与图像中像素数相等,即数组的每个元素都与图像中相应位置的像素对应。将图像中出现的四种颜色白色、黄色、青色、白色,编号为1、2、3、4,并存入标志数组。

步骤2:对标志数组进行遍历,把其中的分量分组为背景部分和有用条纹信息部分,以减少需要处理的数据量。

步骤3:逐行遍历,得出第i行各像素对应彩色条纹的位置编码。(3)

＊

式中:c(x,y)=[b(x,y)/2]exp[jΔφ(x,y)];c

2　测量系统

基于彩色结构光的三维测量系统如图7所示。硬件结构由投影仪、CCD摄像机、图像采集卡、计算机组成。该测量系统选择OptomaEP737型投影仪向被测物体投影彩色光栅,采用分辨率为2048×2048像素的MegaPlusIIES4020彩色CCD采集经物体表面结构调制后的变形光栅图像,使用MatroxMeteorII图卡传输至计算机处理。其中,采集到的变形光栅图像携带了被测物体的高度信息,计算机经过图像分割、解码和解相位环节的处理,得到解码信息和相位值并进行相位展开,由图像各像素点对应的相位值可求得被测物体的空间坐标值。

图7　测量系统组成示意图Fig.7　Layoutofmeasurementsystem·280·

应用光学　2011,32(2)　王露阳,等:基于彩色光栅投影的快速三维测量方法

3　实验结果

选择白色瓶子作为实验对象,利用图7所示测量系统采集到如图8所示的包含被测物体高度信息的彩色光栅变形图。

间坐标值,借助于系统的标定信息生成瓶子的三

维点云效果图以更直观地检验三维测量信息得到的重构效果(如图13所示)。

图8　采集到的彩色光栅变形图(摄像机分辨率为2048

×2048像素)

Fig.8　Appearanceofaprojectedcolor-encodedfringe

pattern.(A24-bitcolorCCDcamerawith2048×2048pixelswasusedtorecordthefringes)

　　提取采集到的彩色光栅变形图中G分量信息(见图9),利用基于傅里叶变换方法解得初始相位(见图10)。利用本文提出的彩色分割方法对采集到的光栅变形图进行彩色图像分割,分割结果见图11,结合基于区域的滤波方法将分割结果中的噪声进行滤除从而正确得出图像中每一点的颜色信息进而得到相位周期信息,最终结合初始相位信息展开相位,具体见图2。

　　通过得到的绝对相位信息求得被测瓶子的空

应用光学　2011,32(2)　王露阳,等:基于彩色光栅投影的快速三维测量方法

·281·

　　根据图13的重构效果可知,本文方法的测量精度较为理想。由于图像采集过程中物体边界有少量的阴影和遮挡等不可避免的情况存在,由图10可知,利用傅里叶变换方法解得的初始相位图中物体轮廓边界信息存在一定的误差。同时由于拍摄环境中光照以及待测物体表面颜色信息和彩色条纹本身颜色的混叠以及拍摄阴影等因素的影响,在物体高度变化较为明显的瓶体边界区域彩色分割图中存在一定的误判影响了精度。但采用基于区域的滤波方法同时以分割图中边界修正初始相位边界等方法进行后续处理后,上述问题可得到较大改善。实验结果表明,在被测物体本身颜色信息较为单一以及物体高度没有出现剧烈的跳变时,本文算法能在仅投影一幅辅助光图像前提下有效地实现三维测量并达到较为理想的精度,算法流程不仅易于实现,而且在不影响分割精度前提下,分割算法的简化更具有优势。

dimensionalshapemeasurementusingopticalmeth-ods[J].OpticalEngineening,2000,39(1):10-22.[3]　PANJH,HUANGPS,CHIANGFP.Color-en-codeddigitalfringeprojectiontechniqueforhigh-speed3-Dshapemeasurement:colorcouplingandimbalancecompensation[J].SPIE,205-212.

[4]　张婷,路元刚,张旭萍.基于边缘检测的最小不连续

相位展开算法[J].光学学报,2008,29(1):180-186.ZHANGTing,LUYuan-gang,ZHANGXu-ping.Minimum-discontinuityphaseunwrappingalgorithmbasedonedgedetection[J].ActaOpticaSinica,2008,29(1):180-186.(inChinesewithanEnglishabstract)

[5]　ZHANGS,LIXL,YAUST.Multilebelquality-guidedphaseunwrappingalgorithmforreal-timethree-dimensionalshapereconstruction[J].AppliedOptics,2007,46(1):50-57.

[6]　SANSONIG,CAROCCIM,RODELLAR.3Dvision

basedonthecombinationofGraycodeandphaseshiftlightprojection[J].AppliedOptics,1999,38(31):6565-6573.

[7]　ZHANGS,YAUST.Absolutephase-assistedthree-di-mensionaldataRegistrationforadual-camerastructuredlightsystem[J].AppliedOptics,2008,47(17):3134-3142.

[8]　寿兵,余萍.采用光栅相位法的三维人体测量系统设

计[J].制造业自动化,2009,31(8):-66.SHOUBing,YUPing.Thedesignof3Dbodymeas-urementsystembyfringe-phasemethod[J].Manu-facturingAutomation,2009,31(8):-66.(inChi-nesewithanEnglishabstract)

[9]　GORTHISS,KAMESWARARL.Anewapproach

forsimpleandrapidshapemeasurementofobjectswithsurfacediscontinuities[J].SPIE,2005,5856:184-194.

[10]　SUWH.Color-encodedfringeprojectionfor3D

shapemeasurements[J].OpticsExpress,2007,15(20):13167-13181.

[11]　TAKEDAM,MUTOHK.Fouriertransformpro-filometryfortheautomaticmeasurementof3-Dob-jectshapes[J].AppliedOptics,22,3977-3982.

[12]　JainAK,YuB.AutomaticTextLocationinImage

andVideoFrames[J].PatternRecognition,1998,31(12):2055-2076.

1983:2004,5265:

4　结论

针对基于彩色光栅投影,为实现三维测量方法中快速性的改善以及彩色分割算法的改善问题,提出了一种新的基于彩色编码条纹投影的快速三维测量方法。该方法仅需向被测物体投影一幅彩色光栅图像然后通过计算机对采集到的图像进行处理即可得到物体的高度信息。该算法充分利用彩色图像RGB三个分量信息,选取G分量均为255的黄、白、绿、青四色依据格雷码原理进行编码,避免码间干扰,可靠性高;根据编码颜色的特点,将未经正弦调制的R,B分量采用迭代阈值法用于彩色图像分割,易于统一选取分割阈值;将经过正弦调制的G分量信息用于获取初始相位。该算法同时避免了用于获取物体三维信息的彩色投影光栅中,因某个分量进行正弦调制所造成的图像中出现明暗带状区域给选取分割阈值带来的不便。实验结果表明本文方法能很好地应用于三维测量。

参考文献

[1]　YUXY,WUHB.3Dmeasurementtechnologyby

structuredlightbasedonfringeedgedecoding[J].ChineseJournalofElectronDevices,2008,31(2):3-392.

[2]　CHENF,BROWNGM,SongM.Overviewofthree-