Mae gweledigaeth 3D yn faes amlddisgyblaethol sy'n cynnwys graffeg gyfrifiadurol, gweledigaeth gyfrifiadurol, a deallusrwydd artiffisial. Ei nod yw galluogi peiriannau i ddeall a phrosesu gwybodaeth mewn gofod tri dimensiwn, gan sicrhau canfyddiad dyfnder, adnabyddiaeth a dealltwriaeth o wrthrychau a golygfeydd.
Prif Dasgau
Adluniad 3D
Amcangyfrif dyfnder o olygfeydd 3D neu samplu digidol o arwynebau gwrthrychau, yn ogystal â phrosesu ac arddangos data 3D; adluniad monociwlaidd, adluniad binocwlar, adluniad wedi'i seilio ar olau strwythuredig, adluniad seiliedig ar laser; -ail-greu 3D ar raddfa fawr, ail-greu 3D symudol.
Amcangyfrif o Sais
Cyfrifo lleoliad a chyfeiriadedd camerâu neu wrthrychau mewn gofod corfforol tri dimensiwn, ac olrhain-amser real.
Dealltwriaeth 3D
Canfod, adnabod ac adalw gwrthrychau, yn ogystal â segmentu a labelu semantig golygfeydd neu wrthrychau.
Egwyddorion Gweithio
Delweddu gweledigaeth 3D yw un o'r dulliau pwysicaf ar gyfer canfyddiad gwybodaeth mewn robotiaid diwydiannol, a gellir ei rannu'n ddulliau delweddu optegol ac an-optegol. Ar hyn o bryd, dulliau optegol yw'r rhai a ddefnyddir fwyaf.
Amser{0}}y-Dull Hedfan (TOF).
Mae'r dull hwn yn cyfrifo'r pellter i wrthrych trwy fesur y gwahaniaeth amser rhwng allyriadau golau a derbyniad. Gan gymryd camera TOF fel enghraifft, mae pob picsel yn defnyddio gwahaniaeth amser hedfan golau i gael dyfnder y gwrthrych. Mewn dulliau mesur clasurol, mae'r system ganfod yn dechrau amseru pan fydd yn allyrru pwls golau, yn storio'r amser tripio crwn pan fydd yn derbyn yr adlais golau targed, ac yn amcangyfrif y pellter targed yn ôl fformiwla.
Fe'i rhennir yn TOF uniongyrchol (DTOF) a TOF anuniongyrchol (I-TOF). Mae DTOF yn cael ei ddefnyddio fel arfer mewn-systemau amrediad pwynt sengl, ac mae cyflawni delweddu 3D ardal eang yn aml yn gofyn am dechnoleg sganio; Mae I-TOF yn allosod amser y daith gron yn anuniongyrchol o amser-mesuriadau â gatiau o arddwysedd golau, gan ddileu'r angen am amseriad manwl gywir, ac ar hyn o bryd mae'n ddatrysiad masnacheiddiedig ar gyfer cymysgwyr electronig ac optegol yn seiliedig ar gamerâu TOF. Gellir defnyddio delweddu TOF ar gyfer caffael delwedd 3D maes mawr, pellter hir, cywirdeb isel, a chost isel, ac fe'i defnyddir ar gyfer canfyddiad amgylcheddol mewn systemau di-griw deallus (fel robotiaid, cerbydau di-griw, dronau, ac ati).
Delweddu 3D Tafluniad Golau Strwythuredig
Ar hyn o bryd, delweddu 3D tafluniad golau strwythuredig yw'r prif ddull ar gyfer canfyddiad gweledigaeth 3D mewn robotiaid. Mae taflunydd yn taflunio patrwm goleuo golau strwythuredig penodol ar y gwrthrych targed, fel streipiau neu batrymau cod Llwyd, ac mae camera yn dal y ddelwedd wedi'i modiwleiddio gan y targed. Oherwydd tonniadau wyneb y gwrthrych, mae'r patrwm golau strwythuredig yn cael ei ddadffurfio ar wyneb y gwrthrych. Trwy brosesu delweddau a defnyddio modelau gweledol i gymharu'r patrymau cyn ac ar ôl dadffurfiad, a dadansoddi'r ystumiad patrwm, gellir cyfrifo'r wybodaeth gydgysylltu tri dimensiwn o bob pwynt ar wyneb y gwrthrych targed.
Mewn cymwysiadau system llygaid robotig, ar gyfer senarios lle nad oes angen cywirdeb mesur 3D uchel (fel palletizing, depalletizing, a gafael 3D), mae'r dull o daflunio patrymau brychau ffug ffug i gael gwybodaeth darged 3D yn eithaf poblogaidd. Defnyddir y dull hwn yn gyffredin mewn arolygu diwydiannol a modelu 3D, a gall gael data 3D o wyneb y gwrthrych yn gyflym. Mae system delweddu golau strwythuredig yn cynnwys sawl taflunydd a chamerâu. Mae ffurfiau adeileddol cyffredin yn cynnwys: taflunydd sengl-camera sengl, taflunydd sengl-camera deuol, taflunydd sengl-camerâu lluosog, camera sengl-taflunydd deuol, a-taflunydd lluosog camera sengl.
Mae egwyddor weithredol sylfaenol delweddu tafluniad golau strwythuredig 3D fel a ganlyn: mae'r taflunydd yn taflunio patrwm goleuo golau strwythuredig penodol ar y gwrthrych targed, mae'r camera'n dal y ddelwedd wedi'i modiwleiddio gan y targed, ac yna ceir gwybodaeth 3D y gwrthrych targed trwy brosesu delweddau a modelau gweledol. Mae mathau cyffredin o daflunwyr yn cynnwys: arddangosfa grisial hylif (LCD), rhagamcaniad modiwleiddio golau digidol (CLLD: megis dyfeisiau microddrych digidol (DMD)), a rhagamcaniad uniongyrchol patrwm laser LED.
Yn seiliedig ar nifer y rhagamcaniadau golau strwythuredig, gellir rhannu delweddu 3D rhagamcaniad golau strwythuredig yn ddulliau 3D ergyd sengl ac aml-saethiad. Mae golau strwythuredig sengl-saethiad yn bennaf yn defnyddio amgodio amlblecsio gofodol ac amgodio amlblecsio amledd. Mae ffurfiau amgodio cyffredin yn cynnwys: amgodio lliw, mynegeio graddlwyd, amgodio siâp geometrig, a phatrymau brycheuyn ar hap. Ar hyn o bryd, mewn cymwysiadau system llygaid robotig, ar gyfer senarios lle nad oes angen cywirdeb mesur 3D uchel, megis palletizing, depalletizing, a gafael 3D, mae'r dull o daflunio patrymau brychau ffug ar hap i gael gwybodaeth darged 3D yn cael ei ddefnyddio'n eang.
Mae dulliau 3D aml-saethiad yn bennaf yn defnyddio amser-amgodio amlblecsu. Mae ffurfiau amgodio patrwm cyffredin yn cynnwys: amgodio deuaidd, amgodio symud aml-cyfnodau amledd-, a dulliau amgodio hybrid (fel cod Gray ac ymylon symud -cyfnod). Dangosir egwyddor sylfaenol delweddu 3D golau strwythuredig yn y ffigur isod. Mae patrwm golau strwythuredig yn cael ei gynhyrchu gan ddefnyddio cyfrifiadur neu ddyfais optegol arbennig, ac yna'n cael ei daflunio ar wyneb y gwrthrych dan brawf gan ddefnyddio system taflunio optegol. Defnyddir dyfais caffael delwedd (fel camera CCD neu CMOS) i ddal y ddelwedd golau strwythuredig wedi'i modiwleiddio a'i ddadffurfio gan wyneb y gwrthrych. Yna defnyddir algorithmau prosesu delweddau i gyfrifo'r gyfatebiaeth rhwng pob picsel yn y ddelwedd a'r pwyntiau ar gyfuchlin y gwrthrych. Yn olaf, cyfrifir gwybodaeth gyfuchlin tri dimensiwn y gwrthrych gan ddefnyddio model strwythur y system a'i dechnoleg graddnodi. Mewn cymwysiadau ymarferol, defnyddir tafluniad cod Gray, tafluniad ymyl newid cyfnod sinwsoidaidd, neu god Gray hybrid a thechnoleg 3D newid sinwsoidaidd-yn gyffredin.
Ar gyfer arwynebau garw, gellir taflunio golau strwythuredig yn uniongyrchol ar wyneb y gwrthrych ar gyfer mesur delwedd weledol; fodd bynnag, ar gyfer mesur 3D o arwynebau llyfn adlewyrchol iawn a gwrthrychau wedi'u hadlewyrchu, ni ellir taflunio golau strwythuredig yn uniongyrchol ar yr wyneb dan brawf, ac mae mesuriad 3D yn gofyn am ddefnyddio technegau adlewyrchiad sbecwlaidd.
Yn y cynllun hwn, nid yw'r ymylon yn cael eu taflunio'n uniongyrchol ar gyfuchlin y gwrthrych dan brawf, ond yn hytrach ar sgrin wasgaru, neu defnyddir sgrin arddangos grisial hylif (LCD) i arddangos yr ymylon yn uniongyrchol. Mae'r camera yn caffael y wybodaeth ymylol wedi'i modiwleiddio gan newidiadau crymedd yr arwyneb llachar trwy'r llwybr golau adlewyrchiedig, ac yna'n cyfrifo morffoleg cyfuchlin tri dimensiwn.
Sganio Delweddu 3D
Gellir rhannu dulliau sganio 3D delweddu yn sganio amrywio, triongli gweithredol, a dulliau confocal cromatig. Mae ystod sganio yn defnyddio pelydr golau wedi'i gyfuno i sganio'r arwyneb targed cyfan ar gyfer mesur 3D. Mae dulliau sganio nodweddiadol yn cynnwys: amser pwynt sengl-o-dulliau hedfan, megis modiwleiddio amledd tonnau di-dor (FM-CW) ac amrediad curiad y galon (LiDAR); ymyriant gwasgariad laser, megis ymyriant sy'n seiliedig ar ymyrraeth aml-donfedd, ymyrraeth holograffig, ymyrraeth golau gwyn, ac egwyddorion ymyrraeth brycheuyn; a dulliau confocal, megis confocal cromatig a ffocysu awtomatig.
Mewn dulliau sganio 3D ystod pwynt sengl, mae'r dull hedfan unigol yn addas ar gyfer sganio pellter hir, ond mae'r cywirdeb mesur yn gymharol isel, yn gyffredinol yn yr ystod milimetrau. Mae dulliau sganio pwynt sengl eraill yn cynnwys interferometreg laser pwynt sengl, microsgopeg cydffocal, a thriongli laser gweithredol un pwynt. Mae'r dulliau hyn yn cynnig cywirdeb mesur uchel, ond mae angen amgylchedd rheoledig ar y cyntaf. Mae sganio llinell yn cynnig cywirdeb cymedrol ac effeithlonrwydd uchel. Mae triongliad laser gweithredol a microsgopeg confocal cromatig yn arbennig o addas ar gyfer mesur 3D ar effeithydd diwedd braich robotig. Mae triongliad gweithredol yn seiliedig ar yr egwyddor o driongli, gan ddefnyddio trawst gwrthdaro neu un neu fwy o drawstiau planar i sganio'r wyneb targed ar gyfer mesur 3D.
Mae'r trawst golau fel arfer yn cael ei sicrhau yn y ffyrdd canlynol: gwrthdrawiad laser, ehangiad trawst prismatig arwyneb silindrog neu gwadrig, golau nad yw'n gydlynol (fel golau gwyn, ffynhonnell golau LED) wedi'i daflunio trwy dyllau bach, holltau (gratiau), neu ddifreithiant golau cydlynol. Gellir rhannu triongliad gweithredol yn dri math: sganio-pwynt sengl, sganio llinell sengl, a sganio aml-linell. Ar hyn o bryd, mae'r rhan fwyaf o gynhyrchion sydd ar gael yn fasnachol ar gyfer effeithwyr pen braich robotig yn sganwyr llinell sengl a llinell sengl.
Mewn -dulliau sganio aml-linell, mae adnabod rhifau ymylol yn ddibynadwy yn her. Er mwyn nodi rhifau ymyl yn gywir, mae dwy set o awyrennau golau perpendicwlar fel arfer yn cael eu delweddu ar gyflymder uchel bob yn ail. Mae hyn hefyd yn galluogi sganio "Triongliad Hedfan", y dangosir ei sganio a'i broses ail-greu 3D yn y ffigur isod. Mae tafluniad aml-linell a delweddu fflach sengl yn cynhyrchu golwg 3D denau. Mae sawl dilyniant o olygfeydd 3D yn cael eu cynhyrchu trwy sganio rhagamcaniad ymylon hydredol a thraws, ac yna mae model arwyneb 3D cydraniad uchel, cyflawn a thrwchus yn cael ei gynhyrchu trwy gofrestru delwedd 3D.
Mae'n ymddangos bod microsgopeg confocal cromatig yn gallu sganio a mesur gwrthrychau garw a llyfn afloyw a thryloyw, megis arwynebau adlewyrchol ac arwynebau gwydr tryloyw, ac ar hyn o bryd fe'i defnyddir yn eang mewn meysydd megis archwilio cloriau ffôn symudol mewn 3D. Mae tri math o sganio confocal cromatig: sganio mesur pellter absoliwt sengl-pwynt un-ddimensiwn, sganio amrywiaeth o bwyntiau, a sganio llinell barhaus. Mae'r ffigur isod yn dangos enghreifftiau o fesur pellter absoliwt a sganio llinell barhaus. Mae sganio llinell barhaus hefyd yn fath o sganio arae, ond gydag amrywiaeth fwy a dwysach o bwyntiau.
Delweddu Stereo Vision 3D
Yn gyffredinol, mae gweledigaeth stereo yn cyfeirio at ail-greu strwythur 3D neu wybodaeth fanwl gwrthrych targed trwy gaffael dwy ddelwedd neu fwy o wahanol safbwyntiau. Gellir rhannu ciwiau gweledol canfyddiad dyfnder yn giwiau llygadol a chiwiau ysbienddrych (anghyfartaledd binocwlar). Ar hyn o bryd, gellir cyflawni gweledigaeth stereo 3D trwy weledigaeth monociwlaidd, gweledigaeth sbienddrych, golwg aml- -, a delweddu maes golau 3D (llygad cyfansawdd electronig neu gamera arae). Mae ciwiau canfyddiad dyfnder gweledigaeth monociwlaidd fel arfer yn cynnwys: persbectif, gwahaniaethau hyd ffocal, delweddu aml-golwg, occlusion, cysgodion, parallax mudiant, ac ati.
Mewn gweledigaeth robotig, gellir ei gyflawni hefyd gan ddefnyddio delweddu drych a siapiau eraill-o-dulliau X. Mae ciwiau gweledol canfyddiad dyfnder golwg binocwlar yn cynnwys: lleoliad cydgyfeirio'r llygaid ac anghyfartaledd ysbienddrych. Mewn gweledigaeth peiriant, defnyddir dau gamera i gaffael dwy ddelwedd golygfa o'r un olygfa darged o ddau safbwynt, ac yna cyfrifir gwahaniaeth pwyntiau cyfatebol yn y ddwy ddelwedd golygfan i gael gwybodaeth dyfnder 3D yr olygfa darged. Mae proses gyfrifo gweledigaeth stereo binocwlaidd nodweddiadol yn cynnwys y pedwar cam canlynol: cywiro ystumio delwedd, cywiro pâr delwedd stereo, cofrestru delwedd, a chyfrifiad map gwahaniaeth ail-ragamcanu triongli.
Mae delweddu gweledigaeth aml-weld, neu ddelweddu stereo aml-weld, yn defnyddio camera sengl neu luosog i gaffael delweddau lluosog o'r un olygfa darged o olygfannau lluosog i ail-greu-gwybodaeth tri dimensiwn yr olygfa darged.
Defnyddir delweddu stereo aml-weld yn bennaf yn y senarios canlynol: defnyddio camerâu lluosog o wahanol safbwyntiau i gaffael delweddau lluosog o'r un olygfa darged, ac yna defnyddio ail-greu stereo nodwedd ac algorithmau eraill i gael dyfnder golygfa a gwybodaeth am strwythur gofodol; defnyddio'r strwythur -o dechneg -motion (SFM), defnyddio'r un camera â'i baramedrau cynhenid heb eu newid, i gaffael delweddau lluosog o wahanol safbwyntiau i ail-greu -wybodaeth dri dimensiwn yr olygfa darged. Defnyddir y dechnoleg hon yn gyffredin i olrhain nifer fawr o bwyntiau rheoli mewn golygfa darged, gan adennill gwybodaeth strwythurol 3D yr olygfa yn barhaus, yn ogystal â ystum a lleoliad y camera. Mae delweddu maes ysgafn yn wahanol i egwyddorion delweddu camera traddodiadol. Mae camerâu traddodiadol yn ffurfio delwedd 2D yn uniongyrchol ar yr awyren ddelweddu ar ôl i olau fynd trwy'r lens.
Mae camerâu maes ysgafn yn ychwanegu arae microlens o flaen yr awyren synhwyrydd. Mae digwyddiad golau trwy'r brif lens yn mynd trwy bob microlens eto ac yn cael ei dderbyn gan yr arae ffotosensitif, a thrwy hynny gael gwybodaeth am gyfeiriad a lleoliad y pelydrau golau. Mae hyn yn caniatáu i'r canlyniadau delweddu gael eu prosesu'n ddiweddarach, gan gyflawni effaith "saethu yn gyntaf, canolbwyntio'n ddiweddarach", a galluogi adfer strwythur tri dimensiwn yr olygfa gan ddefnyddio'r wybodaeth hon. Mewn meysydd fel rhith-realiti a realiti estynedig, mae technoleg delweddu maes golau yn helpu i ddarparu profiad gweledol mwy realistig ac yn galluogi canfyddiad tri dimensiwn mwy cywir a rhyngweithio â'r olygfa.
Mae egwyddor delweddu maes golau 3D yn wahanol yn strwythurol i egwyddorion delweddu camerâu traddodiadol CCD a CMOS. Mae camerâu traddodiadol yn delweddu'n uniongyrchol ar yr awyren ddelweddu ar ôl iddi fynd trwy'r lens, gan gynhyrchu delwedd 2D yn gyffredinol. Mae camerâu maes golau yn ychwanegu arae microlens o flaen yr awyren synhwyrydd, gan achosi'r digwyddiad golau trwy'r prif lens i basio trwy bob microlens eto a chael ei dderbyn gan yr arae ffotosensitif, a thrwy hynny gael gwybodaeth am gyfeiriad a lleoliad y pelydrau golau. Mae hyn yn caniatáu ar gyfer postio'r canlyniadau delweddu, gan gyflawni effaith "saethu yn gyntaf, canolbwyntio'n ddiweddarach".