Skannaaminen 360° kameroilla
Voiko 360° -kameralla skannata?
Kyllä voi. Koska kamera tyyppi näkee joka puolelle ympärilleen se pelaa itseasiassa erinomaisena ympäristöskannerina eli sillä on kätevä kaapata nimenomaan erilaisia alueita ja laajempia 3D kokonaisuuksia. Mutta pienien ja yksityiskohtaisten esineiden 3D skannaamiseen se ei sovellu.
Samaan aikaan kun olen perehtynyt 3D Gaussian Splatting mallien luomiseen olen koko ajan haaveillut tekniikan laajentamista 360 kameroihin. 3DGS perustuu pitkälti samoihin sääntöihin kuin klassinen Photogrammetria-tekniikka, jossa valokuvista muodostetaan pistepilvi ja joka jalostetaan sitten 3D malliksi. Mutta tekniikassa on omat sääntönsä. Se ei pidä vääristyneistä ja perspektiivi linjoja rikkovista kalansilmä kuvista, joita kameroiden laajakulmaobjektiivit usein tuottavat. Ja etenkin 360 kameroissa kuvan muodostaminen perustuu hyvinkin vääristyneeseen Equirectangular formaattiin. Tuo muoto ei sellaisenaan kelpaa pistepilvilaskentaan vaan tämä pallokuva täytyy purkaa ja leikata sopivimpiin osiin, jotta tietokonenäkö ymmärtäisi niissä olevan 3D muodon paremmin.
Olen tämän aiheen parissa työskennellyt ja tehnyt tutkimuksiani melko tiiviisti ja sen seurauksena olen onnistunut luomaan muutamia käteviä toimintatapoja ja kokonaisen työkalun jolla kuvien erottelu onnistuu. 360 Extractor on kehitetty suositulle Blender ohjelmalle, joka sisältää jo valmiiksi 360 pallokuvien esillepanon. Tätä hyödyntäen onnistuin ohjelmoimaan virtuaalisen kamerajärjestelmän jossa käyttäjä voi valita tarvittavat kuvakulmat pallon pinnalta ja renderöidä ulos kuvasarjat joita voidaan hyödyntää sitten 3D Gaussian Splatting treenauksessa.
Skannaaminen itsessään on tehokkainta tehdä kolmelta eri korkeudelta. Näin onnistutaan saamaan ympäristöstä, huoneesta tai ulkotilasta mahdollisimman kattava kolmiulotteinen näkymä. Tätä varten olenkin kehitellyt ja rakentanut itselleni erityisen Magic Wand “skanneri laitteen”, jossa hyödynnetään kolmea Insta360 X5 kameraa. Olen kiitollinen että onnistuin saamaan projektilleni sponsorikseni kiinalaisen Insta360 yrityksen joka valmistaa suosittuja 360-kameroita. Näillä kolmella kameralla kykenen nyt yhdellä kertaa skannaamaan videona näkymät alueesta ylhäältä, keskikorkeudelta sekä matalalta maan rajasta.
Olen tehnyt näistä aiheista videoita YouTube kanavalleni:
Magic Wandin rakentamisessa olen hyödyntänyt valmiita kameratarvikkeita, kuten alumiini putkia ja erilaisia kahvoja joita Kamera rigeihin on saatavilla esimerkiksi SmallRig tai Newer valmistajilta. Mutta loput erikoisosat olen itse mallintanut ja 3Dprintannut omalla printterilläni.Koko Skanneri rigin valmistamisesta on myös tällainen erillinen video:
Prosessia varten kehittelemäni 360 Extractor työkaluni löytyy GUMROAD verkkokaupastani täältä:
