3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven

[sushidelic]

Hallo,

heute möchte ich Euch die ersten Testergebnisse aus einer Kollaboration von Bernd (Bernd552) und mir zeigen. Bernd hat mir 49 Einzelaufnahmen einer Kieselalge aus verschiedenen Winkeln erstellt, aus denen ich mittels Photogrammetrie ein 3D-Modell erzeugt habe.
Ich muss noch die elektronische Linse des REM auf eine "optische" Linse umrechnen (Brennweite und Filmgate/Sensorgrösse), um bessere Ergebnisse zu erhalten, auch machen die starken Helligkeitsunterschiede bei verschiedenen Winkeln der Software zu schaffen. Aber auf jeden Fall ist es eine spannende Sache, und da kommt sicher noch mehr.

Hier ein paar von Bernds Rohbildern (stark verkleinert, die Originale hatten eine Auflösung von 3072x3072 Pixeln im Bildteil):






Das aus den Einzelbildern erstellte OBJ-Modell wurde in 3D Studio Max importiert, bereinigt, texturiert und als Kamerafahrt gerendert, hier ein paar Einzelbilder und darunter der Link zur kompletten Animation (12MB)






Hier die Animation:
https://owncloud.celluloid-vfx.com/index.php/s/KYnRGzsKlxbteUy

Viel Spass beim Betrachten!

[anne]

Hallo,
das ist das Schöne an diesem Forum, dass hier solch wunderbare Kooperationen von Fachleuten entstehen.
Vielen Dank für diese tolle Animation.
lg
anne

[RainerTeubner]

Hallo,

die Animation ist wunderschön!

Viele Grüße

Rainer

[KlausB]

Finde die Animation wirklich toll.

Viele Grüße
Klaus

[Bob]

Hallo Michael,

unverschämt, sowas hatte ich auch vor!
Die Animation ist wirklich sehr schön geworden. Hast Du da "einfach" die 49 Bilder hintereinandergehängt, oder hast Du einen Software-Trick angewendet, um die Bewegung glatter ablaufen zu lassen?

Viele Grüße,

Bob
 

[Rawfoto]

Hallo Michael

Toller Ansatz, die Überschrift hat bei mir jedoch eine andere Erwartung geweckt. Wobei ich denke dazu müsste die Zahl der Einzelbilder noch einmal erhöht werden (die kommt aber erst im Text).

Du hast in mir den Wunsch erweckt eine 360 Gradansichtsmöglichkeit sehen zu können.

Habe so etwas z.B. Von meinem Kiefer zu sehen bekommen. Die Daten waren die eines Panoramascanns.

Dabei wird die Aufnahmeposition mit Linien entlang der Kugeloberfläche geführt.

Du fährst da derzeit einen Teil so einer Aufnahmebahn ab, zumindest interpretiere ich das so in der Ansicht.

Absolut spannendes Thema hinter dem Ihr beiden da gerade her seid👌

Liebe Grüsse

Gerhard

[Bob]

Hallo zusammen,

gerade Diatomeen sind manchmal so spannend geformt, dass man ihre Form am einfachsten verstehen und bewundern könnte, wenn man sie in so einem Film rotieren sieht. Ein Problem auf diesem Weg ist die Tiefenschärfe des Lichtmikroskops, man müsste umfangreiche Stacks pro Bild machen. Dieses Problem schafft einem das REM vom Hals. Das zweite Problem ist, dass man für eine flüssige rundum-Rotation ein REM bräuchte, das sowas kann. Das REM unserer Gruppe kann gar nicht rotieren. Das REM der Biologen der Uni Hamburg kann rotieren, man ist aber wohl auf einen schwächer auflösenden Kanal beschränkt, reicht aber vermutlich aus. Eine zu lösende Aufgabe wäre noch das mittige und symmetrische Anbringen der Probe auf dem REM-Teller. Hier war meine Idee, entsprechende REM-Teller mit einem zentralen Dorn zu drehen. Das letzte Hindernis sehe ich in der Anzahl der Bilder, die für einen flüssigen 360°-Umlauf nötig sind. Gerade, wenn man das REM nicht selbst bedient, ist es sicherlich nicht weise, 0,1°-Schritte festzulegen.
Hier könnte Software Abhilfe schaffen. Es gibt Software, die aus in normalem Tempo gedrehten Filmen ruckfreie Zeitlupen-Aufnahmen macht. Das sollte hier auch funktionieren. Würde man alle 5° eine Aufnahme machen, käme man auf 72 Bilder. Bei 30 Bildern pro Sekunde wäre die Umdrehung schnell zuende. Da würde eine Zeitlupen-Software helfen. Die guten Programme sind aber auch nicht billig, und man muss auch damit umgehen können.
Mal sehen, wann ich dazu komme, das weiter zu verfolgen.

Viele Grüße,

Bob

[Päule Heck]

Hallo,
das ist das Schöne an diesem Forum, dass hier solch wunderbare Kooperationen von Fachleuten entstehen.
Vielen Dank für diese tolle Animation.
lg
anne

Dem kann ich mich nur anschließen. Ein toller "Dreh", der Appetit auf mehr macht 
Herzliche Grüße
Päule

[Heribert Cypionka]

Wirklich beeindruckend, was aus den so verschieden ausgeleuchteten Bildern gezaubert wurde. Da steckt viel Arbeit und know how drin!
Ich möchte noch ergänzend darauf hinweisen, dass man dem Lichtmikroskop und kostenfreier Software bei geeigneten Objekten aus 33 Aufnahmen eine Vollrotation durchaus in 10 Minuten hinbekommen kann: http://www.picolay.icbm.de/forum/picolay-abc.mp4 (ungefähr bei 2 1/2 Minuten...)

Liebe Grüße
Heribert Cypionka

[sushidelic]

Hallo und danke an alle für das Interesse und die Antworten!

Ich versuche mal so "global" wie möglich zu antworten und noch etwas besser zu erklären, wie das ganze funktioniert.
Es wäre mit dem REM und geeigneter Software sicher möglich, die Kieselalge in wirklich kleinen Winkeln sukzessive Abzulichten (abzuelektronen ), und diese Sequenz dann als Film abzuspielen. Damit wäre man dann aber limitiert auf die Perspektiven aus den Aufnahmen, und würde die Räumlichkeit zwar deutlich besser verstehen, hätte sie aber nicht "im Rechner". Was man in der Animation sieht, ist ein wirkliches 3D CAD / Drahtgittermodell, das man theoretisch auch mit dem 3D-Drucker ausdrucken könnte. Bei diesem ersten Versuch ist das noch nicht wirklich möglich, da leider meine Rekonstruktionssoftware die Rückseite der Diatomee nicht "verstanden" hat, und ich dementsprechend nur die Oberseite rekonstruieren konnte, also nur eine Oberfläche und kein Volumen erhalten habe. Unser Ziel ist eigentlich, es zu schaffen, "wasserdichte" 3D-Modelle aus REM-Bildern zu errechnen, die dann logischerweise auch von allen Seiten anschaubar wären.
Diesen Test hier kann man auch von allen Seiten anschauen, nur gibt es eindeutig eine Schokoladenseite .
Wenn ich die elektronische Optik noch besser kalibriert bekomme, verbessert sich hoffentlich auch das Ergebnis, und das faszinierende daran ist, das man dann am 3D-Modell der Diatomee auch fast forensische Messungen vornehmen könnte. Falls das also mal gut funktionieren sollte, könnte das ganz vielleicht sogar wissenschaftlich interessant sein.
Der ganze Ansatz hat tatsächlich Ähnlichkeiten, wie es Herbert in seinem (tollen!) Picolay - Video zeigt, nur ist die dahinterliegende Methodik eine ganz andere.

Hier mal ein Screenshot aus der Oberfläche von Agisoft (der Fotogrammetrie - Software).
Unten sieht man die Einzelbilder, mit denen das Programm gefüttert wurde, und erkannt wurden leider nur die mit den grünen Haken.




Hier ein Bild aus einem vorherigen Schritt.
Man sieht unten klein die grobe Punktwolke der Kieselalge, und die lila Rechtecke stellen die errechneten Kameraperspektiven des REMs dar.




Diese erste grobe Punktwolke der Diatomee sieht näher betrachtet so aus:




Diese erste grobe Punktwolke (sparse cloud) wird dann verwendet, um in einer weiteren Iteration aus der vollen Information der Bilder eine genauere Punktwolke (dense cloud) zu berechnen, das sieht in diesem Fall dann so aus:




Aus diese Punktwolke kann man dann ein Drahtgittermodell berechnen:




Und eine aus den verschiedenen Aufnahmen zusammengestückelte Textur draufbacken:




Dieses Modell kann ich dann exportieren, und in einer 3D-Software, hier 3D Studio MAX, beliebig im Raum platzieren, Licht, Oberflächen, Kamerafahrten nach Gusto editieren, mittels Raytracing rendern und das ganze dann als Filmchen ausgeben.



Beste Grüße, Michael

PS: Bei mir ist gerade beruflich viel los, ich versuche aber trotzdem, regegelmässig hier im Forum mitzuwirken!

[Janosch Boerckel]

Hallo Michael,

ich bin Student an der Hochschule für bildende Künste Hamburg und arbeite momentan an meiner Masterarbeit.
Während einer Recherche bin ich auf dieses Forum und deinen Beitrag gestoßen. Wenn man REM und Fotogrammetrie googlet kommt man ziemlich schnell darauf.
Ich habe vor ein Bärtierchen (Tardigrada) zu fotogrammetrien, ebenfalls mit der Hilfe eines REM`s, zuvor habe ich im heimisch Studio ein paar Testaufnahmen gemacht.
Die Besonderheit bei der Fotogrammetrie ist es in diesem Falle das Objekt zu rotieren und nicht wie üblich bei dem Verfahren das Aufnahmegerät um das Objekt herum.
Diese Besonderheit löst einige Probleme aus, wie du selbst schon im Beitrag erwähnt hattest. Bei meinem Test sind ebenfalls nur die Aufnahmen von Agisoft registriert worden,
die von "oben" fotografiert worden sind.

Hattest du seit dem eine Lösung für diesen Phänomen gefunden? Du würdest mir dabei sehr weiterhelfen. Das Tardigrada möchte ich anschließend in vergrößerten Maßstab per 3D-Druck printen. Freue mich über Ideen vom Forum!

Ich freue mich über deine Rückmeldung.

Beste Grüße

Janosch

[mikropit]

Sehr, sehr schön was Ihr da produziert habt!!!!!!!!!
Nachdem solche Techniken für mich und viele Andere nicht machbar sind, dürfen wir halt geniessen und noch auf mehr hoffen.
Vielen Dank dafür

Peter -mikropit

[witweb]

Wahnsinn. ich bin begeistert!
Viele Grüße
Michael

[wilfried48]

Hallo,

mir gefallen im Moment noch die Originalbilder aus den verschiedenen Winkeln deutlich besser.

Da das REM das Bildsignal nur aus der Oberfläche der Diatomee kommt, ist es nahezu unmöglich die Struktur aus Richtungen
die das REM nicht gesehen hat zu errechnen.

Hier hat das Lichtmikroskop bei durchsichtigen Objekten Vorteile insbesondere das Konfokale Laser-Rastermikroskop ist hier gut, da es immer nur ein Volumenelement (Voxel) scharf abbildet, natürlich nur solange die Auflösung vom REM nicht gebraucht wird.

Aber wie wäre es, wenn unsere Diatomeenleger mal eine Diatomee auf einer feinen Nadelspitze seitlich ankleben ?
Dann könnte man sie frei um 360° rotieren. Und wenn man sie dann in den goniometrischen Punkt des REM Probenhalters brächte ein Computertomogramm im REM automatisch aufnehmen. Dafür gibt es meines Wissens für die REMs auch schon eine kommerzielle Software.

viele Grüsse
Wilfried

[bernd552]

Hallo Janosch,

Michael ist auf dem Gebiet der Photogrametrie ein Experte, deshalb habe ich ihn die REM- Bilder verrechnen lassen und diese danach beurteilt.
Ich habe das Projekt abgebrochen, da ich noch keine Photogrametriesoftware gefunden und gesehen habe, die Details oder Haare / Borsten wiedergeben kann.
Wenn du "rundere" 3D Objekte mit wenig Details hast (solche werden immer präsentiert) dann sind die Ergebnisse halbwegs akzeptabel. Bärtierchen sollten grundlegend funktionieren, so lange du auf die Haare und evtl. die Krallen verzichten kannst.

Gerechnete Objekte mit Textur täuschen immer ein besseres Ergebnis vor, wenn du einen 3D Druck ohne Textur siehst oder renderst, dann weißt du was ich meine.


Hallo Wilfried,

ich nehme an, du meinst Mikro-Röntgenstrahl-Tomografie im REM (Röntengenstrahlung wird mit dem E-Beam erzeugt), wo einzelne Schichten / Ebenen aufgenommen und dann verrechnet werden?
Diese Technik ergibt eine wirklich sehr hohe Detailauflösung.

LG
Bernd