Bio-inspirierte Sehtechnologien mit Augmented Reality (AR)

Modul ausführen: Bio-inspirierte Visionstechnologien mit Augmented Reality (AR)

Panoptes und das bionische Auge: Ein neuer Lernansatz mit AR

Das Sehen ist für viele Organismen der wichtigste Sinn und biologische visuelle Systeme haben seit Langem technische Innovationen inspiriert. Das Verständnis darüber, wie visuelle Informationen im Nervensystem von Säugetieren verarbeitet werden, hat zu bahnbrechenden Fortschritten in der Technologie des bionischen Auges und in robotischen Sehsystemen geführt.

In unserem neuen Ansatz verbessert Augmented Reality (AR) dieses Lernerlebnis, indem sie interaktive, 3D-Visualisierungen biologischer und künstlicher visueller Systeme bietet. AR ermöglicht es den Studierenden, zu analysieren, wie visuelle Informationen in natürlichen und technischen Systemen erfasst, verarbeitet und interpretiert werden, und fördert so ein tieferes, praxisnahes Verständnis bio-inspirierter Designs (Venkatesen et al., 2021).

AR-gestützte Experimente in der visuellen Wahrnehmung

In dieser Aktivität führen die Schüler ein interaktives Modell-Experiment durch, um die Reaktion des Gesichtsfelds eines Panoptes-Roboterauges zu kartieren. Inspiriert von Argus Panoptes aus der griechischen Mythologie – dem allsehenden Wächterriesen mit 100 Augen – dient dieses System als bioinspiriertes Plattform für das Studium der robotischen Vision und retinalen Prothesen.

Mit AR-gestützten Simulationen können die Schüler:

• Mit 3D-Modellen des menschlichen visuellen Systems interagieren und nachvollziehen, wie Licht eingefangen, übertragen und im primären visuellen Cortex interpretiert wird.
• Augenerkrankungen wie Retinitis pigmentosa und Makuladegeneration simulieren, um zu verstehen, wie Sehbeeinträchtigungen die Wahrnehmung beeinflussen.
• Echtzeit-AR-Visualisierungen auf das Panoptes-System überlagern, um zu veranschaulichen, wie verschiedene optische Reize die Verarbeitung von robotischer und biologischer Vision beeinflussen.

Diese interaktiven AR-Erfahrungen ermöglichen es Lernenden, mit visuellen Reizen zu experimentieren, Sensorkonfigurationen zu verändern und zu beobachten, wie neuronale Bahnen auf unterschiedliche Lichtmuster reagieren – und so reale neurowissenschaftliche Forschung nachzuahmen (Venkatesen et al., 2021).

Technische Verbindung: AR zum Studium von Netzhautprothesen und Sehrestauration

Das Sehvermögen von Tieren ist ein bemerkenswertes natürliches System und dient als Vorbild für Ingenieure, die Netzhautprothesen entwickeln – künstliche Implantate, die dazu bestimmt sind, das Sehvermögen bei Personen mit Schäden an den Photorezeptorzellen wiederherzustellen. Diese biomedizinischen Geräte stimulieren die Sehnervenzellen direkt und umgehen nicht-funktionale Netzhautbereiche, um die visuelle Wahrnehmung wiederherzustellen.

Mit AR-gestützten medizinischen Trainingsmodulen können Studierende und Forschende:

• AR-Modelle von Netzhautimplantaten manipulieren, um deren strukturelles Design und Funktionalität zu erforschen.
• Reale Anwendungen von bionischen Sehsystemen simulieren, wie z. B. AR-gestützte Schnittstellen für Prothesenaugen.
• Die Übertragung von Sehnervensignalen durch interaktive AR-Overlays analysieren und nachvollziehen, wie visuelle Daten in neuronale Impulse umgewandelt werden.

Durch die Integration von AR in die Forschung zu bionischen Augen können Studierende an virtuellen Testumgebungen teilnehmen, die klinische Bedingungen nachbilden und ihr Verständnis für Technologien zur Wiederherstellung des Sehvermögens verbessern (Anderson und Bischof, 2014).

Lernziele mit AR-Integration

Nach dieser AR-unterstützten Übung sollten die Studierenden in der Lage sein:

• Den visuellen Pfad und seine Rolle bei der Verarbeitung von Lichtreizen zu erklären.
• Experimentelle Daten mithilfe interaktiver AR-Histogramme und visueller Grafiken zu interpretieren.
• Die räumliche Sensitivität des visuellen Cortex zu analysieren und auf die Entwicklung der robotischen Sicht anzuwenden.
• Das menschliche Sehen mit bio-inspirierten optischen Systemen anhand von AR-basierten Simulationen zu vergleichen.

Einleitung & Motivation: Verbesserung des visuellen Lernens mit AR

Das Sehen spielt eine dominante Rolle in der menschlichen Wahrnehmung und beeinflusst, wie wir unsere Umgebung interpretieren und mit ihr interagieren. Die Ähnlichkeiten zwischen biologischem Sehen und kamerabasierten optischen Systemen bieten wertvolle Einblicke für Ingenieure, die bio-inspirierte Sensoren entwickeln.

Mit Hilfe von Augmented Reality können Studierende:

Die Mechanik des menschlichen Auges und einer Kameralinse in Echtzeit vergleichen, indem sie optische Modelle auf reale Objekte überlagern.

• Visualisieren, wie Licht im Auge gebrochen und fokussiert wird, indem sie seinen Weg von der Hornhaut bis zur Netzhaut nachverfolgen.
• Mit einem simulierten Gesichtsfeld interagieren und Helligkeit, Kontrast sowie Fokus anpassen, um verschiedene Lichtverhältnisse nachzuahmen.

Durch die Integration interaktiver digitaler Überlagerungen können Studierende die Wissenschaft des Sehens aus erster Hand erleben und ihre Fähigkeit verbessern, biologische Prinzipien mit technologischen Innovationen zu verknüpfen.

Experimenteller Aufbau mit AR-Unterstützung

Das Panoptes-Robotersichtsystem ist ein bio-inspiriertes optisches Gerät, das zur Modellierung und Analyse des Sichtfelds in künstlichen Sehsystemen verwendet wird. Das Experiment simuliert, wie verschiedene Lichtquellen mit den Sehsensoren interagieren, sodass Studierende die räumliche Empfindlichkeit durch eine kontrollierte Abfolge visueller Reize kartieren können.

Diese erweiterten AR-Anwendungen ermöglichen es Studierenden, die experimentellen Bedingungen in Echtzeit zu verändern und so ihr Verständnis für visuelle Verarbeitung, Sensoroptimierung und Datenanalyse zu verbessern (Venkatesen et al., 2021).

Das Verfahren mit AR-Verbesserungen

Vor der Aktivität

• Bereiten Sie 3D-AR-Visualisierungen des menschlichen Auges, von robotischen Sehsystemen und neuronalen Bahnen vor.
• Richten Sie Panoptes-Modelle für robotische Sicht ein und stellen Sie die Kompatibilität mit AR-unterstützten visuellen Kartierungswerkzeugen sicher.
• Stellen Sie den Schülern digitale Arbeitsblätter für die Echtzeit-Datenannotation und -analyse zur Verfügung.

Mit den Schülern (Tag 1 & 2)

Bewertung & Beurteilung

Um die Lernergebnisse zu bewerten, werden die Studierenden:

• Vor- und Nachtests absolvieren, die ihr Verständnis von biologischer vs. künstlicher Sicht bewerten.
• AR-gestützte Werkzeuge zur visuellen Analyse nutzen, um Echtzeit-Sensorantwortdiagramme zu interpretieren.
• An interaktiven Diskussionen teilnehmen, wie AR die Forschung am bionischen Auge und Anwendungen der robotischen Sicht verbessert.