Projektarbeit – Media Engineering

Fun with Robots – Technik spielerisch entdecken

In unserem Projekt Fun with Robots ging es nicht nur ums Löten und Schrauben, sondern vor allem um eins: Technik erlebbar machen – mit Spaß, Neugier und Kreativität möchten wir Kinder und Jugendliche für Technik begeistern.
Unser Ziel bleibt: frühzeitig Interesse an Technologie zu wecken und die Tüftler:innen von morgen zu inspirieren – mit selbstgebauten Robotern, die nicht perfekt sein müssen, aber richtig Charakter zeigen.

Unsere Roboter im Überblick

🐶 Laufende Hunde
Unsere Roboterhunde setzen sich mit einfachen Schrittabfolgen in Bewegung und zeigen, wie bereits mit wenigen Servos eine fortlaufende Gehbewegung realisiert werden kann.

🦀 Krabbe
Unsere Krabbe ist durch ihre unregelmäßigen Bewegungsmuster besonders auffällig. Sie bewegt sich nicht linear, sondern folgt einer vorhersehbaren Route.

🐰 Hase
Dieser kleine Kerl will hoch hinaus. Mit einem selbstgebauten Hoppelmechanismus imitiert er ein echtes Hasenhüpfen – fast wie in freier Wildbahn, nur mit Servos.

🔧 Gabelstapler
Nicht nur süß, sondern auch praktisch: Unser kleiner Gabelstapler kann nach vorne fahren und sogar seine Gabel heben und senken

🤖 Wall·E
Wall·E ist ein besonders auffälliger Roboter voller Überraschungen innerhalb unserer Sammlung – nicht nur wegen seines Designs, sondern auch durch die Art, wie er sich bewegt und mit seiner Umgebung interagiert.

🐞 Rollender Käfer
Klein, rund, schnell – Unser rollender Käfer zeichnet sich durch eine überraschend hohe Geschwindigkeit und Wendigkeit aus. Und er fährt auch gerne mal davon, bevor man „Stopp“ sagen kann.

Über uns

Fun with Robots wurde als Projektarbeit im 5. und 6. Semester im Studiengang Media Engineering an der Technischen Hochschule Nürnberg ins Leben gerufen.
Wir – Annika Neubauer, Aylin Gökce, Ece Nur Keles, Merve Özkan, Tilo Brockmann und Yannick Rosenauer – sind ein Team aus sechs Studierenden, das mit viel Begeisterung, Neugier und Teamgeist an der Idee gearbeitet hat, Technik spielerisch erlebbar zu machen.
Unterstützt wurden wir dabei von Prof. Dr. Ralph Lano, der uns als Projektbetreuer mit Rat und Erfahrung zur Seite stand.

Neugierig geworden?

Folgt uns auf Instagram, um noch mehr spannende Einblicke in unser Projekt zu bekommen! Wir teilen kurze Videos unserer Roboter in Aktion und spannende Updates rund um Fun with Robots.
Wenn du sehen willst, wie unsere Projekte lebendig werden, schau gern vorbei!

media::error

Hi! Wir sind das Team media::error.
Ein Jahr lang haben wir für euch programmiert, gespielt und gebastelt, damit ihr euch bei uns austoben könnt! Ganz frei nach dem Motto „Interaktion trifft Ausstellung“.

Wir haben es uns zur Aufgabe gemacht technische Fehler als ästhetisches Mittel zu nutzen. Wir haben uns also mit der Frage auseinandergesetzt: Wie können wir es schaffen, ungewollte Effekte – ob Verpixelung, Verzerrung oder einfach nur ein Rauschen – als künstlerisches Stilmittel zu verwenden.

Die Ausstellung ist in 3 Exponate aufgebaut mit dem Konzept RGB (also Rot, Grün und Blau). Jedes Team hatte nur das Grundkonzept als Vorgabe und hat dann im Laufe des Projekts ein vollständiges Exponat entwickelt.

Exponat Rot

analog::organisch::eigen

In dieser Installation könnt ihr mit zwei Interaktionen spielen. Einerseits haben wir einen Controller mit fünf Reglern gebaut, mit denen ihr jeweils den Sound, sowie auch die Grafiken beeinflussen könnt. Andererseits die Pflanze, bei der ihr mit Antippen auch einiges auslösen könnt.

Exponat Grün

digital::körper::verzerrung

In dieser Installation könnt ihr grafische Fehler mit Bodytracking erforschen. Bei Berührung mit dem Logo wird dessen Effekt auf einen selber übertragen. Bei gezielter Bewegung mit Hand oder Fuß kann man die Logos in eine Richtung ’schlagen‘. Wenn das Logo eine Ecke des Bildes trifft, kann man einen ‚globalen Effekt‘ auslösen.

Exponat Blau

bewegung::wasser:licht

Wir haben es uns zur Aufgabe gemacht Meeresleuchten (Biolumineszenz) digital umzusetzen. Jede Bewegung soll ein Spektakel an Licht und Farbe auslösen. Hier seht ihr unsere Interpretation davon in media::error Stil.

Über Uns

Wir sind ein studentisch organisiertes Projekt unter der Leitung von Prof. Anja Freudenreich. Unser Team besteht aus sieben Personen, die über die Zeit der Zusammenarbeit zu einem harmonischen Team zusammengewachsen ist. Unsere Arbeiten leben von Bewegung, Interaktion, Überraschung – und dem Mut, Fehler nicht nur zu akzeptieren, sondern willkommen zu heißen.

*Anordnung von links nach rechts: Noah Wagner, Noël Brand, Ines Baumann, Alexandra Dimov, Kiyomi Wilberg, Simon Neumeier, Daniel Lenert*

Deepfakes

Im Rahmen einer Projektarbeit wurden die Tools und die Technologie rund um Deepfake-Videos, also dem Ersetzen einer Person durch eine Andere innerhalb einer Filmaufnahme bzw. eines Live-Videos, analysiert und angewendet.

Werbevideo für das Deepfake-Modell Heinz 2.0

Motivation

Ein Rapbattle zwischen Donald Trump und Joe Biden, widersprüchliche Weihnachtsgrüße der Queen oder Donald Trump, der Belgien rät aus dem Pariser Klimaabkommen auszutreten – alles Situationen, die für uns nur schwer vorstellbar sind. Warum sollten berühmte Persönlichkeiten, wie Politiker oder Hollywood-Stars, solche Aussagen überhaupt treffen und das mögliche Ende ihre Karriere heraufbeschwören? Die Antwort darauf lässt sich ganz einfach sagen: gar nicht. Es handelt sich um gefälschte Medieninhalte, sogenannte DeepFakes. In einer Welt voller Fake News ist es für viele Menschen allerdings zum Alltag geworden, kritische Nachrichten anzuzweifeln und diese zu hinterfragen. Aber was macht es mit uns, auf einmal eine Person in unserem direkten Umfeld in solch einer Situation zu finden? Auf genau diesen Effekt zielen wir mit unserem Projekt ab. Mit Heinz 2.0 kann jede beliebige Person, mit Hilfe von Deepfakes, zu dem in den Ruhestand eingetretenen Professor Heinz Brünig werden.

Bildschirm mit Webcam, Website Heinz 2.0 ist sichtbar, daneben eine große Lampe — Aufbau während der Projektpräsentation

DeepFaceLive

DeepFaceLive ist eine Erweiterung von DeepFaceLab. Die Arbeit mit Deepfacelab war unser Hauptfokus aus der ersten Projekthälfte, denn diese Software macht die Erstellung von hochwertigen Deepfake-Videos möglich. DFLive hingegen ermöglicht einen Gesichter Tausch (auch FaceSwap genannt), welcher Live vor einer Webcam stattfindet, also in Echtzeit. Normalerweise werden Deepfake-Videos mit dem Ziel trainiert ein bestimmtes Gesicht mit einem weiteren bestimmten Gesicht zu tauschen. Die daraus entstehenden Deepfake-Modelle sind aufeinander abgestimmt und eine Wiederverwendung für andere Gesichter ist nicht möglich. Dieser Vorgang muss dann auch noch für jedes weitere Deepfake Video oder Modell wiederholt werden. Wie können wir also dieses Konzept abändern, um Modelle zu erstellen welche für mehrere Gesichter anwendbar sind? Wie kann man also die trainierten Modelle für den Live-Betrieb und für weitere Deepfake-Videos wieder verwenden?

Der große Unterschied bei DeepFaceLive besteht darin, dass sogenannte RTM Modelle (Ready-To-Merge Modelle) zum Einsatz kommen. Im Zuge der Projektarbeit Heinz 2.0 wurde auf die Erstellung eines solchen Modells eingegangen um den in Ruhestand gehenden Professor Heinz Brünig für das Hochschulleben zu erhalten.

Mehrere Gesichter denen mithilfe eines Deepfakes die Gesichtszüge gegen die von Heinz Brünig ausgetauscht wurden. — Mehrere Beispiele von Heinz 2.0 als Deepfake

„Kidnapp’d“

Das sprachgesteuerte Escape-Room-Game

In einer Projektarbeit des Studiengangs Media Engineering wurde in Anlehnung an alte klassische Textadventures ein Escape Room konzipiert und realisiert, der völlig auf visuelle Elemente verzichtet und ausschließlich durch ein CUI (Converstional User Interface) mit Sprache gesteuert wird. Dazu wurde für Amazon „Alexa“ ein Skill implementiert.

Was ist ein Escape Room?

Der Escape Room ist eine neue Erscheinung, die sich mittlerweile einer großen Beliebtheit erfreut. Die Spieler werden dabei in einem Raum eingesperrt und müssen aus diesem entkommen, indem Rätsel gelöst werden. Escape Rooms sprechen jede Altersgruppe an. Eine der wichtigsten Fähigkeiten, um in so einem Raum zu bestehen, ist Teamfähigkeit. Viele Aufgaben müssen im Team gemeistert werden.

Die Escape Rooms sind je nach Setting verschieden eingerichtet. Ob königliches Schlosszimmer oder heruntergekommene Bruchbude – es ist alles möglich.

Rätsel können verschieden ausgelegt sein. Zum einen können Rätsel Nacheinander angeordnet sein so dass die Lösung eines Rätsels zu einem anderen führt. Die parallele Rätselbearbeitung ist ebenfalls möglich. So können zum Beispiel die Ergebnisse vieler einzelner Rätsel die Zahlenkombination eines Schlosses ergeben. Auch die Interaktion mit Gegenständen ist fester Bestandteil von Escape Rooms, wie das Drücken von Knöpfen, Verschieben von Möbeln, Öffnen von Schubladen oder Schränken etc

Story

Die Story handelt von einem namenlosen Protagonisten, der gekidnappt wurde und in einer unbekannten Umgebung aufwacht. Das ganze Setting soll dazu anregen, den Spieler auf der einen Seite neugierig auf die Umgebung zu machen und anderseits animieren die Situation des Protagonisten zu verbessen und aus den Räumen zu entkommen.

Der Alexa Skill

Die Alexa Developer Console ist das webbasierte Tool von Amazon, um Alexa Skills zu entwickeln. Über das Tool wird der End-Point eingetragen, das Interaction Model sowie die jeweilige Invocation eingetragen.

Amazon bietet 2 Möglichkeiten einen Skill zu betreiben.

1. Amazon Lambdafunktionen gehostet über den Amazon Web Service (AWS)

Amazon als einer der größten Anbieter von Cloudservices bietet die Möglichkeit seinen Skill komplett über die webbasierte Anwendung Aws-Services zu realisieren. Das bedeutet das die Skilllogik als Lambdafunktion bei Amazon hinterlegt ist und diese auch mit der Alexa Developer Console kommuniziert.

2. Hosting eines eigenen Servers

Wir haben uns dafür entschieden, dass wir den Amazon Web Service nicht nutzten wollen, sondern den Skill auf unserem eigenen Server zu hosten. Der Amazon Alexa Services kommuniziert über HTTPS mit unserem Server. Diese Kommunikation funktioniert über die Post Methode in der JSON Dateien geschickt werden.

Damit die Alexa Developer Console den Applicationserver findet, wird in der Alexa Developer Console die URL zum Server abgelegt.

Intents

Intents sind ein wichtiger Bestandteil des Amazon-Kommunikation-Models. Dieses Kommunikation-Model gibt den Aufbau der zu erwartenden Befehle an. Intents nehmen in diesem Model den Platz der Befehle ein, die dann in dem entsprechenden Code verarbeitet werden und eine Reaktion des jeweiligen provozieren.