Innovation für
menschliche Verbindung

Modernste Technologie im Dienst der Gemeinschaft - modulare Hardware, intelligente Software und offene Protokolle für eine harmonischere Welt

ESP32-S3
800 LEDs
BLE + WiFi
Modular

Systemarchitektur

Ein flexibles Server-Client-Modell, das von lokalen Sessions bis zu globalen Kollaborationen skaliert

THERVER (Server)

Hardware-Optionen:

  • • Raspberry Pi 4 (8GB) - Empfohlen
  • • Orange Pi 5 - Performance-Alternative
  • • Standard-PC/Mac - Development
  • • High-End Smartphone - Mobile Server

Mindestanforderungen:

  • • 4GB RAM (8GB empfohlen)
  • • Quad-Core ARM/x64 CPU
  • • WiFi 6 + BLE 5.0
  • • USB 3.0 für externe Speicher

Client Apps

Plattformen:

  • • Flutter (iOS/Android/Desktop)
  • • Progressive Web App (PWA)
  • • Custom Hardware Clients
  • • WebRTC Browser-Integration

Features:

  • • Multi-Touch Interfaces
  • • Accelerometer/Gyro Support
  • • Camera für MoCap
  • • Offline-Synchronisation

Hardware Controller

THORD (Hauptinstrument):

  • • ESP32-S3 Dual-Core (240MHz)
  • • BNO055 9-Achsen Sensor
  • • 800 WS2812B LEDs
  • • 24 kapazitive Tasten

Ecosystem (geplant):

  • • THWING - Motion Controller
  • • THEE - Eye Tracking

Datenfluss-Architektur

Input Layer

THORD, Apps, MIDI → UDP/BLE → Input Handler → Event Queue

Processing

MIDI Engine → Soundfont Renderer → Effects Chain → Mixer

Output Layer

Audio Output + Visual Generator → LED Pattern → Device Renderer

THORD: Das Herzstück

Detaillierte technische Spezifikationen des revolutionären Musikinstruments

Core Hardware

Mikrokontroller

  • • ESP32-S3 Dual-Core
  • • 240 MHz Xtensa LX7
  • • 512 KB SRAM
  • • WiFi 6 + BLE 5.0
  • • 45 GPIO Pins

Bewegungssensor

  • • BNO055 9-DOF IMU
  • • 3-Achsen Gyroskop
  • • 3-Achsen Beschleunigung
  • • 3-Achsen Magnetometer
  • • 0,5° Genauigkeit

Eingabeelemente

24 Kapazitive Tasten

  • • Adafruit NeoKeys 1x4 (6 Module)
  • • Druckempfindliche Eingabe
  • • RGB-Hintergrundbeleuchtung
  • • I2C-Kommunikation

Analogstick

  • • 2-Achsen + Button
  • • Gaming-Qualität
  • • Haptisches Feedback

Drehencoder

  • • Präzisions-Encoder
  • • Mausrad-Stil
  • • Druckfunktion

LED-Visualisierung

800 Individuell adressierbare LEDs

  • • 8 Streifen × 100 WS2812B LEDs
  • • RGB (16,7 Mio. Farben)
  • • 30-60 fps Aktualisierung
  • • DMA-Ansteuerung

Visualisierungsmodi

  • • Spektrumanalyse
  • • Note-zu-Farbe
  • • Rhythmus-Sync
  • • Stimmungsbasiert

Helligkeit

  • • Max. 100% (240W)
  • • Praxis: 30-40%
  • • Adaptive Anpassung
  • • Umgebungssensor

Physischer Aufbau

ESP32-S3 + BNO055
24 Touch-Tasten
4×18650 Li-Ion

Abmessungen & Gewicht

Gesamtlänge:
85 cm (Zielwert)
LED-Blade:
50 cm × 4 cm ⌀
Griff:
20 cm × 4 cm ⌀
Gewicht:
~800g (mit Akkus)

Stromversorgung & Performance

Akkusystem

  • • 4× Li-Ion 18650 (3000mAh)
  • • 2s2p Konfiguration (7.4V, 6Ah)
  • • ~44 Wh Gesamtkapazität
  • • Hot-Swap möglich
  • • BMS mit Überlastschutz

Leistungsaufnahme

  • • LEDs @ 30%: ~72W
  • • Elektronik: ~1W
  • • Gesamt: ~73W
  • • Akkulaufzeit: 1h 15min
  • • Standby: 48h

Ladeoptionen

  • • USB-C PD: 100W
  • • Pass-Through: Spielen beim Laden
  • • Ladezeit: 45min (0→80%)
  • • Intelligente Ladung: BMS-gesteuert
  • • Status: LED-Ring-Anzeige

Kommunikationsprotokolle

Optimierte Netzwerkprotokolle für minimale Latenz und maximale Kompatibilität

WebSocket

Primäres Protokoll
  • • Bidirektional
  • • Auto-Reconnect
  • • Kompression
  • • 5-20ms Latenz

BLE

Direkte Verbindung
  • • Energieeffizient
  • • MIDI-over-BLE
  • • Multi-Device
  • • 10-30ms Latenz

UDP Multicast

Broadcast
  • • Ultraschnell
  • • Taktgeber-Sync
  • • Gruppencast
  • • 1-10ms Latenz

mDNS

Auto-Discovery
  • • Zero-Config
  • • Service-Discovery
  • • .local Namen
  • • Plug & Play

Netzwerk-Topologie

Lokales Netzwerk

  • WiFi 6 für Hochgeschwindigkeitskommunikation
  • Mesh-Netzwerk für große Installationen
  • Automatische Geräteerkennung via mDNS

Direkte Verbindungen

  • BLE für WLAN-unabhängige Sessions
  • USB für Debugging und Low-Latency
  • Matter/Zigbee für Smart-Home (geplant)

Software-Architektur

Skalierbare, modulare Software-Stack für Echtzeit-Musikproduktion und Kollaboration

Audio-Engine

MIDI-Prozessierung

  • • Echtzeitverarbeitung von MIDI-Events
  • • Virtuelles MIDI-Routing zwischen Geräten
  • • MIDI-Datei Import/Export
  • • Quantisierung und Timing-Korrektur
  • • Implementation: Web MIDI API + flutter_midi

Soundfont-Rendering

  • • SF2/SFZ Soundfont-Unterstützung
  • • Dynamisches Sample-Loading
  • • Intelligentes Caching
  • • Polyphonie-Management (bis 128 Stimmen)
  • • Implementation: FluidSynth/TinySoundFont

Effekte-Pipeline

  • • Dynamische Effekte (Kompressor, Limiter)
  • • Filter (Tiefpass, Hochpass, Bandpass)
  • • Zeit-Effekte (Reverb, Delay, Echo)
  • • Modulation (Chorus, Flanger, Phaser)
  • • Echtzeit-Parameter via Controller

Client-Anwendungen

Flutter Framework

  • • Cross-Platform (iOS, Android, Desktop)
  • • 60fps High-Performance Rendering
  • • Native UI-Elemente
  • • Custom Graphics Pipeline
  • • Provider/BLoC State-Management

Benutzeroberfläche

  • • Anfänger-Modus: Vereinfachte Steuerelemente
  • • Experten-Modus: Vollständige Kontrolle
  • • Adaptive UI für verschiedene Bildschirmgrößen
  • • Barrierefreie Bedienung (WCAG 2.1)
  • • Dunkles/Helles Theme

Offline-Funktionalität

  • • Lokales Asset-Caching
  • • Offline-Sessions mit Sync
  • • Progressive Degradation
  • • Automatische Session-Recovery
  • • Intelligente Bandwidth-Anpassung

Bill of Materials

Vollständige Kostenkalkulation für THORD-Prototyp (Kleinserie < 100 Stück)

Bauteilgruppe Anzahl Einzelpreis (€) Gesamt (€) Anmerkung
WS2812B LED-Strip (100 LED) 8 15,00 120,00 IP30, Noname-Qualität
ESP32-S3 Dev-Board 1 12,00 12,00 USB-C bevorzugt
BNO055 IMU Sensor 1 35,00 35,00 Adafruit-Version
NeoKeys 1×4 (kapazitiv) 6 20,00 120,00 Für 24 Tasten
Analogstick + Encoder 2 5,00 10,00 Gaming-Qualität
Li-Ion 18650 Zellen (3000mAh) 4 6,00 24,00 Markenzellen
2s2p BMS (10-15A) 1 15,00 15,00 Pass-Through-fähig
Step-Down Wandler (100W) 1 20,00 20,00 Effizienz > 90%
USB-C PD Ladeelektronik (100W) 1 25,00 25,00 PD-Negotiation
Plexiglasrohr milchig (1m) 1 15,00 15,00 Zuschnitt auf Länge
Gehäuseteile (3D-Druck/CNC) – 40,00 40,00 Material + Druck
Kabel, Stecker, Kleinteile – 15,00 15,00 Reserve
Summe (Bauteile) – – 536,00 € Ohne Arbeitszeit
536€
Prototyp-Kosten
Kleinserie < 100
~300€
Großserie-Ziel
Bei > 1000 Stück
~150€
Vision-Ziel
Optimiert + Scale

Entwicklungs-Roadmap

Vom Konzept zum marktreifen Produkt - technische Meilensteine und Entwicklungsphasen

Phase 1

Prototyping
  • • Hardware-Konzept validieren
  • • ESP32-S3 Firmware
  • • LED-Ansteuerung optimieren
  • • BLE-Kommunikation
  • • Stromverbrauch testen
1-3 Monate

Phase 2

App Development
  • • Flutter App (MVP)
  • • WebSocket Protokoll
  • • Basis UI/UX
  • • MIDI Integration
  • • Alpha-Tests
2-4 Monate

Phase 3

Server Integration
  • • THERVER Software
  • • Audio-Engine Integration
  • • Multi-User Sessions
  • • Cloud-Funktionalität
  • • Beta-Tests
3-6 Monate

Phase 4

Produktion
  • • Design für Manufacturing
  • • Qualitätssicherung
  • • Skalierung
  • • Markteinführung
  • • Community Building
6-12 Monate

Technische Herausforderungen

Herausforderungen

  • • Latenz-Minimierung: < 20ms für Echtzeit-Gefühl
  • • LED-Performance: 800 LEDs @ 60fps ohne Flackern
  • • Strommanagement: Balance zwischen Helligkeit und Laufzeit
  • • Mechanik: Robustheit bei 800g Gewicht
  • • Synchronisation: Multi-Device Timing

Lösungsansätze

  • • UDP + DMA: Hardware-beschleunigte Datenübertragung
  • • LED-Segmentierung: 8 parallele Streifen statt einer Kette
  • • Intelligente Helligkeit: Adaptive Anpassung je nach Kontext
  • • Modularer Aufbau: Austauschbare Komponenten
  • • Takt-Master: Zentraler Zeitgeber für alle Geräte

API & Integration

Offene Schnittstellen für Entwickler, Partner und die Community

RESTful API

Core Endpoints

GET /api/v1/devices
POST /api/v1/sessions
PUT /api/v1/sessions/{id}
PATCH /api/v1/effects
DELETE /api/v1/sessions/{id}

Authentification

  • • OAuth2 + JWT Token
  • • API Key für Partnerschaften
  • • Rate Limiting (1000 req/h)
  • • CORS für Web-Integration

Integration-Optionen

Hardware-Partner

  • • Adafruit: NeoKeys, Sensor-Integration
  • • MiMU Gloves: Gesten-Controller
  • • Custom Hardware: Offene Spezifikationen
  • • MIDI-Geräte: Standard-Kompatibilität

Software-Partner

  • • BandLab: Cloud-Kollaboration
  • • Suno AI: KI-Komposition
  • • DAWs: VST/AU Plugin
  • • Streaming: OBS Integration

Entwickler-Tools

  • • SDK für Flutter/React Native
  • • WebSocket Libraries
  • • Simulator für Testing
  • • Comprehensive Documentation

Entwickler-Community

Werde Teil des MELOWEE-Ökosystems. Entwickle eigene Instrumente, Apps oder Integrationen.

Baue die Zukunft mit uns

Ob Hardware-Hacker, Software-Entwickler oder Technologie-Partner - deine Expertise kann MELOWEE voranbringen.

Hardware

ESP32 Firmware, PCB Design, mechanische Konstruktion, Sensorintegration

Software

Flutter Apps, Audio-Engine, Server-Development, KI-Integration

Partnership

Integration, Vertrieb, Forschung, Finanzierung - gemeinsam sind wir stärker

Technische Partnerschaften

Bringe deine Hardware- oder Software-Expertise ein. Entwickle gemeinsam mit uns die nächste Generation der Musikinstrumente.

F&E Förderung

Unterstütze innovative Technologieentwicklung mit gesellschaftlichem Impact. MELOWEE verbindet Spitzentechnik mit sozialer Mission.

Open Source, Open Community

Schnittstellen, Protokolle und Core-Libraries werden Open Source