Dimostrazione interattiva 3D di una mano robotica che suona il pianoforte

Crea una dimostrazione completa, basata su browser, di una mano robotica dettagliata a cinque dita che suona un pianoforte in miniatura. Il movimento visibile delle dita, l'escursione fisica dei tasti, le note generate e la tempistica musicale devono essere collegati causalmente. Realizza un'applicazione interattiva e visivamente curata entro il tempo a disposizione del valutatore. 1. ESPERIENZA: usa una scena 3D a schermo intero con una mano robotica modellata con precisione, dita articolate, meccanismi del polso visibili e una tastiera di 25 tasti che copra le note MIDI da 60 a 84. Mostra una geometria realistica per tasti neri e bianchi, il movimento indipendente dei tasti, i cuscinetti sulla punta delle dita e materiali raffinati. Includi telecamere dall'alto, dal lato dell'esecutore e per primi piani sulle punte delle dita. Fornisci audio sincronizzato dopo che l'utente ha attivato la riproduzione. 2. INPUT MUSICALE COMUNE: usa i numeri delle note MIDI come fonte di verità. A 96 BPM, riproduci questi eventi, espressi come (battuta di inizio, nota, durata in battute): (0,60,0.4), (0.5,64,0.4), (1,67,0.4), (1.5,64,0.4), (2,62,0.4), (2.5,65,0.4), (3,69,0.4), (3.5,65,0.4), (4,60,0.4), (4.5,60,0.4), (5,60,1), (5,64,1), (5,67,1). Gli ultimi tre eventi formano un accordo simultaneo. Supporta anche l'importazione di file MIDI standard tramite un parser consolidato. 3. CONTROLLO DELLA MANO: modella dita articolate indipendentemente e un polso mobile. Pianifica le assegnazioni raggiungibili delle dita, i movimenti di avvicinamento, le pressioni, le tenute, i rilasci, l'articolazione delle note ripetute e l'esecuzione degli accordi. Le dita devono entrare in contatto con i tasti corretti senza intersecare quelli adiacenti o compiere salti implausibili. Usa la cinematica inversa e i limiti dei giunti. Mostra le assegnazioni pianificate delle dita e consenti l'ispezione manuale dei singoli movimenti. 4. CAUSALITÀ DEL SUONO: genera gli eventi note-on solo quando il tasto visibile corrispondente supera una soglia di abbassamento documentata a causa del contatto con un dito. Genera il note-off al rilascio, usando l'isteresi per prevenire oscillazioni indesiderate. Gli eventi MIDI sono obiettivi di pianificazione, non una traccia audio indipendente. È accettabile un meccanismo dei tasti basato sul contatto geometrico, purché venga identificato esplicitamente; in alternativa si possono usare dinamiche complete del contatto. I tasti non devono muoversi semplicemente perché è stato pianificato un evento MIDI. 5. TEMPISTICA: usa un clock musicale coerente e assegna un timestamp agli eventi di attivazione effettivi dei tasti, confrontandoli con gli eventi obiettivo. Tieni conto della programmazione audio e della temporizzazione del rendering. Rendi disponibili tempo, trasposizione, riproduzione, pausa, riavvio, ciclo e ispezione al rallentatore. La pausa o il riavvio devono rilasciare correttamente le note attive. Il rallentamento della riproduzione deve preservare la sincronizzazione tra dita, tasti e audio. 6. DIAGNOSTICA: mostra su una timeline allineata le note obiettivo, le dita pianificate, le note effettivamente attivate e gli errori di temporizzazione degli attacchi. Segnala le note mancate, quelle extra, le altezze errate, i problemi nell'esecuzione delle note ripetute e le note bloccate. Fornisci un overlay di ispezione del contatto che mostri quale punta del dito sta abbassando ciascun tasto. Registra le prove necessarie a distinguere una pianificazione riuscita da una semplice animazione approssimativa della mano. 7. VERIFICA: valuta separatamente la melodia, le note ripetute e l'accordo finale. Punta a non avere note errate o mancanti, a un errore di attacco al 95° percentile inferiore a 50 ms e a una dispersione degli attacchi dell'accordo finale inferiore a 50 ms. Riporta le misurazioni effettive anche quando gli obiettivi non vengono raggiunti. Fornisci un test che disabiliti l'attuazione delle dita: il punteggio può continuare ad avanzare, ma i tasti non premuti non devono generare note. 8. CONSEGNA: usa Three.js, TypeScript, API audio appropriate e librerie consolidate per il parsing o i calcoli numerici. Consegna l'applicazione funzionante, il codice sorgente, un fixture musicale riproducibile, gli asset o gli script di generazione e le istruzioni di avvio. Verifica l'audio del browser, i controlli, le viste della telecamera, il layout per desktop e dispositivi mobili e la riproduzione ripetuta. Tutte le dichiarazioni sulle prestazioni visualizzate devono derivare da comportamenti misurati.