Інтерактивна 3D-демонстрація гри роботизованої руки на піаніно

Створіть повноцінну браузерну демонстрацію, у якій детально змодельована п’ятиfingerова роботизована рука грає на мініатюрному піаніно. Видимий рух пальців, фізичний хід клавіш, згенеровані ноти та музичний таймінг мають бути причинно-наслідково пов’язані. Створіть візуально відшліфований інтерактивний застосунок у межах часу, відведеного оцінювачем. 1. ВЗАЄМОДІЯ: Використайте повноекранну 3D-сцену з точно змодельованою роботизованою рукою, шарнірно з’єднаними пальцями, видимими механізмами зап’ястка та клавіатурою з 25 клавішами, що охоплює MIDI-ноти від 60 до 84. Покажіть реалістичну геометрію чорних і білих клавіш, незалежний рух клавіш, накладки на кінчиках пальців і опрацьовані матеріали. Додайте камери з верхнього ракурсу, з боку виконавця та для великих планів кінчиків пальців. Забезпечте синхронізований звук після активації відтворення користувачем. 2. ЄДИНЕ ДЖЕРЕЛО МУЗИЧНИХ ДАНИХ: Використовуйте номери MIDI-нот як єдине достовірне джерело. За темпу 96 BPM відтворіть такі події у форматі (початкова доля, нота, тривалість у долях): (0,60,0.4), (0.5,64,0.4), (1,67,0.4), (1.5,64,0.4), (2,62,0.4), (2.5,65,0.4), (3,69,0.4), (3.5,65,0.4), (4,60,0.4), (4.5,60,0.4), (5,60,1), (5,64,1), (5,67,1). Останні три події утворюють одночасний акорд. Також реалізуйте імпорт стандартних MIDI-файлів за допомогою поширеного парсера. 3. КЕРУВАННЯ РУКОЮ: Змоделюйте пальці з незалежною артикуляцією та рухоме зап’ястя. Сплануйте досяжні призначення пальців, рухи наближення, натискання, утримання, відпускання, артикуляцію повторюваних нот і виконання акордів. Пальці мають торкатися правильних клавіш, не перетинаючи сусідні клавіші та не здійснюючи неправдоподібних стрибків. Використовуйте зворотну кінематику й обмеження суглобів. Відображайте заплановані призначення пальців і дозвольте вручну перевіряти окремі рухи. 4. ПРИЧИННІСТЬ ЗВУКУ: Створюйте події note-on лише тоді, коли відповідна видима клавіша перетинає задокументований поріг натискання внаслідок контакту з пальцем. Створюйте note-off під час відпускання, використовуючи гістерезис для запобігання дребезгу. MIDI-події є цілями планування, а не незалежною доріжкою відтворення звуку. Допустимим є механізм клавіш на основі геометричного контакту, якщо його явно визначено; натомість можна використати повну динаміку контакту. Клавіші не повинні рухатися лише через те, що заплановано MIDI-подію. 5. ТАЙМІНГ: Використовуйте узгоджений музичний годинник і фіксуйте часові мітки фактичних спрацьовувань клавіш порівняно з цільовими подіями. Враховуйте планування звуку та час рендерингу. Додайте керування темпом, транспонуванням, відтворенням, паузою, перезапуском, циклічним відтворенням і покадровим аналізом у сповільненому режимі. Під час паузи або перезапуску належним чином вимикайте активні ноти. Сповільнення відтворення не повинно порушувати синхронізацію пальців, клавіш і звуку. 6. ДІАГНОСТИКА: Відображайте цільові ноти, заплановані пальці, фактично зіграні ноти та похибки часу початку на узгодженій часовій шкалі. Повідомляйте про пропущені й зайві ноти, неправильну висоту звуку, помилки під час повторення нот і ноти, що зависли. Додайте накладку для перевірки контактів, яка показує, який кінчик пальця натискає кожну клавішу. Записуйте докази, потрібні для розрізнення успішного планування та приблизної анімації руки. 7. ПЕРЕВІРКА: Оцінюйте окремо мелодію, повторювані ноти та фінальний акорд. Прагніть до відсутності неправильних і пропущених нот, похибки часу початку на 95-му перцентилі меншої за 50 мс і розкиду часу початку нот фінального акорду меншого за 50 мс. Навіть якщо цілі не досягнуто, надавайте фактичні вимірювання. Додайте тест, що вимикає приведення пальців у рух: оцінка може й далі просуватися, але ненатиснуті клавіші не повинні генерувати ноти. 8. ПОСТАВКА: Використайте Three.js, TypeScript, відповідні аудіо API та поширені бібліотеки для парсингу або числових обчислень. Надайте робочий застосунок, вихідний код, відтворюваний музичний тестовий набір, ресурси або скрипти їхньої генерації та інструкції із запуску. Перевірте звук у браузері, елементи керування, ракурси камер, компонування для настільних і мобільних пристроїв та повторне відтворення. Усі відображені твердження про продуктивність мають ґрунтуватися на виміряній поведінці.