用视觉感知声音——马里亚诺·萨尔塞多的音乐与人工智能探索

马里亚诺·萨尔塞多(Mariano Salcedo)在墨西哥和德克萨斯州长大,小时候难以尽情追求自己对音乐的热爱。“墨西哥的公立学校里没有乐队,”他说。虽然有些家庭能负担乐器和课程,但像萨尔塞多的家庭则较为困难。

“我一直热爱音乐,”他继续说道,“我曾经只是个听众。”

作为音乐技术与计算项目的Alex Rigopulos(1992届)奖学金获得者,萨尔塞多在麻省理工学院获得了人工智能与决策科学的理学学士学位,期间他研究了信号处理在机器学习中的应用,以及经典信号理论如何帮助理解人工智能。如今,他是该项目首届硕士生中的五位之一。

该项目由音乐技术实践教授Eran Egozy(1993届,硕士1995届)领导,是人文、艺术与社会科学学院(SHASS)音乐与戏剧艺术系与工程学院的合作项目。它旨在让实践者研究、发现并开发音乐的新计算方法,同时设有讲座系列,邀请音乐行业专业人士、艺术家、技术专家及研究人员与MIT社区分享。

Rigopulos是视频游戏设计师、音乐家,也是Harmonix Music Systems的联合创始人兼前CEO,该公司于1995年由他与Egozy共同创立,现为Epic Games旗下。Rigopulos现任Epic Games游戏开发音乐总监。

“几十年前,MIT是我首次能够追求音乐技术热情的地方,这段经历成为我长久且充实职业生涯的跳板,”Rigopulos说,“因此,当MIT开设音乐技术高级学位项目时,我非常高兴资助奖学金,助力这一激动人心的新项目。”

萨尔塞多的研究聚焦于神经细胞自动机(NCA),它结合了经典细胞自动机与机器学习技术,能够生成并再生图像。当与音乐等刺激结合时,这些图像可以“展示”声音的动态。

“这种方法让任何人都能创作受音乐驱动的视觉效果,同时利用自组织系统的表现力和有时不可预测的动态,”萨尔塞多说。通过他设计的网页界面,用户可以调整音乐能量与NCA系统的关系,利用任何音乐音频流创造独特的视觉表演。

“我希望视觉效果能补充并提升听觉体验,”他说。

Egozy对萨尔塞多的工作及其探索潜力充满热情。“他是跨学科研究者的典范,深思熟虑地利用技术来增强和拓展人类创造力,”他说。

萨尔塞多被选为2026年SHASS高级学位典礼的学生致辞代表。“这是莫大的荣誉,也让我感到压力,”他说,“这是一份沉甸甸的责任,”但他渴望承担这一使命。Egozy对此也感到欣喜,“我非常激动萨尔塞多被选为今年的主旨发言人。”

转变方向

萨尔塞多最初以机械工程专业进入MIT,通过Questbridge项目申请。“我听说如果喜欢工程和科学,MIT是个绝佳选择,”他回忆,“这里欢迎并包容书呆子。”虽然他认真完成机械工程课程,但一次偶然接触大型语言模型(LLM)聊天机器人后,音乐与技术的热情重新点燃。

“我第一次接触LLM聊天机器人时震惊了,”他说,“它仿佛在和我对话,让我既敬畏又害怕。”此后,他将专业从机械工程转为人工智能与决策科学。

“我基本上从头开始,之前机械工程课程已完成三分之二,”他说。他了解了人工智能的潜力,也面对了研究者和开发者所面临的挑战,如其强大能力、责任使用、人类偏见、少数群体的有限接触以及开发者多样性不足。他希望能改变这一现状。

“我觉得多一个人在这个领域就能带来改变,”他说。

本科期间,萨尔塞多的音乐热情再次被唤醒。“我开始在MIT做DJ,深深着迷,”他说。虽然没有学习传统乐器,他发现可以用技术创造引人入胜的音景。“我买了数字音频工作站来制作音乐。”

2024年,萨尔塞多在Egozy的实验室参与本科研究项目,担任游戏开发者。“他非常好奇,短时间内成长迅速,”Egozy说,成为他的非正式导师。“他为工作和支持项目中的同学带来了极大的活力和思考。”

他还选修了Egozy教授的互动音乐系统课程,进一步激发了他的创造力,也满足了他对音乐可能性的好奇。通过SHASS课程,他加深了对音乐理论和相关技术的理解。

“我上了Leslie Tilley教授的批判性音乐思维课程,建立了理解音乐创作的框架,”他说,“而信号处理课程则帮助我将直觉与科学连接起来。”

跨学科合作

萨尔塞多不仅热爱音乐和研究,也致力于与同学建立联系。他是Sigma Nu兄弟会成员,称那里是他的“家和社区”。2023年夏,他参加了MISTI项目赴智利进行音乐技术研究。他赞赏MIT的团结文化,感激其对他学术工作的影响。“MIT教会了我如何学习。”

教授们鼓励他展示研究成果。他在2026年1月于新加坡举行的人工智能促进协会会议上展示了题为《人工舞动智能:用于音乐视觉表演的神经细胞自动机》的研究。

萨尔塞多认为他的研究潜力不仅限于音乐可视化。“如果我们能改进自组织系统的建模呢?”他问,“比如多细胞生物、鸟群或局部互动却展现复杂行为的社会系统。”他指的是整体大于部分之和的系统。

开发设计该应用的技术也有助于回答人工智能持续扩展带来的伦理问题。尽管这条路充满挑战和孤独,但正是这些激励着他的工作热情。

“当学术界聚焦于大型语言模型时,走这条路令人畏惧,”他说,“但在深入细致工作之前,解释和探索基础技术同样重要,有助于公众更好理解。”他感谢教授们的支持,“他们只要求我们将兴趣扎根于研究。”

他的研究也影响了他的音乐创作。“我上的课程让我的音乐更有趣,”他说。他还关注学术界和世界听到的音乐类型,探讨对西方音乐的偏见及如何减少对不同音乐价值的偏见。

“作为技术人员,我们的工作远没有想象中那么主观。”

萨尔塞多特别感激MIT期间获得的支持。“项目教师鼓励多样化追求,推动我们实现个人目标,而非仅仅关注他们的。”他兴奋地说,在研究生项目中,他经常被激励去追求自己的想法。

最终,萨尔塞多希望人们能感受到他在文理交叉领域工作的快乐。音乐和技术影响着几乎每个人。邀请观众参与他的实验室创作和研究过程,带来与制作精彩节拍或解决技术难题同样的满足感。帮助观众理解他工作的价值,激励着他不断前进。

“我希望用户能感受到运动,深入探索声音及其影响。”


分享:


发表评论

登录后才可评论。 去登录