通过雷切尔·戈登 , 麻省理工学院
马克·汉密尔顿 (Mark Hamilton)，麻省理工学院博士电气工程和计算机科学专业的学生，麻省理工学院计算机科学和人工智能实验室 (CSAIL) 的附属机构，希望使用机器来了解动物如何交流。为此，他首先着手创建一个可以“从头开始”学习人类语言的系统。
“有趣的是，关键时刻的灵感来自于电影《企鹅进行曲》。有一个场景，一只企鹅在穿过冰面时跌倒，在站起来时发出轻微的呻吟声，当你看到它时，几乎很明显，这种呻吟声代表了一个四个字母的单词，这就是我们想到的时刻。 ，也许我们需要利用音频和视频来学习语言。”汉密尔顿说。 “有没有一种方法可以让算法整天看电视，并从中找出我们在谈论的内容？”
“我们的模型 DenseAV 旨在通过根据所听到的内容预测所看到的内容来学习语言，反之亦然。例如，如果您听到有人说‘以 350 度烘烤蛋糕’的声音，那么您可能会看到一个为了在这个跨越数百万个视频的音频视频匹配游戏中取得成功，该模型必须了解人们在谈论什么，”汉密尔顿说。
一篇描述这项工作的论文出现在 arXiv 预印本服务器。
在汉密尔顿和他的同事们在这个匹配游戏上训练 DenseAV 后，他们就研究了模型在听到声音时会寻找哪些像素。例如，当有人说“狗”时，算法立即开始在视频流中寻找狗。通过查看算法选择了哪些像素，我们可以发现算法认为某个单词的含义。
有趣的是，当 DenseAV 听狗叫时，会发生类似的搜索过程：它在视频流中搜索狗。
“这激起了我们的兴趣。我们想看看算法是否知道‘狗’这个词和狗的叫声之间的区别，”汉密尔顿说。该团队通过为 DenseAV 提供“双面大脑”来探索这一问题。有趣的是，他们发现 DenseAV 大脑的一侧自然地专注于语言，例如“狗”这个词，而另一侧则专注于诸如吠叫之类的声音。这表明 DenseAV 不仅学习了单词的含义和声音的位置，还学会了区分这些类型的跨模式连接，所有这些都不需要人工干预或任何书面语言知识。
应用程序的一个分支是从每天发布到互联网上的大量视频中学习。
“我们希望系统能够从大量视频内容中学习，例如教学视频，”汉密尔顿说。 “另一个令人兴奋的应用是理解新语言，例如海豚或鲸鱼的交流，它们没有书面的交流形式。我们希望 DenseAV 能够帮助我们理解这些从一开始就回避了人类翻译工作的语言。最后，我们希望这种方法可以用于发现其他信号对之间的模式，例如地球发出的地震声音及其地质情况。”
团队面临着一个艰巨的挑战：在没有任何文本输入的情况下学习语言。他们的目标是从空白中重新发现语言的含义，避免使用预先训练的语言模型。这种方法的灵感来自于儿童如何通过观察和聆听环境来理解语言。
更多信息： 马克·汉密尔顿等人，将“叽叽喳喳”与“聊天”分开：声音和语言的自我监督视觉基础， arXiv (2024). AR西V.org/ABS/2406.05629
期刊信息： arXiv
由...提供 麻省理工学院
本文由麻省理工学院新闻 (web.mit.edu/newsoffice/) 转载，这是一个涵盖麻省理工学院研究、创新和教学新闻的热门网站。
