Quando você ouve uma melodia, sua percepção é formada pelas formas e movimentos que associa a ela.

Quando você ouve Beyoncé cantar, quanto tempo leva para visualizá-la dançando no palco? Ou quando os solos de guitarra de Jimi Hendrix estão batendo forte nos alto-falantes, você pode ver Hendrix posando com sua guitarra?

Quer você esteja imitando em frente ao espelho e usando sua escova de cabelo como microfone ou ouvindo com um dos ouvidos enquanto limpa a casa, os movimentos que você associa à música desempenham um papel no que você realmente ouve. Isso porque a música é mais do que uma boa letra ou melodia. A música é a interação entre tudo que você sente.

“Pense em como você se sente quando alguém está cantando notas realmente altas”, diz a pesquisadora musical Tejaswinee Kelkar, da Universidade de Oslo (Noruega). “O que realmente percebemos é o esforço que está sendo feito pelo cantor. Reconhecemos porque é físico. Nem precisamos ver o cantor, porque estamos muito sintonizados para interpretar nuances na voz – que, por exemplo, falam-nos sobre os sentimentos do cantor.”

Kelkar estuda as formas que associamos à música e investigou isso estudando quais gestos as pessoas fazem ao ouvir música. As expressões faciais e a posição das pernas são apenas algumas das coisas que ela acredita que afetam a experiência auditiva de alguém.

Ao cantar, você também usa os braços

A própria Tejaswinee Kelkar é uma cantora performática, e seu interesse por gestos se desenvolveu quando ela percebeu que há uma diferença entre como as mãos são usadas quando cantamos música ocidental e indiana.

“Quando criança, aprendi a cantar música do norte da Índia. É comum usar gestos com as mãos para ajudar as crianças quando estão aprendendo a cantar. Quando você está no palco, deve cantar da mesma maneira que faz quando ensaia. Você se concentra na música como sendo cantada entre você e a sala, em vez de pensar no público.”

Quando mais tarde foi treinada em canto clássico ocidental, ela começou a usar gestos de mãos semelhantes. “Mas me disseram com bastante firmeza que não era assim que as coisas eram feitas.”

Ela ficou curiosa: o que os gestos das mãos realmente significavam?

“Você pode pensar que esses movimentos fornecem algum tipo de assistência anatômica, ou que eles moldam como você usa sua voz. Nesse caso, alguns gestos com as mãos podem ser adequados para música indiana e não para música ocidental.”

Para Kelkar, as diferentes regras que se aplicam aos gestos também serviram como prova de outra coisa: para entender a música, é preciso pensar em como ela preenche o espaço de uma sala.

Melodias podem ter diferentes formas

A música toca em todos os nossos sentidos porque é multimodal – ocorre em modos diferentes. Para Kelkar, o modo principal é a espacialidade. Ela se refere ao matemático René Thom, que diz: “Para entender algo, precisamos entender a geometria disso”.

“Acho que ele está certo: tudo tem uma espacialidade. O tempo, que é importante na música, é um bom exemplo. Relacionamos o passado e o futuro com nossos corpos – que algo está à nossa frente ou atrás de nós.”

Para entender mais sobre como a música é percebida espacialmente, Kelkar conduziu vários experimentos. Em um deles, ela pediu aos participantes que ouvissem a mesma peça musical várias vezes e desenhassem ou explicassem o que estavam visualizando em suas mentes.

“As pessoas geralmente percebem formas específicas ou usam metáforas de movimento. Vários dos participantes descreveram ou desenharam a música como uma onda que passava por eles – como ondas sonoras ou ECG (eletrocardiograma)”, explica ela. “Enquanto isso, outros visualizavam um círculo, especialmente se notassem que um motivo na melodia se repetia.”

Em outro experimento, ela pediu aos participantes que movessem os braços de uma maneira que sentissem que combinava com a música. Ela documentou tudo usando tecnologia de rastreamento de captura de movimento para pesquisar padrões.

“Vários tentaram desenhar os contornos da música subindo ou descendo. Isso refletia o tom, mas também outras características da música, como timbre, motivos e padrões.”

Expressões faciais afetam os sons que ouvimos

O fato de nosso cérebro fazer uma conexão entre o que vemos e o que ouvimos é algo que já foi estudado por pesquisadores da linguagem. “Isso foi observado como um fenômeno linguístico, incluindo um chamado efeito McGurk”, diz Kelkar.

O efeito McGurk descreve como podemos ouvir um som enquanto observamos um rosto que expressa um som diferente e ouvir algo que está entre os dois. Um exemplo clássico disso é que, quando ouvimos uma nota si pronunciada ao ver um rosto expressando uma nota sol, acabaremos ouvindo um ré.

Kelkar recentemente conduziu um estudo com seus colegas Bruno Laeng e Sarjo Kuyateh que foi projetado para ver se a mesma coisa acontece quando cantamos: “Na verdade, encontramos sinais que indicam que o que o cantor faz com seu rosto afeta a forma como as pessoas percebem a melodia. O intervalo entre dois tons pode soar diferente se o mimetismo do cantor variar.”

Os resultados do estudo foram publicados na revista Scientific Reports.

Shazam para movimento

Assim como a melodia e o ritmo nos permitem reconhecer a música, as formas que associamos a uma melodia podem nos ajudar no mesmo. Em sua pesquisa, Tejaswinee Kelkar alimentou a inteligência artificial com a documentação dos diferentes movimentos derivados de seus experimentos, permitindo assim que a tecnologia use os movimentos para reconhecer a música. Esse tipo de tecnologia pode ser utilizada para o desenvolvimento de novas ferramentas.

“Imagine uma tecnologia semelhante ao aplicativo de reconhecimento de música ‘Shazam’, mas imagine-a examinando movimentos em vez de sons. Se você fizesse gestos que corresponderiam a ‘Feliz Aniversário’, esse aplicativo poderia encontrar a música para você.”

Embora essa tecnologia seja relativamente nova, a busca por melodias baseadas em contornos é uma ideia antiga. Em 1975, Denys Parsons publicou seu The Directory of Tunes and Musical Themes, no qual catalogou cerca de 15 mil peças clássicas com base em seus contornos melódicos – como o tom se move para cima e para baixo. A identificação da música com base em seus contornos é, portanto, chamada de “Código de Parsons”.

O método de Kelkar também é semelhante a outras ferramentas disponíveis online. “Por exemplo, hoje temos musipedia.org, que permite pesquisar músicas com base em seus contornos”, diz ela.

Ouvintes mudam a música

Som, texto e espaço são alguns dos modos incluídos na música. O mesmo se aplica a ações, ou simplesmente pensar sobre elas. “Se você visualizar a dança, a música que você ouve provavelmente soará diferente de como soaria se você não a visualizasse”, diz Kelkar.

A pesquisadora musical também destaca como vivenciamos os shows, algo que mudou muito ao longo dos anos.

“Temos gêneros musicais em que as pessoas ficam quietas e ouvem com respeito, mas isso é algo novo, porque muitos de nossos compositores clássicos criaram música para dançar. Agora tocamos mazurcas e minuetos em salas de concerto enquanto o público fica sentado assistindo respeitosamente. O mesmo se aplica a jazz, que era um gênero de club music feito para as pessoas dançarem.”

Ela ressalta que isso diz algo fundamental sobre a multimodalidade da música. “Sua percepção da música é moldada pelo que você vê e faz, mas o oposto também se aplica; o que você faz afetará a música.”