[TUTORIAL] BeatMapping com Unity

Olá!
Hoje vou ensinar como fazer um sistema de mapeamento de ritmo em tempo real com a Unity.

Pode ser usado para jogos de ritmo como demonstrado aqui:


Dito isso vamos começar!

O Som

Algo muito importante na hora de se mexer com áudio e saber como ele funciona.
O som é uma vibração que caminha pelo ar e também pode caminhar por líquidos e sólidos, a forma de propagação de um som e por meio de ondas longitudinais, que são tipos de onda em que a direção de vibração não se altera sendo a mesma direção do estímulo que a produziu.


As ondas possuem alguns componentes importantes, como:

-Comprimento de onda
-Amplitude
-Frequência

A amplitude de uma onda sonora diz o quão intenso este som é, ou seja, a amplitude da onda está ligada ao volume do som.
Já a frequência de uma onda sonora diz o quão agudo ou grave um som é, desse modo podemos usá-la para identificar componentes nesse som, como notas musicais e o tom.

Transformada de Fourier

A grosso modo, a transformação de Fourier serve para mudar o modo como analisamos um sinal.
Quando olhamos para o gráfico de uma onda sonora, vemos como a amplitude se modifica ao longo do tempo, se aplicarmos uma transformada de fourier neste som teremos um gráfico da amplitude sonora em relação à frequência.
Ou seja, teremos um gráfico do volume de cada banda de frequência do som.

O unity retorna esses valores dividindo a frequência máxima do aparelho de reprodução (Para computadores esta frequência e 48 kHz) por uma potência de 2.

Desse modo, o retorno é um array de float com os valores da média do volume de cada intervalo de frequência e não o volume de todas as frequências desse som (já que gastaria muito tempo).



Pegando dados do FFT

Para pegar esses dados na Unity podemos usar o  AudioSource.GetSpectrumData(a,b,c).
a = Número de samples (O potência de 2 que irá dividir o som em intervalos, quando maior mais demorado porém mais preciso o resultado será).
b = Canal de áudio, 0 para Mono, 1 para direito e 2 para o canal esquerdo.
c = Tipo de janela de banda usada, no nosso caso usaremos a FFTWindow.Blackman.
(Filtro que evita a saída de frequência entre bandas)

Desse modo podemos criar uma função para retornar uma array de float com os dados que queremos.

Primeiro crie uma script C# com o nome BeatMapping.
Para pegar os dados vamos criar uma função com o nome getSamples() onde fornecemos o audioSource da cena e o número de samples que queremos.

E no retorno vamos colocar o nosso GetSpectrumData().

Código:


using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class BeatMapping : MonoBehaviour

{
    public AudioSource audioSource;//AudioSource da cena
    public enum samplesCountPresets { _256 = 256, _512 = 512, _1024 = 1024, _2048 = 2048 };//Preset das samples em potencia de 2
    public samplesCountPresets Samples;//Numero de samples que sera usado no FFT

    float[] getSamples(AudioSource audioSource, int samplesCount)
    {
        return audioSource.GetSpectrumData(samplesCount, 0, FFTWindow.Blackman);
    }

}


Criando um Espectro de Áudio

Uma primeira aplicação muito interessante dos dados do FFT é a possibilidade de criar espectros de áudio que mostrem o volume de cada faixa de frequência de acordo com o som tocado pelo AudioSource.
Para isso precisamos criar um GameObject para cada banda de frequência, ou seja, se estamos utilizando 1024 samples, precisamos de 1024 Objetos.

Para criar esses objetos podemos usar o Instantiate da unity dentro de um ciclo for que passa por todas as samples.

Desse modo, cria uma classe dentro da script “BeatMapping” com o nome Spectrum e com a subclasse MonoBehaviour:

Código:


using System.Collections;
using System.Collections.Generic;
using UnityEngine;


public class BeatMapping : MonoBehaviour

{
    public AudioSource audioSource;//AudioSource da cena
    public enum samplesCountPresets { _256 = 256, _512 = 512, _1024 = 1024, _2048 = 2048 };//Preset das samples em potencia de 2
    public samplesCountPresets Samples;//Numero de samples que sera usado no FFT

    float[] getSamples(AudioSource audioSource, int samplesCount)
    {
        return audioSource.GetSpectrumData(samplesCount, 0, FFTWindow.Blackman);
    }

}
class Spectrum : MonoBehaviour
{

}


Essa classe será responsável por criar e atualizar nosso espectro.

Para criar o espectro, crie uma função, dentro da classe “Spectrum”, com o nome createAudioSpectrum() e que retorna uma List<GameObject>, também precisamos passar alguns dados para essa função.

Esses dados são:

-O número de samples
-Prefab usado para os elementos do espectro
-Distância entre eles.

Dentro desta função vamos colocar um ciclo for, e dentro do ciclo vamos instanciar os objetos.

Código:


public static List<GameObject> createAudioSpectrum(int samples, GameObject SpectrumPrefab, float elementOffset)
{
    List<GameObject> elementsList = new List<GameObject>();

    for (int i = 0; i < samples; i++)
    {
        GameObject obj = Instantiate(SpectrumPrefab, new Vector3(0, 0, 5), Quaternion.identity);//Adiciona o objeto na cena
        obj.name = "Element " + i;//Renomeia o objeto para Element + index

        float objectSizeX = obj.transform.localScale.x;//Pega o tamanho do objeto em X

        float offsetX = (objectSizeX + elementOffset);//Calcula a distancia entre cada objeto do nosso espectro

        obj.transform.position = new Vector3(offsetX * (i - samples / 2), 0, 5);//Muda o objeto de posicao, -samples/2 serve para colocar metade do spectro para a esquerda e a outra metade para a direita.

        elementsList.Add(obj);//Adiciona o objeto na lista
    }

    return elementsList;
}


Essa função é estática já que não precisamos associá-la a uma instância de classe, ou seja, podemos usar a função apenas digitando Spectrum.createAudioSpectrum().

Vamos criar nosso espectro no void Start da nossa script “BeatMapping”.
Para isso crie uma variável GameObject para armazenar o nosso prefab.

E uma List<GameObject> para armazenar nosso espectro.

Código:


public List<GameObject> spectrum = new List<GameObject>();
public GameObject spectrumPrefab;

void Start()
{

    spectrum = Spectrum.createAudioSpectrum((int)Samples, spectrumPrefab, 0.2f);

}


Para atualizar nosso espectro com os valores de amplitude das bandas de frequencia vamos criar uma outra função estática na classe Spectrum com o nome updateAudioSpectrum e que retorna void.
Essa função vai precisar dos seguintes dados:

-Elementos do espectro(variável spectrum)
- Número de samples
- Altura máxima do espectro

Nessa função, vamos colocar um ciclo for passando pelos elementos do espectro:

Código:


public static void updateAudioSpectrum(List<GameObject> elements, float[] samples, float spectrumSize)
{
    for (int k = 0; k < (elements.Count); k++)
    {
        elements[k].transform.localScale = new Vector3(elements[k].transform.localScale.x, samples[k] * spectrumSize, elements[k].transform.localScale.z);
        //Atualiza o tamanho do objeto em y de acordo com a amplitude/Volume da sample
    }
}


E vamos chamá-la no void Updade() da classe BeatMapping.
Crie uma variável array de float para armazenar as samples.

Código:


float[] samples;

void Update()
{
    samples = getSamples(audioSource, (int)Samples);
    Spectrum.updateAudioSpectrum(objs, samples, 1000f);
}


Após configurar tudo teremos:


Obtendo a Frequência Real

Como já mostrado acima, o FFT na Unity retorna uma banda de frequências, mas como podemos fazer para pegar a maior frequência que está tocando?

As frequências podem ter vazamentos para as bandas vizinhas, isso quer dizer que, para frequências na faixa de 23kHz a 46kHz quanto mais próximo do 46kHz mais influencia ela terá na faixa 46kHz a 69kHz, e quanto mais próximo de 23kHz mais influência em 0kHz a 23kHz.
Veremos isso plotado em um gráfico:


Perceba que o volume das bandas vizinhas é afetado, quanto mais perto a maior frequência estiver, ou seja, para a frequência 42kHz o vazamento acontece para a banda 43kHz a 69kHz, o inverso para a frequência 25kHz que tem o vazamento na banda 0kHz a 23kHz.

Desse modo podemos achar uma boa aproximação da maior frequência usando uma interpolação com as faixas vizinhas.

Para isso, vamos criar uma nova função na classe BeatMapping com o nome getCurrentFrequency, essa função irá retornar uma float que é a maior frequência sendo tocada atualmente pelo AudioSource.

Também vamos precisar do tamanho do intervalo das bandas de frequência, que neste exemplo e 23kHz, mas varia de acordo com o número de samples usado.
Para adquirir o intervalo vamos criar uma função getFrequecyBandRange() que vai retornar uma float.
Nesta funcao usaremos o componente AudioSettings.outputSampleRate() que retorna a taxa de amostragem da usada para reproduzir o sinal, como a taxa de amostragem mínima para a reprodução é o dobro da frequência do sinal, teremos que dividir essa taxa por 2 e depois dividir pelo número de samples.

Código:

float getFrequecyBandRange(int samplesCount)
{
    return (float)AudioSettings.outputSampleRate / 2f / samplesCount;
}


Desse modo, usando o número de samples = 1024 teremos aproximadamente 23kHz por banda.

Agora que temos o intervalo de frequências podemos pegar a frequência atual:

Código:


float getCurrentFrequency(float[] Samples)
{
    float maxAmplitude = 0;//Amplitude da banda
    int index = 0;//Index da banda de maior amplitude
                  //Seleciona a banda com a maior amplitude
    for (int k = 0; k < Samples.Length; k++)
    {
        if (Samples[k] > maxAmplitude)//Compara todas as samples
        {
            maxAmplitude = Samples[k];
            index = k;
        }
    }
    float frequencyIndex = index;//Com indices interios teremos resultados fixos como 23kHz ou 46kHz, usando float podemos chegar em qualquer frequencia
    if (maxAmplitude > 0 && maxAmplitude < Samples.Length - 1)
    {
        float dL = Samples[index - 1] / Samples[index];//Comparar faixas vizinhas (vizinha a esquerda)
        float dR = Samples[index + 1] / Samples[index];//Comparar faixas vizinhas (vizinha a direita)

        frequencyIndex += 0.5f * (dR * dR - dL * dL);//dR - dL pois oque esta a esquerda tem frequecia menor
    }
    return frequencyIndex * getFrequecyBandRange(Samples.Length);//Multiplica o indice pelo intervalo de frequencias
}


Em termos matemáticos teremos:


Ou seja, se após a interpolação o índice for 2.1 e nosso intervalo for 23kHz a frequência atual será:



Notas Musicais

Agora vamos identificar as notas musicais de acordo com a frequência atual.
Para isso vamos criar uma classe Note dentro do arquivo BeatMapping.cs (arquivo atual).
Essa classe servida como objeto, então precisamos adicionar variáveis e um construtor a ela.

As variáveis são:
-O nome da nota
-Multiplicador
-Frequência

Código:


class Note
{
    public string name;
    public float frequency;
    public int multiplier;

    public Note(string name, float frequency, int multiplier = 0)
    {
        this.name = name;
        this.frequency = frequency;
        this.multiplier = multiplier;
    }
}


Sempre que quisermos criar uma nota chamaremos esse objeto e passaremos os valores para ele armazenar:

Código:

Note C = new Note("C", 16.35f);

Vamos adicionar a esse objeto uma função que retorna as notas musicais padrões com a frequência de base.

Código:

public static List<Note> getStandardNotes()
{
    Note C = new Note("C", 16.35f);
    Note Cs = new Note("C#", 17.32f); ;
    Note D = new Note("D", 18.35f);
    Note Eb = new Note("Eb", 19.45f);
    Note E = new Note("E", 20.6f);
    Note F = new Note("F", 21.83f);
    Note Fs = new Note("F#", 23.12f);
    Note G = new Note("G", 24.5f);
    Note Gs = new Note("G#", 25.96f);
    Note A = new Note("A", 27.5f);
    Note Bb = new Note("Bb", 29.14f);
    Note B = new Note("B", 30.87f);

    List<Note> Notes = new List<Note>();
    Notes.Add(C); Notes.Add(Cs); Notes.Add(D); Notes.Add(Eb); Notes.Add(E); Notes.Add(F);
    Notes.Add(Fs); Notes.Add(G); Notes.Add(Gs); Notes.Add(A); Notes.Add(Bb); Notes.Add(B);
    return Notes;
}


Fonte: https://pages.mtu.edu/~suits/notefreqs.html

Agora vamos criar uma função na classe BeatMapping para retornar a nota atual, com o nome getCurrentNote(), para isso vamos comparar a frequência atual com as notas padrões definidas em Note e achar qual a nota mais próxima da frequência atual.

Código:

Note getAudioNote(float frequency)
{
    Note nearNote = new Note("", 0f);

    List<Note> Notes = Note.getStandardNotes();

    for (int k = 0; k < Notes.Count; k++)
        for (int j = 1; j < 8; j++)
        {
            if (Mathf.Abs(frequency - nearNote.frequency) > Mathf.Abs(frequency - Notes[k].frequency * j) || nearNote.frequency == 0)
            {
                nearNote = new Note(Notes[k].name, Notes[k].frequency * j, j);
            }
        }

    if (Mathf.Abs(frequency - nearNote.frequency) < 2)
        return nearNote;
    else
        return new Note("", 0f);
}


Multiplicamos a frequência da nota pelo multiplicador que vai de 1 a 8, se a diferença entre a frequência atual e a nota que estamos comparando for menor que a diferença da frequência atual e a nota mais próxima (Definida anteriormente em outra comparação).
A nota mais próxima da frequência atual passa a ser a que estamos comparando no ciclo for e o loop continua. Ao final de todas as comparações teremos a nota mais próxima da frequência, para uma maior precisão verificamos se a diferença entre a nota selecionada e a frequência atual é menor que 2, se sim retornamos a nota, se não retornamos vazio.

Código:

void Update()
{
    samples = getSamples(audioSource, (int)Samples);
    Spectrum.updateAudioSpectrum(spectrum, samples, 1000f);

    //Debug.Log("Nota musical detectada em ("+Mathf.Round(audioSource.time)+"s): "+ getAudioNote(getCurrentFrequency(samples)).name);//Printar nome da nota
}


Detecção de Batida

Para detectar a presença de uma batida vamos comparar as samples atuais com as samples anteriores, se a média das samples atual for maior que a das anteriores quer dizer que tivemos um aumento na intensidade sonora que pode ser classificado como Beat.
Crie uma nova array de float com o nome oldSamples.

No método Update coloque samples.CopyTo para salvar os valores das samples anteriores em oldSamples antes de atualizar as samples.

Código:

void Update()
{
    samples.CopyTo(oldSamples, 0);

    samples = getSamples(audioSource, (int)Samples);
    Spectrum.updateAudioSpectrum(spectrum, samples, 1000f);

    Debug.Log("Nota musical detectada em (" + Mathf.Round(audioSource.time) + "s): " + getAudioNote(getCurrentFrequency(samples)).name);//Printar nome da nota
}


Agora podemos detectar a batida com uma nova função na classe BeatMapping:
Coloque o nome de beatDetector e faça a função retornar uma bool.

Passe os valores de oldSamples e de samples, dentro da função crie 2 ciclos foreach que pegam um valor float em samples e em oldSamples.
Faremos a média aritmética dos valores:

Código:

bool beatDetector(float[] samples, float[] oldSamples, float tolerance = 0)
{
    float oldSamplesAverage = 0;//Armazena a media das samples velhas
    float samplesAverage = 0;//Armazena a media das samples atuais

    foreach (float i in oldSamples)
        oldSamplesAverage += i / oldSamples.Length;
    foreach (float i in samples)
        samplesAverage += i / samples.Length;

    if ((samplesAverage - oldSamplesAverage) > tolerance)//Se a diferenca for maior que um valor de tolerancia
        return true;//Batida detectada
    else
        return false;
}


Usamos o valor de tolerância para deixar o programa menos sensível a qualquer mudança de batida, mas para os testes vamos defini-lo como 0, mas para tornar o sistema um pouco menos sensível tente valores como: 0.04f.
Por fim para evitar erros de Null, adicione as seguintes linhas no void Start() da classe BeatDetector:

Código:

void Start()
{
    oldSamples = new float[(int)Samples];
    samples = new float[(int)Samples];
    spectrum = Spectrum.createAudioSpectrum((int)Samples, spectrumPrefab, 0.2f);
}


Identificando Tons de Áudio

Por último, mas não menos importante, vamos identificar os tons que estão sendo reproduzidos de acordo com a frequência atual.

Para isso vamos criar um enum que contenha os tons que queremos identificar:

Código:

enum Tones { SubBass, Bass, LowMiddle, Middle, HighMiddle, High }

E uma função na classe BeatMapping com o nome getCurrentTone(), essa função irá comparar a frequência atual com os seguintes intervalos:

Código:

Tones getCurrentAudioTone(float frequency)
{
    if ((frequency) < 63)
        return Tones.SubBass;
    if ((frequency) > 63 && (frequency) < 250)
        return Tones.Bass;
    if ((frequency) > 250 && (frequency) < 640)
        return Tones.LowMiddle;
    if ((frequency) > 640 && (frequency) < 2500)
        return Tones.Middle;
    if ((frequency) > 2500 && (frequency) < 5000)
        return Tones.HighMiddle;
    if ((frequency) > 5000)
        return Tones.High;
    return 0;
}


Desse modo, temos um detector de batida capaz de pegar a frequência atual, nota e tom de um áudio source em cena.

https://pt.wikipedia.org/wiki/Transformada_r%C3%A1pida_de_Fourier
https://www.nti-audio.com/pt/suporte/saber-como/transformacao-rapida-de-fourier-fft
https://docs.unity3d.com/ScriptReference/AudioSource.GetSpectrumData.html

Script Completa: https://gist.github.com/MatheusMarkies/c951b329ddad405bf179aa131369c4be
Meu Canal: https://www.youtube.com/channel/UCkngjEDMx9y_vW0t7Io05gg

Tutorial Completo: https://docs.google.com/document/d/e/2PACX-1vTS15dpUZMTA_5JVhw37PjNjjDFzsyX_AziyaQmnBZeogw1sSPDn3f21vDqlkGNEPmeGClcqlTUqrfV/pub

Nuss, olha a qualidade do tutorial. Parabéns, top demais.

Caramba! Que qualidade, hein? Tópico muito precioso e informativo, que não só mostra como fazer o sistema (código e mais código) mas também explica o conceito por meio de equações matemáticas e casos reais! Muito bom, vou favoritar aqui.