SchultzGames
Para tirar dúvidas, crie um tópico especifico na área "Dúvidas em Geral" e aguarde ser respondido. Evite comentar em tópicos não relacionados a sua dúvida :D
TÓPICOS RECENTES:
Tópico:
Postado em:
Postado por:
PREECISO DE ALGUE QUE SAIBA MECHER COM O PHOTON
Molodias sem direitos autorais (Free)
Trailer do meu jogo
Jogo de Tabuleiro Online ou Offline?
movemetacao em circulo na unity
TRIGGER EM COLLIDER
Preciso De Dicas Sobre Publicar Na Play Store
Como parar de produzir animação quando o jogador colidir?
problema com o standard assets
Lista de Menu Dinâmica
reconhecimento de fala simples
Versão desatualizado do game no poder jogar PHOTON PUN
Script se referenciando a outro componente que não esta anexado a ele?
Erro para ler banco de dados com C#
Como ativar o script só pra quem ter a tag "Player"
[Projeto] Until Lights Out 2021/2022
Restringir a Rotação de um objeto até um certo ângulo!
Enemigos atravesaveis
[JOGO] A Passagem Disponível Para Pc/Android.
Unity - Erro ao rodar o VídeoPlayer
ALGUEM PRECISNDO DE MODELADOR NA EQUIPE?
ERRO POR CONTA DE REFERÊNCIAS APÓS DESTRUIR GAMEOBJECT
Coloca 2 script juntos iria ferra a otimização ?
Código para drop de itens conforme raridade (probabilidade)
Meu jogo na Playstore kkkkk
Otimizando grandes mapas - (Shadows,Lights,GI ...)
Camera se move sozinha quando uso o controle.
Unity - Clique do Mouse
[____TÓPICO LIVRE____] FALE O QUE QUISER (Parte 2)
[TUTORIAL] Campo de visão dos inimigos (Enemy FOV) com Raycast ou OverlapSphere
Como criar jogo de cartas
Macro com Unity
Shader Graph não funciona direito em RunTime, mas funciona na Scene
Editar animação 3d dentro da unity
[RESOLVIDO] Limitar a rotação da câmera entre dois ângulos
Ajuda para recursos do meu jogo
Posso usar o sistema de marcas de derrapagem como base para outro sistema?
[TUTORIAL] Systema Simples de Quest
RigidBody com Box Collider Travando na Aresta de um Box Collider.
animation trigger não funciona direito
Fazer o player automaticamente ir para um sitio quando não tem balas
Tocar som diferentes com bools
problema com velocidade da patrulha
Gerar APK
Performance - texture 'lod' (MIPmap) DDS
como fazer um obejto fica virado para camera???????
[RESOLVIDO] Cena não é lida...
Meu jogo disponivel pra pré compra na steam
Meus jogos podem dar uma olhada
Preciso de uma mão 3d c4d, para unity
Trocar de cena ao matar inimigo
Animação com frames travados (igual Dragon Ball Fighterz)
Unity - Scene muito pesada. Como otimizar?
Como criar área para movimentar a câmera (MOBILE)
Tranformar um numero baixo em uma pontuação alta
[TUTORIAL] BeatMapping com Unity
[RESOLVIDO] Como criar um botãoUI que liga e desliga uma lista de objetos?
selecionar area pelo touch
Maximizar view da cam
Alguem Pode me ajudar com A Movimentação ? Unity scripts
Alguém q saiba mecher com Particle System? pago por particula!
AJUDA COM MULTIPLAYER
Efeito FADE IN e OUT por meio de trigger
Divulgação do meu Livro de Fantasia Medieval: Skilled World
Anjos Lamentadores Soctor Who
Tem como fazer o inimigo andar até dar de cara com o player?
Unity drag e collider
Suavizar movimento de câmera da introdução
Ajuda com Raycast position de Prefabs (Photon + unity)
[Projeto] Jogo Ambientado no Brasil para Android
Script de tiro para o photon 2
Mudar qualidade das texturas por código?
[RESOLVIDO] Unity - Imagem no formato de um triângulo?
Tirar foto e exportar pro jogo
Gráficos estilo Genshin
level system problema
Como calcular distância entre dois pontos
Posicao do objeto diferente do setado no codigo
Sistema de pulo 3D
Procuro programador Unity para jogo 2D
Pessoal saiu a versão de testes do meu novo jogo, o Sanatório Macabro
Cinemachine - trocar de camera usando uma tecla e mouse 'lockScreen'
Sistema completo de nivel com XP + PayTime
Limitar arrays e fazer sortear um valor apenas uma vez
Como faço para variável voltar para o valor inicial
Duvida com getAxis
Fazer um detetive para sair apenas 1 vez o resultado do sorteio
Jogos NTFs
Salvar variável temporária com PlayerPrefs!?
Alguém sabe fazer uma AI para o inimigo seguir o Player em um jogo Top Down
Bug com modelo ficando invisível
Erro em sistema de dialogo...
Terreno Procedural
sistema de estamina,vida,fome e sede
Posição do object diferente do código quando está em tempo real!?
FORMACAO DE EQUIPE
sistema de câmera + movimentação do player
Erro no Photon Pun 2 (InvalidCastException: Specified cast is not valid)
Procuro modelador 3D para futuro Game
Hoje à(s) 4:04 pm
Ontem à(s) 7:23 pm
Ontem à(s) 6:47 pm
Ontem à(s) 1:30 am
Dom Jan 23, 2022 10:28 pm
Qua Jan 19, 2022 6:14 pm
Ter Jan 18, 2022 10:45 am
Seg Jan 17, 2022 10:36 pm
Seg Jan 17, 2022 7:48 pm
Dom Jan 16, 2022 10:31 pm
Dom Jan 16, 2022 10:01 pm
Dom Jan 16, 2022 7:17 pm
Dom Jan 16, 2022 6:56 pm
Sab Jan 15, 2022 10:09 am
Sex Jan 14, 2022 5:01 pm
Qua Jan 12, 2022 11:23 pm
Qua Jan 12, 2022 6:52 pm
Qua Jan 12, 2022 5:28 pm
Qua Jan 12, 2022 4:15 pm
Qua Jan 12, 2022 12:08 am
Ter Jan 11, 2022 6:11 pm
Ter Jan 11, 2022 6:08 pm
Ter Jan 11, 2022 11:43 am
Seg Jan 10, 2022 6:08 pm
Seg Jan 10, 2022 2:05 pm
Seg Jan 10, 2022 10:41 am
Dom Jan 09, 2022 3:48 pm
Sab Jan 08, 2022 2:58 pm
Sex Jan 07, 2022 11:06 pm
Qui Jan 06, 2022 7:04 pm
Qua Jan 05, 2022 6:13 pm
Qua Jan 05, 2022 3:19 pm
Ter Jan 04, 2022 5:51 pm
Ter Jan 04, 2022 5:41 pm
Seg Jan 03, 2022 6:07 pm
Dom Jan 02, 2022 3:46 pm
Sab Jan 01, 2022 8:10 pm
Sab Jan 01, 2022 9:55 am
Qui Dez 30, 2021 4:22 pm
Ter Dez 28, 2021 5:22 pm
Ter Dez 28, 2021 5:05 pm
Sab Dez 25, 2021 6:22 pm
Sab Dez 25, 2021 2:19 pm
Sab Dez 25, 2021 4:28 am
Sex Dez 24, 2021 11:15 pm
Qui Dez 23, 2021 11:05 am
Qui Dez 23, 2021 8:11 am
Seg Dez 20, 2021 2:54 pm
Seg Dez 20, 2021 2:09 pm
Dom Dez 19, 2021 1:33 pm
Sab Dez 18, 2021 6:46 pm
Sab Dez 18, 2021 4:37 pm
Sex Dez 17, 2021 8:52 pm
Sex Dez 17, 2021 1:42 am
Qui Dez 16, 2021 1:36 pm
Qua Dez 15, 2021 12:54 pm
Ter Dez 14, 2021 1:36 pm
Seg Dez 13, 2021 8:14 pm
Seg Dez 13, 2021 7:49 pm
Seg Dez 13, 2021 7:14 pm
Dom Dez 12, 2021 8:25 pm
Dom Dez 12, 2021 6:00 pm
Dom Dez 12, 2021 10:07 am
Sab Dez 11, 2021 11:56 pm
Sex Dez 10, 2021 8:33 pm
Qua Dez 08, 2021 11:37 pm
Ter Dez 07, 2021 7:21 pm
Ter Dez 07, 2021 7:17 pm
Seg Dez 06, 2021 10:06 pm
Seg Dez 06, 2021 2:18 pm
Seg Dez 06, 2021 6:44 am
Dom Dez 05, 2021 2:27 pm
Dom Dez 05, 2021 5:11 am
Sab Dez 04, 2021 9:02 pm
Qui Dez 02, 2021 12:00 pm
Ter Nov 30, 2021 3:52 pm
Ter Nov 30, 2021 12:14 pm
Seg Nov 29, 2021 5:18 pm
Seg Nov 29, 2021 5:17 pm
Seg Nov 29, 2021 1:17 pm
Dom Nov 28, 2021 11:52 am
Dom Nov 28, 2021 1:30 am
Sab Nov 27, 2021 4:57 am
Sex Nov 26, 2021 5:53 pm
Sex Nov 26, 2021 12:16 pm
Qui Nov 25, 2021 6:15 pm
Qui Nov 25, 2021 3:31 pm
Qua Nov 24, 2021 2:01 am
Ter Nov 23, 2021 5:11 pm
Ter Nov 23, 2021 3:48 pm
Ter Nov 23, 2021 1:12 pm
Ter Nov 23, 2021 12:38 pm
Seg Nov 22, 2021 3:20 pm
Seg Nov 22, 2021 2:29 am
Dom Nov 21, 2021 12:52 pm
Dom Nov 21, 2021 11:02 am
Dom Nov 21, 2021 3:36 am
Sab Nov 20, 2021 10:35 pm
Sex Nov 19, 2021 11:54 pm
SeTk
Tomas Turbando
JulioWinchester
WLCS22
locatek
RAPOzoro
Crash Psycho
Ren Allen
dutrabr100
edfisicaweb
Édipo
EricknhYT
ProBrStalker
fernando.OVS
Franttyck
BlesseD
gabrielgame6772
dutrabr100
Crash Psycho
WLCS22
dutrabr100
dutrabr100
GustavoPeky2
Nimue
verme1311
jeronimo Collares
NoctisDregon
WLCS22
Crash Psycho
dutrabr100
MayLeone
dutrabr100
dutrabr100
cyborggp
N.P.C
dutrabr100
ronigleydson
hendrick22
dutrabr100
PauloFR
PauloFR
MarcosSchultz
eduardonog30
WLCS22
SteveRogers
MarcosSchultz
NoctisDregon
diegopds
Gamergame
GustavoPeky2
Gamergame
juraulh
WLCS22
classicandsimple
SteveRogers
MayLeone
verme1311
locatek
MayLeone
MayLeone
M4x
Thedarkaay
eduardonog30
Rangel Oblivion
SteveRogers
Magnatah
NKKF
NKKF
junio132sj
MRX
junio132sj
MayLeone
WLCS22
MayLeone
Gabriel M
Valakinhas
Xavier
JãoArts
JãoArts
joaozinpedrin
Patrick
jeronimo Collares
M4x
EricknhYT
Charlesoff
capim22
EricknhYT
artplayer
M4x
M4x
Charlesoff
NoctisDregon
SgtMatuto
Pkneves
M4x
classicandsimple
Pkneves
EricknhYT
SeTk

[TUTORIAL] BeatMapping com Unity

3 participantes

Ir para baixo

TUTORIAL [TUTORIAL] BeatMapping com Unity

Mensagem por Matrirxp Ter Dez 14, 2021 9:19 pm

Beatmapping em Tempo Real usando FFT na Unity

Olá!
Hoje vou ensinar como fazer um sistema de mapeamento de ritmo em tempo real com a Unity.

Pode ser usado para jogos de ritmo como demonstrado aqui:

Exemplo feito usando as técnicas deste artigo.

Dito isso vamos começar!

O Som

Algo muito importante na hora de se mexer com áudio e saber como ele funciona.
O som é uma vibração que caminha pelo ar e também pode caminhar por líquidos e sólidos, a forma de propagação de um som e por meio de ondas longitudinais, que são tipos de onda em que a direção de vibração não se altera sendo a mesma direção do estímulo que a produziu.

[TUTORIAL] BeatMapping com Unity Zoomda
Comparação entre uma onda longitudinal e uma transversal.

As ondas possuem alguns componentes importantes, como:

-Comprimento de onda
-Amplitude
-Frequência

A amplitude de uma onda sonora diz o quão intenso este som é, ou seja, a amplitude da onda está ligada ao volume do som.
Já a frequência de uma onda sonora diz o quão agudo ou grave um som é, desse modo podemos usá-la para identificar componentes nesse som, como notas musicais e o tom.

Transformada de Fourier

A grosso modo, a transformação de Fourier serve para mudar o modo como analisamos um sinal.
Quando olhamos para o gráfico de uma onda sonora, vemos como a amplitude se modifica ao longo do tempo, se aplicarmos uma transformada de fourier neste som teremos um gráfico da amplitude sonora em relação à frequência.
Ou seja, teremos um gráfico do volume de cada banda de frequência do som.

O unity retorna esses valores dividindo a frequência máxima do aparelho de reprodução (Para computadores esta frequência e 48 kHz) por uma potência de 2.

Desse modo, o retorno é um array de float com os valores da média do volume de cada intervalo de frequência e não o volume de todas as frequências desse som (já que gastaria muito tempo).

[TUTORIAL] BeatMapping com Unity Design-sem-nome
Retorno da amplitude das bandas de frequência.


Pegando dados do FFT

Para pegar esses dados na Unity podemos usar o  AudioSource.GetSpectrumData(a,b,c).
a = Número de samples (O potência de 2 que irá dividir o som em intervalos, quando maior mais demorado porém mais preciso o resultado será).
b = Canal de áudio, 0 para Mono, 1 para direito e 2 para o canal esquerdo.
c = Tipo de janela de banda usada, no nosso caso usaremos a FFTWindow.Blackman.
(Filtro que evita a saída de frequência entre bandas)


Desse modo podemos criar uma função para retornar uma array de float com os dados que queremos.

Primeiro crie uma script C# com o nome BeatMapping.
Para pegar os dados vamos criar uma função com o nome getSamples() onde fornecemos o audioSource da cena e o número de samples que queremos.

E no retorno vamos colocar o nosso GetSpectrumData().

Código:

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class BeatMapping : MonoBehaviour

{
    public AudioSource audioSource;//AudioSource da cena
    public enum samplesCountPresets { _256 = 256, _512 = 512, _1024 = 1024, _2048 = 2048 };//Preset das samples em potencia de 2
    public samplesCountPresets Samples;//Numero de samples que sera usado no FFT

    float[] getSamples(AudioSource audioSource, int samplesCount)
    {
        return audioSource.GetSpectrumData(samplesCount, 0, FFTWindow.Blackman);
    }

}

Criando um Espectro de Áudio

Uma primeira aplicação muito interessante dos dados do FFT é a possibilidade de criar espectros de áudio que mostrem o volume de cada faixa de frequência de acordo com o som tocado pelo AudioSource.
Para isso precisamos criar um GameObject para cada banda de frequência, ou seja, se estamos utilizando 1024 samples, precisamos de 1024 Objetos.

Para criar esses objetos podemos usar o Instantiate da unity dentro de um ciclo for que passa por todas as samples.

Desse modo, cria uma classe dentro da script “BeatMapping” com o nome Spectrum e com a subclasse MonoBehaviour:

Código:

using System.Collections;
using System.Collections.Generic;
using UnityEngine;


public class BeatMapping : MonoBehaviour

{
    public AudioSource audioSource;//AudioSource da cena
    public enum samplesCountPresets { _256 = 256, _512 = 512, _1024 = 1024, _2048 = 2048 };//Preset das samples em potencia de 2
    public samplesCountPresets Samples;//Numero de samples que sera usado no FFT

    float[] getSamples(AudioSource audioSource, int samplesCount)
    {
        return audioSource.GetSpectrumData(samplesCount, 0, FFTWindow.Blackman);
    }

}
class Spectrum : MonoBehaviour
{

}

Essa classe será responsável por criar e atualizar nosso espectro.

Para criar o espectro, crie uma função, dentro da classe “Spectrum”, com o nome createAudioSpectrum() e que retorna uma List<GameObject>, também precisamos passar alguns dados para essa função.

Esses dados são:

-O número de samples
-Prefab usado para os elementos do espectro
-Distância entre eles.

Dentro desta função vamos colocar um ciclo for, e dentro do ciclo vamos instanciar os objetos.

Código:

public static List<GameObject> createAudioSpectrum(int samples, GameObject SpectrumPrefab, float elementOffset)
{
    List<GameObject> elementsList = new List<GameObject>();

    for (int i = 0; i < samples; i++)
    {
        GameObject obj = Instantiate(SpectrumPrefab, new Vector3(0, 0, 5), Quaternion.identity);//Adiciona o objeto na cena
        obj.name = "Element " + i;//Renomeia o objeto para Element + index

        float objectSizeX = obj.transform.localScale.x;//Pega o tamanho do objeto em X

        float offsetX = (objectSizeX + elementOffset);//Calcula a distancia entre cada objeto do nosso espectro

        obj.transform.position = new Vector3(offsetX * (i - samples / 2), 0, 5);//Muda o objeto de posicao, -samples/2 serve para colocar metade do spectro para a esquerda e a outra metade para a direita.

        elementsList.Add(obj);//Adiciona o objeto na lista
    }

    return elementsList;
}

Essa função é estática já que não precisamos associá-la a uma instância de classe, ou seja, podemos usar a função apenas digitando Spectrum.createAudioSpectrum().

Vamos criar nosso espectro no void Start da nossa script “BeatMapping”.
Para isso crie uma variável GameObject para armazenar o nosso prefab.

E uma List<GameObject> para armazenar nosso espectro.

Código:

public List<GameObject> spectrum = new List<GameObject>();
public GameObject spectrumPrefab;

void Start()
{

    spectrum = Spectrum.createAudioSpectrum((int)Samples, spectrumPrefab, 0.2f);

}
Dentro da classe “BeatMapping”

Para atualizar nosso espectro com os valores de amplitude das bandas de frequencia vamos criar uma outra função estática na classe Spectrum com o nome updateAudioSpectrum e que retorna void.
Essa função vai precisar dos seguintes dados:

-Elementos do espectro(variável spectrum)
- Número de samples
- Altura máxima do espectro

Nessa função, vamos colocar um ciclo for passando pelos elementos do espectro:

Código:

public static void updateAudioSpectrum(List<GameObject> elements, float[] samples, float spectrumSize)
{
    for (int k = 0; k < (elements.Count); k++)
    {
        elements[k].transform.localScale = new Vector3(elements[k].transform.localScale.x, samples[k] * spectrumSize, elements[k].transform.localScale.z);
        //Atualiza o tamanho do objeto em y de acordo com a amplitude/Volume da sample
    }
}

E vamos chamá-la no void Updade() da classe BeatMapping.
Crie uma variável array de float para armazenar as samples.

Código:

float[] samples;

void Update()
{
    samples = getSamples(audioSource, (int)Samples);
    Spectrum.updateAudioSpectrum(objs, samples, 1000f);
}

Após configurar tudo teremos:

[TUTORIAL] BeatMapping com Unity Asdfsdfdasfg-1
Espectro de áudio em tempo real na Unity
Cada barra do espectro representa uma banda de frequência do FFT.

Obtendo a Frequência Real

Como já mostrado acima, o FFT na Unity retorna uma banda de frequências, mas como podemos fazer para pegar a maior frequência que está tocando?

As frequências podem ter vazamentos para as bandas vizinhas, isso quer dizer que, para frequências na faixa de 23kHz a 46kHz quanto mais próximo do 46kHz mais influencia ela terá na faixa 46kHz a 69kHz, e quanto mais próximo de 23kHz mais influência em 0kHz a 23kHz.
Veremos isso plotado em um gráfico:

[TUTORIAL] BeatMapping com Unity Design-sem-nome-5-1
[TUTORIAL] BeatMapping com Unity Design-sem-nome-4-1

Perceba que o volume das bandas vizinhas é afetado, quanto mais perto a maior frequência estiver, ou seja, para a frequência 42kHz o vazamento acontece para a banda 43kHz a 69kHz, o inverso para a frequência 25kHz que tem o vazamento na banda 0kHz a 23kHz.

Desse modo podemos achar uma boa aproximação da maior frequência usando uma interpolação com as faixas vizinhas.

Para isso, vamos criar uma nova função na classe BeatMapping com o nome getCurrentFrequency, essa função irá retornar uma float que é a maior frequência sendo tocada atualmente pelo AudioSource.

Também vamos precisar do tamanho do intervalo das bandas de frequência, que neste exemplo e 23kHz, mas varia de acordo com o número de samples usado.
Para adquirir o intervalo vamos criar uma função getFrequecyBandRange() que vai retornar uma float.
Nesta funcao usaremos o componente AudioSettings.outputSampleRate() que retorna a taxa de amostragem da usada para reproduzir o sinal, como a taxa de amostragem mínima para a reprodução é o dobro da frequência do sinal, teremos que dividir essa taxa por 2 e depois dividir pelo número de samples.

Código:
float getFrequecyBandRange(int samplesCount)
{
    return (float)AudioSettings.outputSampleRate / 2f / samplesCount;
}

Desse modo, usando o número de samples = 1024 teremos aproximadamente 23kHz por banda.

Agora que temos o intervalo de frequências podemos pegar a frequência atual:

Código:

float getCurrentFrequency(float[] Samples)
{
    float maxAmplitude = 0;//Amplitude da banda
    int index = 0;//Index da banda de maior amplitude
                  //Seleciona a banda com a maior amplitude
    for (int k = 0; k < Samples.Length; k++)
    {
        if (Samples[k] > maxAmplitude)//Compara todas as samples
        {
            maxAmplitude = Samples[k];
            index = k;
        }
    }
    float frequencyIndex = index;//Com indices interios teremos resultados fixos como 23kHz ou 46kHz, usando float podemos chegar em qualquer frequencia
    if (maxAmplitude > 0 && maxAmplitude < Samples.Length - 1)
    {
        float dL = Samples[index - 1] / Samples[index];//Comparar faixas vizinhas (vizinha a esquerda)
        float dR = Samples[index + 1] / Samples[index];//Comparar faixas vizinhas (vizinha a direita)

        frequencyIndex += 0.5f * (dR * dR - dL * dL);//dR - dL pois oque esta a esquerda tem frequecia menor
    }
    return frequencyIndex * getFrequecyBandRange(Samples.Length);//Multiplica o indice pelo intervalo de frequencias
}

Em termos matemáticos teremos:

[TUTORIAL] BeatMapping com Unity Captrurar
Deslocando o índice de acordo com o vazamento nas faixas vizinhas

Ou seja, se após a interpolação o índice for 2.1 e nosso intervalo for 23kHz a frequência atual será:

[TUTORIAL] BeatMapping com Unity Captrurar

[TUTORIAL] BeatMapping com Unity Asdfsdfd3asfg

Notas Musicais

Agora vamos identificar as notas musicais de acordo com a frequência atual.
Para isso vamos criar uma classe Note dentro do arquivo BeatMapping.cs (arquivo atual).
Essa classe servida como objeto, então precisamos adicionar variáveis e um construtor a ela.

As variáveis são:
-O nome da nota
-Multiplicador
-Frequência

Código:

class Note
{
    public string name;
    public float frequency;
    public int multiplier;

    public Note(string name, float frequency, int multiplier = 0)
    {
        this.name = name;
        this.frequency = frequency;
        this.multiplier = multiplier;
    }
}

Sempre que quisermos criar uma nota chamaremos esse objeto e passaremos os valores para ele armazenar:

Código:
Note C = new Note("C", 16.35f);

Vamos adicionar a esse objeto uma função que retorna as notas musicais padrões com a frequência de base.

Código:
public static List<Note> getStandardNotes()
{
    Note C = new Note("C", 16.35f);
    Note Cs = new Note("C#", 17.32f); ;
    Note D = new Note("D", 18.35f);
    Note Eb = new Note("Eb", 19.45f);
    Note E = new Note("E", 20.6f);
    Note F = new Note("F", 21.83f);
    Note Fs = new Note("F#", 23.12f);
    Note G = new Note("G", 24.5f);
    Note Gs = new Note("G#", 25.96f);
    Note A = new Note("A", 27.5f);
    Note Bb = new Note("Bb", 29.14f);
    Note B = new Note("B", 30.87f);

    List<Note> Notes = new List<Note>();
    Notes.Add(C); Notes.Add(Cs); Notes.Add(D); Notes.Add(Eb); Notes.Add(E); Notes.Add(F);
    Notes.Add(Fs); Notes.Add(G); Notes.Add(Gs); Notes.Add(A); Notes.Add(Bb); Notes.Add(B);
    return Notes;
}

Fonte: https://pages.mtu.edu/~suits/notefreqs.html

Agora vamos criar uma função na classe BeatMapping para retornar a nota atual, com o nome getCurrentNote(), para isso vamos comparar a frequência atual com as notas padrões definidas em Note e achar qual a nota mais próxima da frequência atual.

Código:
Note getAudioNote(float frequency)
{
    Note nearNote = new Note("", 0f);

    List<Note> Notes = Note.getStandardNotes();

    for (int k = 0; k < Notes.Count; k++)
        for (int j = 1; j < 8; j++)
        {
            if (Mathf.Abs(frequency - nearNote.frequency) > Mathf.Abs(frequency - Notes[k].frequency * j) || nearNote.frequency == 0)
            {
                nearNote = new Note(Notes[k].name, Notes[k].frequency * j, j);
            }
        }

    if (Mathf.Abs(frequency - nearNote.frequency) < 2)
        return nearNote;
    else
        return new Note("", 0f);
}

Multiplicamos a frequência da nota pelo multiplicador que vai de 1 a 8, se a diferença entre a frequência atual e a nota que estamos comparando for menor que a diferença da frequência atual e a nota mais próxima (Definida anteriormente em outra comparação).
A nota mais próxima da frequência atual passa a ser a que estamos comparando no ciclo for e o loop continua. Ao final de todas as comparações teremos a nota mais próxima da frequência, para uma maior precisão verificamos se a diferença entre a nota selecionada e a frequência atual é menor que 2, se sim retornamos a nota, se não retornamos vazio.

Código:
void Update()
{
    samples = getSamples(audioSource, (int)Samples);
    Spectrum.updateAudioSpectrum(spectrum, samples, 1000f);

    //Debug.Log("Nota musical detectada em ("+Mathf.Round(audioSource.time)+"s): "+ getAudioNote(getCurrentFrequency(samples)).name);//Printar nome da nota
}


[TUTORIAL] BeatMapping com Unity Asdfsdfdas5fg

Na classe BeatMapping
Essa função pode não ser 100% precisa e muitas vezes acaba retornando a nota vazia porém serviu bem para os propósitos deste artigo.

Detecção de Batida

Para detectar a presença de uma batida vamos comparar as samples atuais com as samples anteriores, se a média das samples atual for maior que a das anteriores quer dizer que tivemos um aumento na intensidade sonora que pode ser classificado como Beat.
Crie uma nova array de float com o nome oldSamples.

No método Update coloque samples.CopyTo para salvar os valores das samples anteriores em oldSamples antes de atualizar as samples.

Código:
void Update()
{
    samples.CopyTo(oldSamples, 0);

    samples = getSamples(audioSource, (int)Samples);
    Spectrum.updateAudioSpectrum(spectrum, samples, 1000f);

    Debug.Log("Nota musical detectada em (" + Mathf.Round(audioSource.time) + "s): " + getAudioNote(getCurrentFrequency(samples)).name);//Printar nome da nota
}

Agora podemos detectar a batida com uma nova função na classe BeatMapping:
Coloque o nome de beatDetector e faça a função retornar uma bool.

Passe os valores de oldSamples e de samples, dentro da função crie 2 ciclos foreach que pegam um valor float em samples e em oldSamples.
Faremos a média aritmética dos valores:

[TUTORIAL] BeatMapping com Unity Ewrt

Pode ser escrito como:
[TUTORIAL] BeatMapping com Unity Ersadf


Código:
bool beatDetector(float[] samples, float[] oldSamples, float tolerance = 0)
{
    float oldSamplesAverage = 0;//Armazena a media das samples velhas
    float samplesAverage = 0;//Armazena a media das samples atuais

    foreach (float i in oldSamples)
        oldSamplesAverage += i / oldSamples.Length;
    foreach (float i in samples)
        samplesAverage += i / samples.Length;

    if ((samplesAverage - oldSamplesAverage) > tolerance)//Se a diferenca for maior que um valor de tolerancia
        return true;//Batida detectada
    else
        return false;
}

Usamos o valor de tolerância para deixar o programa menos sensível a qualquer mudança de batida, mas para os testes vamos defini-lo como 0, mas para tornar o sistema um pouco menos sensível tente valores como: 0.04f.
Por fim para evitar erros de Null, adicione as seguintes linhas no void Start() da classe BeatDetector:

Código:
void Start()
{
    oldSamples = new float[(int)Samples];
    samples = new float[(int)Samples];
    spectrum = Spectrum.createAudioSpectrum((int)Samples, spectrumPrefab, 0.2f);
}

Identificando Tons de Áudio

Por último, mas não menos importante, vamos identificar os tons que estão sendo reproduzidos de acordo com a frequência atual.

Para isso vamos criar um enum que contenha os tons que queremos identificar:

Código:
enum Tones { SubBass, Bass, LowMiddle, Middle, HighMiddle, High }

E uma função na classe BeatMapping com o nome getCurrentTone(), essa função irá comparar a frequência atual com os seguintes intervalos:

[TUTORIAL] BeatMapping com Unity Frd1e

E retornará o tom atual de acordo com isso.


Código:
Tones getCurrentAudioTone(float frequency)
{
    if ((frequency) < 63)
        return Tones.SubBass;
    if ((frequency) > 63 && (frequency) < 250)
        return Tones.Bass;
    if ((frequency) > 250 && (frequency) < 640)
        return Tones.LowMiddle;
    if ((frequency) > 640 && (frequency) < 2500)
        return Tones.Middle;
    if ((frequency) > 2500 && (frequency) < 5000)
        return Tones.HighMiddle;
    if ((frequency) > 5000)
        return Tones.High;
    return 0;
}


[TUTORIAL] BeatMapping com Unity Asdfsdfd6asfg

Desse modo, temos um detector de batida capaz de pegar a frequência atual, nota e tom de um áudio source em cena.

https://pt.wikipedia.org/wiki/Transformada_r%C3%A1pida_de_Fourier
https://www.nti-audio.com/pt/suporte/saber-como/transformacao-rapida-de-fourier-fft
https://docs.unity3d.com/ScriptReference/AudioSource.GetSpectrumData.html

Script Completa: https://gist.github.com/MatheusMarkies/c951b329ddad405bf179aa131369c4be
Meu Canal: https://www.youtube.com/channel/UCkngjEDMx9y_vW0t7Io05gg

Tutorial Completo: https://docs.google.com/document/d/e/2PACX-1vTS15dpUZMTA_5JVhw37PjNjjDFzsyX_AziyaQmnBZeogw1sSPDn3f21vDqlkGNEPmeGClcqlTUqrfV/pub



Última edição por Matrirxp em Qua Dez 15, 2021 11:39 am, editado 4 vez(es)
Matrirxp
Matrirxp
ProgramadorMaster

Masculino PONTOS : 2359
REPUTAÇÃO : 85
Idade : 19
Áreas de atuação : Programação: C#, Java, HLSL, CG, GLSL.
Modelagem 3D.
Respeito as regras : [TUTORIAL] BeatMapping com Unity Aad8pUi

https://www.youtube.com/channel/UCkngjEDMx9y_vW0t7Io05gg

Ir para o topo Ir para baixo

TUTORIAL Re: [TUTORIAL] BeatMapping com Unity

Mensagem por MarcosSchultz Qua Dez 15, 2021 8:22 am

Nuss, olha a qualidade do tutorial. Parabéns, top demais.
MarcosSchultz
MarcosSchultz
Administrador

Masculino PONTOS : 63832
REPUTAÇÃO : 2602
Idade : 25
Áreas de atuação : Administrador do fórum
Respeito as regras : [TUTORIAL] BeatMapping com Unity Aad8pUi

https://www.schultzgames.com

Ir para o topo Ir para baixo

TUTORIAL Re: [TUTORIAL] BeatMapping com Unity

Mensagem por MayLeone Qua Dez 15, 2021 12:54 pm

Caramba! Que qualidade, hein? Tópico muito precioso e informativo, que não só mostra como fazer o sistema (código e mais código) mas também explica o conceito por meio de equações matemáticas e casos reais! Muito bom, vou favoritar aqui.
MayLeone
MayLeone
Instrutor

Feminino PONTOS : 2688
REPUTAÇÃO : 558
Áreas de atuação : Unity & C#
Respeito as regras : [TUTORIAL] BeatMapping com Unity Aad8pUi

http://compilemosfacil.blogspot.com.br

Ir para o topo Ir para baixo

Ir para o topo


 
Permissões neste fórum
Você não pode responder aos tópicos