Sound API
Mais um post sobre as novas funcionalidades do Flash Player 10.
Depois de ter visto uma entrada no Coisas Interactivas sobre uma aplicação de scratching numa Nintendo DS, lembrei-me de procurar o que já havia sido feito pela comunidade com as potencialidades da nova Sound API que permite um acesso de baixo nível às amostras de áudio. Ainda não existe nada de tão elaborado, mas é expectável que assim que saia a release final do plugin aparecam frameworks à semelhança com o que aconteceu com o 3D.
As novidades são o evento flash.events.SamplesCallbackEvent que é disparado quando as amostras no buffer estão a acabar para que se possa injectar novas amostras. É por exemplo o ideal para ter um loop limpo, i.e., contínuo e sem atraso.
Associado a este evento existe uma propriedade da classe Sound que permite injectar amostras directamente no buffer, samplesCallbackData do tipo ByteArray.
Isto pode ser visto em acção:
A novidade mais interessante é quando conjugamos a funcionalidade anterior com um novo método da classe Sound que permite extrair informação do áudio, por exemplo um ficheiro carregado do servidor ou até mesmo um ficheiro carregado localmente (mais adiante). Como é fácil de imaginar as potencialidades são enormes: equalização, efeitos, edição, etc.
(…).extract(target:ByteArray, length:Number, startPosition:Number =-1):Number
O protótipo do método é intuitivo mas o que faz é copiar n amostras (length) para um instância ByteArray e como parâmetro adicional é possível definir a posição da primeira amostra (startPosition), por defeito o ponteiro não é alterado entre leituras. Ou seja; se lermos 1024Bytes numa primeira leitura, na segunda leitura o ponteiro vai apontar para o 1025º Byte. Por fim o método devolve o número de Bytes lidos.
Nota: O número de amostras tem de estar compreendido entre 512 e 8192.
Antes de injectar as amostras, estas podem ser manipulas. No exemplo de equalização, separar as diversas bandas com um banco de análise -> Amplificar/Atenuar cada banda -> obter as amostras alteradas com um banco de síntese.
Alguns exemplos em acção:
FileReference
Esta API já existia em versões anteriores do Flash Player e é utilizada para controlar a transferência de um ficheiro entre cliente e servidor. Até agora para manipular um ficheiro presente no cliente era necessário fazer o upload para o servidor e carregar de volta para o Flash Player presente no cliente. Como é fácil de ver se a operação implicar manipular e devolver um ficheiro do cliente o processo pode ser moroso.
No Astro foram introduzidos dois métodos para ler/salvar um ficheiro localmente mas necessitam de interacção com o utilizador prévia, i.e., não é possível antes de o utilizador indicar qual o ficheiro. Mais detalhes sobre estes novos métodos podem consultados na documentação oficial, indicada pelo Lee Brimelow (Platform Evangelist da Adobe) .
Exemplo
Para finalizar fiz um exemplo básico utilizando ambas API’s.
Ler um ficheiro local e mudar a sua velocidade de reprodução apenas à custa de descartar amostras em intervalos regulares.( método pouco robusto)
Existe um problema que é o seguinte: as amostras a ser injectadas no buffer têm de ser em formato PCM mas os dados que temos acesso ao ler o ficheiro correspondem ao ficheiro mp3 que está codificado.
Por isso é necessário usar um workaround que se sustenta na capacidade do Flash Player criar um SWF em bytecode na memoria. O método não paece muito simples (1,2), mas felizmente hoje o (?)Christopher Martin-Sperry (FlexibleFactory) disponibilizou um biblioteca que faz o serviço por nós com a nuance de perder a informação relativa à ID3 tag no processo. No final obtem-se um objecto Sound com o qual já podemos utilizar o método extract() para ter acesso a amostra codificadas em PCM.
» Read more…
