ELevenLabs lanza ia generativa para generar efectos de sonido

La startup de clonación de voz ElevenLabs introdujo hoy una nueva herramienta para que los usuarios generen efectos de sonido a través de indicaciones. La empresa anunció por primera vez el proyecto en febrero.

La herramienta, disponible para todos los usuarios a partir de hoy, permite a los usuarios escribir indicaciones como “olas rompiendo”, “metal golpeando”, “pájaros cantando” y “motor de coche de carreras” para generar fragmentos de sonidos.

La herramienta de efectos de sonido también puede generar clips musicales instrumentales de hasta 22 segundos con indicaciones como loops de guitarra, solos de saxofón jazz y loops de música techno.

Los usuarios gratuitos obtienen 10,000 caracteres generados por mes; una generación de fragmentos de sonido toma alrededor de 150 caracteres por solicitud. Esencialmente, los usuarios de la capa gratuita pueden generar casi 60 efectos de sonido por mes. También deben atribuir el sonido a “elevenlabs.io” en el título al publicar cualquier contenido que contenga el clip de sonido.

ElevenLabs dijo que utilizó la biblioteca de audio de Shutterstock, que contiene pistas con licencia, como herramienta para entrenar su modelo. La empresa añadió que los usuarios que probaron la herramienta durante la fase de prueba alfa incluían desarrolladores de videojuegos, productores de cine, creadores de contenido en redes sociales y especialistas en marketing.

La startup señaló que la herramienta no permite la generación de sonidos a través de indicaciones que violen su Política de Contenido y Usos Prohibidos, que incluye temas como autolesiones, amenazas a la seguridad infantil y fraude.

Aunque solo hay unas pocas empresas y startups trabajando en la generación de sonido impulsada por IA, ElevenLabs podría encontrar el espacio de generación de música abarrotado. Harmonai, respaldado por Stability AI, ha lanzado Dance Diffusion; Google ha trabajado en MusicLM; OpenAI tiene Jukebox; y Meta tiene su modelo AudioCraft. TikTok y Adobe también han experimentado con sus propias herramientas de creación musical basadas en IA generativa.