TEN Agent, impulsado por el primer framework multimodal en tiempo real del mundo. Es de código abierto, con la capacidad de hablar, ver y acceder a una base de conocimientos. Aprovechando el Framework TEN, TEN Agent tiene las siguientes características:
-
Interacciones Multimodales en Tiempo Real de Alto Rendimiento: Ofrece soluciones de alto rendimiento y baja latencia para aplicaciones complejas de IA audiovisual.
-
Soporte Multi-Idioma y Multi-Plataforma: Soporta desarrollo de extensiones en C++, Go, Python, etc. Se ejecuta en Windows, Mac, Linux y dispositivos móviles.
-
Integración Edge-Cloud: Combina de manera flexible extensiones desplegadas en el borde y en la nube, equilibrando privacidad, costo y rendimiento.
-
Flexibilidad Más Allá de las Limitaciones del Modelo: Construye fácilmente aplicaciones complejas de IA mediante programación simple de arrastrar y soltar, integrando herramientas audiovisuales, bases de datos, RAG y más.
-
Gestión de Estado del Agente en Tiempo Real: Gestiona y ajusta el comportamiento del agente en tiempo real para una respuesta dinámica.
Antes de comenzar, asegúrate de marcar con una estrella nuestro repositorio y recibir notificaciones instantáneas de todos los nuevos lanzamientos.
TEN Agent es un agente multimodal impulsado por TEN, que demuestra sus capacidades en habla, visión y razonamiento a través de RAG desde documentación local.
- Agora App ID y App Certificate (el certificado no es obligatorio)
- Claves API de Azure SST y TTS (siéntete libre de usar otro proveedor)
- Clave API de OpenAI
- CPU >= 2 núcleos
- RAM >= 4 GB
Necesitarás desmarcar la opción "Use Rosetta for x86_64/amd64 emulation on Apple Silicon" en Docker si estás en Apple Silicon, de lo contrario el servidor no funcionará.
En la raíz del proyecto, usa el comando cp
para crear .env
a partir del ejemplo.
Se utilizará para almacenar información para docker compose
más adelante.
cp ./.env.example ./.env
Abre el archivo .env
y completa las claves
y regiones
. Aquí también puedes elegir usar cualquier extensión
diferente:
# Agora App ID y Agora App Certificate
AGORA_APP_ID=
# Dejar vacío a menos que hayas habilitado el certificado en la cuenta de Agora.
AGORA_APP_CERTIFICATE=
# Clave y región de Azure STT
AZURE_STT_KEY=
AZURE_STT_REGION=
# Clave y región de Azure TTS
AZURE_TTS_KEY=
AZURE_TTS_REGION=
# Clave API de OpenAI
OPENAI_API_KEY=
En el mismo directorio, ejecuta el comando docker compose up
para componer los contenedores:
docker compose up
Abre una nueva ventana de terminal, entra al contenedor y construye el agente:
docker exec -it ten_agent_dev bash
task use AGENT=agents/examples/demo
Una vez que la construcción esté completa, ejecuta task run
en el puerto 8080/49483
:
task run
Abre https://localhost:3000 en el navegador para jugar y probar TEN Agent.
Abre otra pestaña y ve a https://localhost:3001, y usa el Diseñador de Gráficos para crear, conectar y editar extensiones en el lienzo.
Características | TEN Agent | Pipecat | LiveKit:KITT | Vapi.ai | DailyBots | Play.ai |
---|---|---|---|---|---|---|
Visión | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
Rico soporte TTS para diferentes idiomas | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
Soporte Go para extensiones | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
Soporte C++ para extensiones | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
Soporte RAG | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
Constructor de flujos de trabajo para extensiones | ✅ | ❌ | ❌ | ✅ | ❌ | ❌ |
Rico soporte LLM | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
Soporte Python para extensiones | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
Código abierto | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ |
- Discord: Ideal para compartir tus aplicaciones e interactuar con la comunidad.
- Discusiones de GitHub: Perfecto para proporcionar comentarios y hacer preguntas.
- Issues de GitHub: Mejor para reportar errores y proponer nuevas características. Consulta nuestras pautas de contribución para más detalles.
- X (anteriormente Twitter): Excelente para compartir tus agentes e interactuar con la comunidad.
¡Las contribuciones son bienvenidas! Por favor, lee primero las pautas de contribución.
Este proyecto está licenciado bajo la Licencia Apache 2.0 - consulta el archivo LICENSE para más detalles.