Nvidia ha introducido un revolucionario chatbot de IA llamado Chat with RTX, diseñado para ejecutarse localmente en PCs con Windows alimentados por GPUs Nvidia RTX. Esta innovadora herramienta permite a los usuarios personalizar un chatbot con su propio contenido, creando una experiencia de IA personalizada que mantiene los datos sensibles en el dispositivo y elimina la necesidad de servicios basados en la nube.
Características clave de Chat with RTX
- Procesamiento Local: se ejecuta en PCs y estaciones de trabajo con Windows RTX, asegurando resultados rápidos y protección de la privacidad.
- Conjuntos de Datos Personalizables: Los usuarios pueden agregar datos a la biblioteca del chatbot apuntando la aplicación a una carpeta que contenga archivos, como texto, PDF, DOC/DOCX y XML.
- Integración de YouTube: Los usuarios pueden incluir información de videos y listas de reproducción de YouTube, permitiendo consultas contextuales.
- Modelos de Lenguaje Grandes (MLG): utiliza MLG de código abierto como Mistral o Llama 2.
- Generación Aumentada con Recuperación (RAG): El chatbot utiliza RAG, el software TensorRT-LLM de Nvidia y la aceleración de Nvidia RTX.
Requisitos
- GPU Nvidia GeForce RTX Serie 30 o 40 Series (Ampere or Ada Generation) con al menos 8GB de VRAM.
- Windows 10 o 11.
- Últimos controladores de GPU de Nvidia.
Limitaciones y desafíos
- Chat with RTX aún se encuentra en sus primeras etapas, y los usuarios pueden encontrar errores y bloqueos.
- El chatbot no siempre atribuye con precisión el material fuente.
- No recuerda el contexto, por lo que las preguntas de seguimiento no pueden basarse en el contexto de una pregunta anterior.
Oportunidades para desarrolladores
Chat with RTX está construido a partir del proyecto de referencia del desarrollador TensorRT-LLM RAG, disponible en GitHub. Los desarrolladores pueden usar el proyecto de referencia para desarrollar e implementar sus propias aplicaciones basadas en RAG para RTX, aceleradas por TensorRT-LLM.
Conclusión de Chat with RTX
Marca un hito en la interacción con la inteligencia artificial al ofrecer una experiencia local, rápida y altamente personalizable. Aunque aún está en una fase inicial, este innovador chatbot de IA refleja el potencial de acelerar los modelos de lenguaje grandes con GPUs RTX, mientras mantiene la privacidad de los datos en el dispositivo.
A medida que Nvidia continúa perfeccionando esta tecnología, se vislumbra un futuro donde los usuarios podrán interactuar con la IA de manera más intuitiva y efectiva en sus propios equipos. Chat with RTX representa el inicio de una nueva era en la relación entre humanos y máquinas, donde la IA se integra de manera fluida y poderosa en nuestras vidas diarias, brindando soluciones innovadoras y personalizadas.
