Ingeniero Senior de Calidad en IA y Evaluaciones

Sobre esta oportunidad

Smartsheet está construyendo la próxima generación de plataformas de gestión de trabajo potenciadas por IA a través de SmartAssist, su plataforma de agentes inteligentes. Mientras escalan desde demostraciones iniciales hasta agentes listos para producción, la calidad se ha convertido en la frontera crítica. Buscamos un Ingeniero Senior de Calidad que sea propietario de esta misión.

Este no es un rol tradicional de QA. Es una posición profundamente técnica y de alta autonomía en la intersección entre evaluación de modelos de lenguaje, ingeniería de prompts y contexto, y generación aumentada por recuperación (RAG). Serás responsable de diagnosticar por qué fallan los agentes, diseñar sistemas que detecten regresiones, e impulsar mejoras medibles en toda la flota de orquestadores y subagentes.

Perfil buscado

Buscamos un ingeniero senior con experiencia demostrada en evaluación de sistemas de IA, particularmente con modelos de lenguaje grandes (LLMs). Necesitas ser alguien que entienda profundamente cómo funcionan estos sistemas, que puedas identificar patrones de fallo complejos, y que tengas la creatividad para diseñar soluciones innovadoras de evaluación y mejora. Idealmente, has trabajado en infraestructura de machine learning, desarrollo de agentes de IA, o roles similares donde la calidad del sistema fue fundamental para el éxito del producto.

Requisitos clave

• Experiencia sólida en evaluación de modelos de lenguaje (LLMs) y sistemas de IA en producción
• Conocimiento profundo de ingeniería de prompts, tuning de contexto, y técnicas RAG
• Experiencia trabajando con plataformas como Databricks, MLflow, o herramientas similares de ciclo de vida de ML
• Habilidad para diagnosticar problemas complejos en sistemas de IA y proponer mejoras sistemáticas
• Sólida capacidad de programación (Python, SQL o similar) para automatizar evaluaciones y análisis
• Experiencia desarrollando marcos de evaluación y métricas de calidad para sistemas de IA
• Capacidad de trabajar de forma autónoma en un equipo distribuido
• Excelente comunicación para documentar hallazgos y recomendaciones técnicas

Beneficios de la posición

• Rol técnico de alto impacto con autonomía significativa en decisiones de arquitectura de calidad
• Oportunidad de moldear el futuro de la evaluación de agentes de IA en una empresa reconocida
• Trabajo 100% remoto con flexibilidad de ubicación geográfica
• Equipo de ingeniería de clase mundial enfocado en IA aplicada
• Acceso a tecnología de punta y oportunidades de aprendizaje en un campo en rápida evolución
• Potencial para crecer hacia roles de liderazgo técnico conforme el equipo escala
• Ambiente colaborativo que valora la innovación y el pensamiento crítico

¿Por qué considerar esta empresa?

Smartsheet lleva más de 20 años ayudando a personas y equipos a lograr lo que se propongan, desde gestión de trabajo seamless hasta soluciones inteligentes y escalables. La empresa tiene un historial probado de innovación y está invirtiendo fuertemente en IA para transformar cómo los equipos trabajan. Este es un momento emocionante para unirte a una organización que está en la vanguardia del desarrollo de agentes inteligentes de nivel empresarial.

Cómo aplicar

IMPORTANTE: Al aplicar, por favor menciona la palabra FRESHER y el código de referencia RMjYwNDoyZGMwOjEwMToyMDA6OjI4NTA= en tu mensaje de aplicación. Esto nos ayuda a identificar candidatos que han leído completamente la descripción del puesto y nos permite filtrar solicitudes más efectivamente. Es una característica beta para reducir spam.

Rango salarial

No especificado por la empresa

¿Te interesa? Aplica directamente desde el enlace de la vacante.