Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Programa del Curso
Introducción
- Información general sobre los desafíos de escalado del aprendizaje profundo
- Descripción general de DeepSpeed y sus características
- DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuidas
Empezar
- Configuración del entorno de desarrollo
- Instalación de PyTorch y DeepSpeed
- Configuración de DeepSpeed para el entrenamiento distribuido
Funciones de optimización de DeepSpeed
- Canalización de entrenamiento de DeepSpeed
- ZeRO (optimización de memoria)
- Puntos de control de activación
- Puntos de control de gradiente
- Paralelismo de canalización
Escalado de modelos con DeepSpeed
- Escalado básico con DeepSpeed
- Técnicas avanzadas de escalado
- Consideraciones de rendimiento y procedimientos recomendados
- Técnicas de depuración y solución de problemas
Temas avanzados de DeepSpeed
- Técnicas avanzadas de optimización
- Uso de DeepSpeed con entrenamiento de precisión mixto
- DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
- DeepSpeed con múltiples nodos de entrenamiento
Integración de DeepSpeed con PyTorch
- Integración de DeepSpeed con flujos de trabajo de PyTorch
- Uso de DeepSpeed con PyTorch Lightning
Solución de problemas
- Depuración de problemas comunes de DeepSpeed
- Supervisión y registro
Resumen y próximos pasos
- Resumen de conceptos y características clave
- Prácticas recomendadas para el uso de DeepSpeed en producción
- Más recursos para obtener más información sobre DeepSpeed
Requerimientos
- Conocimiento intermedio de los principios del aprendizaje profundo
- Experiencia con PyTorch o marcos de aprendizaje profundo similares
- Familiaridad con la programación en Python
Audiencia
- Científicos de datos
- Ingenieros de aprendizaje automático
- Desarrolladores
21 horas