En la temporada siguiente, la 2004-2005, Ainge puso al frente del equipo a Doc Rivers, quien no logró mejorar lo conseguido el año anterior, al volver a caer eliminado ante los Pacers en primera ronda, en una dramática serie a siete partidos, a pesar de la presencia de un veterano Gary Payton, el regreso de Walker y la llegada al equipo a través del Draft de Al Jefferson, pantalon bulls Tony Allen camiseta lakers y camiseta curry Delonte West.