$ docker rm $(docker ps -a -q -f status=exited)

команда удаляет все контейнеры, у которых статус exited. 
Флаг -q возвращает только численные ID, 
флаг -f фильтрует вывод на основе предоставленных условий. 

Последняя полезная деталь — команде docker run можно передать флаг --rm, тогда контейнер будет автоматически удаляться при завершении.