La solución a este error es muy sencilla.

1. Ir a la carpeta donde están los archivos del bash: %localappdata%\lxss
2. Eliminar el contenido de la carpeta
3. Eso es todo.

Este error puede persistir después de des-instalar y reinstalar el sub-sistema, incluso, después de reinstalarlo completamente desde la opción de agregar y quitar funciones.