Solución:
No quería instalar las herramientas de Azure Powershell, así que seguí los pasos de este video: https://www.youtube.com/watch?v=V5Gb342gSGg
Básicamente, vaya a Conexiones de red -> abra las propiedades del conmutador virtual que desea eliminar -> haga clic en Configurar -> vaya a la pestaña Controlador -> Desinstalar dispositivo.
Para evitar que el servicio Hyper-V cree uno nuevo la próxima vez que reinicie mi computadora sin deshabilitarla por completo, cambié el Tipo de inicio de cada servicio Hyper-V a Manual.
Un problema similar se resolvió en los foros de TechNet de Microsoft:
Tenemos una configuración de conmutador virtual en Virtual Switch Manager y el adaptador se ha eliminado por error utilizando “Cambiar configuración del adaptador …” del Centro de redes y recursos compartidos. Ahora, obviamente, el interruptor está en un estado fallido y solo queremos eliminarlo de la lista.
En última instancia, el OP realizó una búsqueda en profundidad dentro del registro y encontró la configuración del conmutador virtual almacenada dentro de la siguiente clave:
HKLM SYSTEM CurrentControlSet Services VMSMP Parameters SwitchList
Después de que eliminaron el valor correspondiente dentro de esa clave y reiniciaron, el conmutador virtual desapareció.
Como siempre, le recomiendo que exporte su configuración actual a un .reg archivo para tener una copia de seguridad adecuada antes de intentar cambios similares.
(Fuente: No se puede eliminar el conmutador virtual fallido del Virtual Switch Manager de Hyper-V)
Aunque no estoy usando Docker, quería encontrar una solución sin usar regedit, así que después de intentar la respuesta de RobV8R, encontré instrucciones sobre esta pregunta en MS Technet.
Get-HNSNetwork | Remove-HNSNetwork
O, para una optoína más filtrada, esto es lo que necesitaba.
Get-HNSNetwork | ? Name -Like "Default Switch" | Remove-HNSNetwork
Además, voy a suponer que querrá seguir el consejo de @ mxgg250 y configurar todos los servicios de Hyper-V para que se inicien manualmente, de lo contrario, volverá a crear el interruptor al reiniciar.