Solución:
Lo que más importa está bien, se pueden cargar los símbolos de su propio código:
...ConsoleApplication4.exe'. Symbols loaded.
El resto de los símbolos que faltan son para los ensamblados del sistema .NET (dlls). No son necesarios todo el tiempo, puede depurar su código sin ellos, pero si hace cosas avanzadas como mensajería, la mayoría de su pila no podrá desenrollarse (o algunas veces se le llama “simbolizado”).
Prefiero tener tantos pdbs del sistema (archivos de símbolos de depuración) como sea posible. Es muy fácil de configurar con VS 2012, supongo que VS 2013 es igual de fácil o incluso mejor. http://msdn.microsoft.com/en-us/library/b8ttk8zy%28v=vs.90%29.aspx
Tenga en cuenta que después de configurar la descarga de símbolos, experimentará un retraso importante la primera vez que depure su código. Ahí es cuando ocurre la descarga del símbolo. Una vez hecho esto, el inicio de la depuración será rápido nuevamente (porque los nuevos símbolos solo son necesarios si el sistema .NET obtiene algunas actualizaciones que también afectan sus ensamblajes).
Yo tambien instalo "Debugging Tools for Windows xy" y "Windows xy SDK" también (donde xy = 7, 8, 8.1, 10 dependiendo de qué Windows esté usando, además de que la arquitectura también importa: X64 o 32), incluso si solo depuro administrado (ese es el término para los programas escritos en .NET recolectados y idiomas manejados) código. http://msdn.microsoft.com/en-us/library/windows/hardware/ff551063%28v=vs.85%29.aspx
Un ensamblaje para el que puede que no obtenga el símbolo es el ConsoleApplication4.vshost.exe. Ese es un código auxiliar que utiliza el depurador de Visual Studio para iniciar su programa. Puede verlo en el Explorador de procesos (conjunto de herramientas de Sysinternals), a veces hay más instancias persistentes.