Solución:
Según https://github.com/pypa/pip/issues/4022, este es un error que resulta de que Ubuntu proporciona metadatos incorrectos a pip. Entonces, no, no parece haber una buena razón para este comportamiento. Presenté un error de seguimiento con Ubuntu. https://bugs.launchpad.net/ubuntu/+source/python-pip/+bug/1635463
Para hacer una copia de seguridad de la respuesta anterior, debería ser seguro eliminar esa línea de su requirements.txt. Aquí hay una sección de Make file de ejemplo que congela de forma segura su lista de paquetes (coloque su Makefile y ejecute con make freeze):
freeze:
pip freeze | grep -v "pkg-resources" > requirements.txt
En cuanto a la parte de tu pregunta “¿Está bien eliminar esta línea?“:
Tengo el mismo problema aquí desarrollando en un ubuntu 16.04 con esa misma línea en los requisitos. Al implementar en debian 8.5 en ejecución "pip install -r requirements.txt" pip se queja de que pkg-resources “no se encuentra” pero hay un paquete global instalado “python-pkg-resources”, por lo que la dependencia debería satisfacerse. Lo mismo en ubuntu: el paquete también existe allí.
Como se indica aquí, parece ser un “paquete instalado implícitamente”.
Entonces: Si está en un Debian / Ubuntu que tiene instalado python-pkg-resources, debería ser seguro eliminar esa línea. Lo hice y todo va bien. Sin embargo, dado que no soy un experto en esto, debe tener en cuenta que esto puede generar complicaciones al implementarlo en otra máquina.