Saltar al contenido

Ejecutar programas en paralelo usando xargs

Agradecemos tu ayuda para compartir nuestras reseñas acerca de las ciencias informáticas.

Solución:

Desde el xargs página man:

Esta página de manual documenta la versión GNU de xargs. xargs lee elementos de la entrada estándar, delimitados por espacios en blanco (que pueden protegerse con comillas dobles o simples o una barra invertida) o nuevas líneas, y ejecuta el comando (el predeterminado es / bin / echo) una o más veces con cualquier argumento inicial seguido por elementos leídos de la entrada estándar. Las líneas en blanco en la entrada estándar se ignoran.

Lo que significa que para tu ejemplo xargs espera y recopila toda la salida de su script y luego ejecuta echo . No es exactamente tan útil ni lo que querías.

El -n El argumento es cuántos elementos de la entrada se deben usar con cada comando que se ejecuta (nada, por sí mismo, sobre el paralelismo aquí).

Para hacer lo que quieras con xargs necesitaría hacer algo más como esto (no probado):

printf %s\n 0..99 | xargs -n 1 -P 8 script-to-run.sh input/ output/

Que se descompone así.

  • printf %s\n 0..99 – Imprime un número por línea desde 0 a 99.
  • Correr xargs
    • tomando a lo sumo un argumento por línea de comando de ejecución
    • y correr hasta ocho procesos a la vez

Con GNU Parallel haría:

parallel script-to-run.sh input/ output/  ::: 0..99

Añadir -P8 si lo haces no desea ejecutar un trabajo por núcleo de CPU.

Opuesto xargs hará lo correcto, incluso si la entrada contiene espacio, ‘, o “(aunque no es el caso aquí). También se asegura de que la salida de diferentes trabajos no sea mixed juntos, por lo que si usa la salida, tiene la garantía de que no obtendrá media línea de dos trabajos diferentes.

GNU Parallel es un paralelizador general y facilita la ejecución de trabajos en paralelo en la misma máquina o en varias máquinas a las que tiene acceso SSH.

Si tiene 32 trabajos diferentes que desea ejecutar en 4 CPU, una forma sencilla de paralelizar es ejecutar 8 trabajos en cada CPU:

Programación sencilla

GNU Parallel, en cambio, genera un nuevo proceso cuando uno termina, manteniendo las CPU activas y ahorrando tiempo:

Programación paralela de GNU

Instalación

Si GNU Parallel no está empaquetado para su distribución, puede realizar una instalación personal, que no requiere acceso de root. Se puede hacer en 10 segundos haciendo esto:

$ (wget -O - pi.dk/3 || lynx -source pi.dk/3 || curl pi.dk/3/ || 
   fetch -o - http://pi.dk/3 ) > install.sh
$ sha1sum install.sh | grep 67bd7bc7dc20aff99eb8f1266574dadb
12345678 67bd7bc7 dc20aff9 9eb8f126 6574dadb
$ md5sum install.sh | grep b7a15cdbb07fb6e11b0338577bc1780f
b7a15cdb b07fb6e1 1b033857 7bc1780f
$ sha512sum install.sh | grep 186000b62b66969d7506ca4f885e0c80e02a22444
6f25960b d4b90cf6 ba5b76de c1acdf39 f3d24249 72930394 a4164351 93a7668d
21ff9839 6f920be5 186000b6 2b66969d 7506ca4f 885e0c80 e02a2244 40e8a43f
$ bash install.sh

Para conocer otras opciones de instalación, consulte http://git.savannah.gnu.org/cgit/parallel.git/tree/README

Aprende más

Ver más ejemplos: http://www.gnu.org/software/parallel/man.html

Vea los videos de introducción: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Siga el tutorial: http://www.gnu.org/software/parallel/parallel_tutorial.html

Regístrese en la lista de correo electrónico para obtener soporte: https://lists.gnu.org/mailman/listinfo/parallel

Te mostramos comentarios y puntuaciones

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *