2.6.2 Amdahl’s law. Back in the 1960s, Gene Amdahl made an observation [2] that’s become known as Amdahl’s law. It says, roughly, that unless virtually all of a serial program is parallelized, the possible speedup is going to be very limited—regardless of the number of cores available. Suppose, for example, that we’re able to parallelize 90% of a serial program. Further suppose that the parallelization is “perfect,” that is, regardless of the number of cores p we use, the speedup of this part of the program will be p. If the serial run-time is Tserial= 20 seconds, then the run-time of the parallelized part will be 0.9 × Tserial/p = 18/p and the run-time of the “unparallelized” part will be 0.1 × Tserial = 2. The overall parallel run-time will be: and the speedup will be: Now as p gets larger and larger, 0.9 × Tserial/p = 18/p gets closer and closer to 0, so the total parallel run-time can’t be smaller than 0.1 × Tserial = 2. That is, the denominator in S can’t be smaller than 0.1 × Tserial = 2. The fraction S must therefore be smaller than: That is, S ≤ 10. This is saying that even though we’ve done a perfect job in parallelizing 90% of the program, and even if we have, say, 1000 cores, we’ll never get a speedup better than 10. More generally, if a fraction r of our serial program remains unparallelized, then Amdahl’s law says we can’t get a speedup better than 1/r. In our example, r = 1 − 0.9 = 1/10, so we couldn’t get a speedup better than 10. Therefore, if a fraction r of our serial program is “inherently serial,” that is, cannot possibly be parallelized, then we can’t possibly get a speedup better than 1/r. Thus, even if r is quite small— say 1/100 — and we have a system with thousands of cores, we can’t possibly get a speedup better than 100. This is pretty daunting. Should we give up and go home? Well, no. There are several reasons not to be too worried by Amdahl’s law. First, it doesn’t take into consideration the problem size. For many problems, as we increase the problem size, the “inherently serial” fraction of the program decreases in size; a more mathematical version of this statement is known as Gustafson’s law [25]. Second, there are thousands of programs used by scientists and engineers that routinely obtain huge speedups on large distributed-memory systems. Finally, is a small speedup so awful? In many cases, obtaining a speedup of 5 or 10 is more than adequate, especially if the effort involved in developing the parallel program wasn’t very large.

2.6.2 La ley de Amdahl. En la década de 1960, Gene Amdahl hizo una observación [2] que se conoce como la ley de Amdahl. Dice, aproximadamente, que a menos que prácticamente todos los programas en serie estén paralelos, la posible aceleración será muy limitada, independientemente de la cantidad de núcleos disponibles. Supongamos, por ejemplo, que podemos paralizar el 90% de un programa en serie. Además, suponga que la paralelización es "perfecta", es decir, independientemente del número de núcleos p que usemos, la aceleración de esta parte del programa será p. Si el tiempo de ejecución en serie es Tserial = 20 segundos, entonces el tiempo de ejecución de la parte paralelizada será 0.9 × Tserial / p = 18 / p y el tiempo de ejecución de la parte "sin paralelismo" será 0.1 × Tserial = 2 El tiempo de ejecución paralelo general será: y la aceleración será: Ahora que p se hace más y más grande, 0.9 × Tserial / p = 18 / p se acerca más y más a 0, por lo que el tiempo total de ejecución paralelo no puede ser más pequeño que 0.1 × Tserial = 2. Es decir, el denominador en S no puede ser más pequeño que 0.1 × Tserial = 2. La fracción S debe ser más pequeña que: Es decir, S ≤ 10. Esto significa que, a pesar de que hemos hecho un trabajo perfecto al paralelizar el 90% del programa, e incluso si tenemos, digamos, 1000 núcleos, nunca obtendremos una aceleración superior a 10.De manera más general, si una fracción r de nuestro programa serial permanece sin paralelo, entonces la ley de Amdahl dice que no podemos obtener una aceleración mejor que 1 / r. En nuestro ejemplo, r = 1 - 0.9 = 1/10, por lo que no podríamos obtener una aceleración mejor que 10. Por lo tanto, si una fracción r de nuestro programa serial es "inherentemente serial", es decir, no es posible que esté en paralelo, entonces no podemos obtener una aceleración mejor que 1 / r. Por lo tanto, incluso si r es bastante pequeño, digamos 1/100, y tenemos un sistema con miles de núcleos, posiblemente no podamos obtener una aceleración mejor que 100. Esto es bastante desalentador. ¿Debemos rendirnos e ir a casa? Bueno no. Hay varias razones para no preocuparse demasiado por la ley de Amdahl. En primer lugar, no tiene en cuenta el tamaño del problema. Para muchos problemas, a medida que aumentamos el tamaño del problema, la fracción "inherentemente serial" del programa disminuye de tamaño; una versión más matemática de esta declaración se conoce como la ley de Gustafson [25]. En segundo lugar, hay miles de programas utilizados por científicos e ingenieros que obtienen rutinariamente grandes aceleraciones en grandes sistemas de memoria distribuida. Por último, ¿es una pequeña aceleración tan horrible? En muchos casos, obtener una aceleración de 5 o 10 es más que adecuado, especialmente si el esfuerzo involucrado en el desarrollo del programa paralelo no fue muy grande.