Scalability of Parallel Programs. The scalability of a parallel program captures the performance behavior for an increasing number of processors. 4.2.2.1 Scalability. Scalability is a measure describing whether a performance improvement can be reached that is proportional to the number of processors employed. Scalability depends on several properties of an algorithm and its parallel execution. Often, for a fixed problem size n a saturation of the speedup can be observed when the number p of processors is increased. But increasing the problem size for a fixed number of processors usually leads to an increase in the attained speedup. In this sense, scalability captures the property of a parallel implementation that the efficiency can be kept constant if both the number p of processors and the problem size n are increased. Thus, scalability is an important property of parallel programs since it expresses that larger problems can be solved in the same time as smaller problems if a sufficiently large number of processors are employed. The increase in the speedup for increasing problem size n cannot be captured by Amdahl’s law. Instead, a variant of Amdahl’s law can be used which assumes that the sequential program part is not a constant fraction f of the total amount of computations, but that it decreases with the input size. In this case, for an arbitrary number p of processors, the intended speedup ≤ p can be obtained by setting the problem size to a large enough value. 4.2.2.2 Gustafson’s Law. This behavior is expressed by Gustafson’s law [78] for the special case that the sequential program part has a constant execution time, independent of the problem size. If τ f is the constant execution time of the sequential program part and τv(n, p) is the execution time of the parallelizable program part for problem size n and p processors, then the scaled speedup of the program is expressed by: If we assume that the parallel program is perfectly parallelizable, then τv(n, 1) = T ∗(1) − τ f and τv(n, p) = (T ∗(n) − τ f )/p follow and thus: and therefore: if T (n) increases strongly monotonically with n. This is for example true for τv(n, p) = n2/p, which describes the amount of parallel computations for many iteration methods on two-dimensional meshes: There exist more complex scalability analysis methods which try to capture how the problem size n must be increased relative to the number p of processors to obtain a constant efficiency. An example is the use of isoefficiency functions which express the required change of the problem size n as a function of the number of processors p.

Escalabilidad de programas paralelos. La escalabilidad de un programa paralelo captura el comportamiento del rendimiento para un número creciente de procesadores. 4.2.2.1 Escalabilidad. La escalabilidad es una medida que describe si se puede alcanzar una mejora del rendimiento que sea proporcional al número de procesadores empleados. La escalabilidad depende de varias propiedades de un algoritmo y su ejecución paralela. A menudo, para un tamaño de problema fijo puede observarse una saturación de la aceleración cuando se aumenta el número p de procesadores. Pero aumentar el tamaño del problema para un número fijo de procesadores generalmente conduce a un aumento en la aceleración alcanzada. En este sentido, la escalabilidad captura la propiedad de una implementación paralela de que la eficiencia se puede mantener constante si se incrementa tanto el número p de procesadores como el tamaño del problema n. Por lo tanto, la escalabilidad es una propiedad importante de los programas paralelos, ya que expresa que los problemas más grandes se pueden resolver al mismo tiempo que los problemas más pequeños si se emplea un número suficientemente grande de procesadores. El aumento en la aceleración para aumentar el tamaño del problema n no puede ser capturado por la ley de Amdahl. En cambio, se puede usar una variante de la ley de Amdahl que asume que la parte del programa secuencial no es una fracción constante f de la cantidad total de cálculos, sino que disminuye con el tamaño de entrada.En este caso, para un número arbitrario p de procesadores, se puede obtener la aceleración deseada ≤ p estableciendo el tamaño del problema en un valor suficientemente grande. 4.2.2.2 Ley de Gustafson. Este comportamiento se expresa en la ley de Gustafson [78] para el caso especial de que la parte del programa secuencial tiene un tiempo de ejecución constante, independiente del tamaño del problema. Si τ f es el tiempo de ejecución constante de la parte del programa secuencial y τv (n, p) es el tiempo de ejecución de la parte del programa paralelizable para los procesadores de problemas de tamaño nyp, entonces la aceleración escalada del programa se expresa mediante: Si asumimos que el programa paralelo es perfectamente paralelizable, entonces τv (n, 1) = T ∗ (1) - τ f y τv (n, p) = (T ∗ (n) - τ f) / p seguir y por lo tanto : y por lo tanto: si T (n) aumenta fuertemente monotonicamente con n. Esto es cierto, por ejemplo, para τv (n, p) = n2 / p, que describe la cantidad de cálculos paralelos para muchos métodos de iteración en mallas bidimensionales: Existen métodos de análisis de escalabilidad más complejos que intentan capturar cómo debe aumentarse el tamaño del problema n en relación con el número p de procesadores para obtener una eficiencia constante. Un ejemplo es el uso de funciones de isoeficiencia que expresan el cambio requerido del tamaño del problema n como una función del número de procesadores p.