4.2 Performance Metrics for Parallel Programs. An important criterion for the usefulness of a parallel program is its runtime on a specific execution platform. The parallel runtime Tp(n) of a program is the time between the start of the program and the end of the execution on all participating processors; this is the point in time when the last processor finishes its execution for this program. The parallel runtime is usually expressed for a specific number p of participating processors as a function of the problem size n. The problem size is given by the size of the input data, which can for example be the number of equations of an equation system to be solved. Depending on the architecture of the execution platform, the parallel runtime comprises the following times: • the runtime for the execution of local computations of each participating processor; these are the computations that each processor performs using data in its local memory; • the runtime for the exchange of data between processors, e.g., by performing explicit communication operations in the case of a distributed address space; • the runtime for the synchronization of the participating processors when accessing shared data structures in the case of a shared address space; • waiting times occurring because of an unequal load distribution of the processors; waiting times can also occur when a processor has to wait before it can access a shared data structure to ensure mutual exclusion. The time spent for data exchange and synchronization as well as waiting times can be considered as overhead since they do not contribute directly to the computations to be performed. 4.2.1 Speedup and Efficiency The cost of a parallel program captures the runtime that each participating processor spends for executing the program. 4.2.1.1 Cost of a Parallel Program The cost Cp(n) of a parallel program with input size n executed on p processors is defined by Cp(n) = p · Tp(n). Thus, Cp(n) is a measure of the total amount of work performed by all processors. Therefore, the cost of a parallel program is also called work or processor–runtime product. A parallel program is called cost-optimal if Cp(n) = T (n), i.e., if it executes the same total number of operations as the fastest sequential program which has runtime T (n). Using asymptotic execution times, this means that a parallel program is cost-optimal if T (n)/Cp(n) ∈ Θ(1) (see Sect. 4.3.1 for the Θ definition). 4.2.1.2 Speedup For the analysis of parallel programs, a comparison with the execution time of a sequential implementation is especially important to see the benefit of parallelism. Such a comparison is often based on the relative saving in execution time as expressed by the notion of speedup. The speedup Sp(n) of a parallel program with parallel execution time Tp(n) is defined as where p is the number of processors used to solve a problem of size n. T (n) is the execution time of the best sequential implementation to solve the same problem. The speedup of a parallel implementation expresses the relative saving of execution time that can be obtained by using a parallel execution on p processors compared to the best sequential implementation. The concept of speedup is used both for a theoretical analysis of algorithms based on the asymptotic notation and for the practical evaluation of parallel programs.

4.2 Métricas de rendimiento para programas paralelos. Un criterio importante para la utilidad de un programa paralelo es su tiempo de ejecución en una plataforma de ejecución específica. El tiempo de ejecución paralelo Tp (n) de un programa es el tiempo entre el inicio del programa y el final de la ejecución en todos los procesadores participantes; este es el momento en el que el último procesador finaliza su ejecución para este programa. El tiempo de ejecución paralelo generalmente se expresa para un número específico p de procesadores participantes en función del tamaño del problema n. El tamaño del problema viene dado por el tamaño de los datos de entrada, que puede ser, por ejemplo, el número de ecuaciones de un sistema de ecuaciones a resolver.Dependiendo de la arquitectura de la plataforma de ejecución, el tiempo de ejecución paralelo comprende los siguientes tiempos: • el tiempo de ejecución para la ejecución de cálculos locales de cada procesador participante; estos son los cálculos que cada procesador realiza utilizando datos en su memoria local; • el tiempo de ejecución para el intercambio de datos entre procesadores, por ejemplo, realizando operaciones de comunicación explícitas en el caso de un espacio de direcciones distribuido; • el tiempo de ejecución para la sincronización de los procesadores participantes al acceder a estructuras de datos compartidos en el caso de un espacio de direcciones compartido; • tiempos de espera que se producen debido a una distribución de carga desigual de los procesadores; los tiempos de espera también pueden ocurrir cuando un procesador tiene que esperar antes de poder acceder a una estructura de datos compartida para asegurar la exclusión mutua. El tiempo empleado para el intercambio y la sincronización de datos, así como los tiempos de espera, pueden considerarse como gastos generales, ya que no contribuyen directamente a los cálculos que deben realizarse. 4.2.1 Aceleración y eficiencia El costo de un programa paralelo captura el tiempo de ejecución que cada procesador participante gasta para ejecutar el programa. 4.2.1.1 Costo de un programa paralelo El costo Cp (n) de un programa paralelo con tamaño de entrada n ejecutado en p procesadores se define por Cp (n) = p · Tp (n). Por lo tanto, Cp (n) es una medida de la cantidad total de trabajo realizado por todos los procesadores.Por lo tanto, el costo de un programa paralelo también se denomina trabajo o producto procesador / tiempo de ejecución. Un programa paralelo se denomina costo óptimo si Cp (n) = T (n), es decir, si ejecuta el mismo número total de operaciones que el programa secuencial más rápido que tiene el tiempo de ejecución T (n). Usando tiempos de ejecución asintóticos, esto significa que un programa paralelo tiene un costo óptimo si T (n) / Cp (n) ∈ Θ (1) (consulte la Sección 4.3.1 para la definición de Θ). 4.2.1.2 Aceleración Para el análisis de programas paralelos, una comparación con el tiempo de ejecución de una implementación secuencial es especialmente importante para ver el beneficio del paralelismo. Tal comparación se basa a menudo en el ahorro relativo en el tiempo de ejecución expresado por la noción de aceleración. La aceleración Sp (n) de un programa paralelo con tiempo de ejecución paralelo Tp (n) se define como donde p es el número de procesadores utilizados para resolver un problema de tamaño n. T (n) es el tiempo de ejecución de la mejor implementación secuencial para resolver el mismo problema. La aceleración de una implementación paralela expresa el ahorro relativo de tiempo de ejecución que se puede obtener al usar una ejecución paralela en procesadores p en comparación con la mejor implementación secuencial. El concepto de aceleración se utiliza tanto para un análisis teórico de algoritmos basados ​​en la notación asintótica como para la evaluación práctica de programas paralelos.