From the application's view, three steps must be performed for fault tolerance: detection, notification, and recovery. The first step is being able to detect that something has gone wrong. Detection is typically the job of the runtime environment; but when the runtime envoronment does not provide this capability, application developers can create their own set of monitoring tasks to oversee an application. The PVM runtime system has a monitoring and notification capability built into it. Any or all tasks in an application can ask to be notified of specific events. These events include the failure of a task, the failure of a cluster node, or the availability of new nodes into the application. The second step in building fault-tolerant applications is notification. The PVM task(s) requesting notification can specify a particular task or set of tasks to be monitored. Or it can ask to be notified if any task within the application fails. The notification message contains the ID of the task that failed. Unlike many detection systems, PVM's monitoring system is not based on the detection of a broken communication channel between the monitored and notifed task. Thus there is no need for the notified task and the failed task ever to have communicated in order to detect the failure. This approach provides more robustness in the first step of detection. The failure or deletion of a node in the cluster is another notify event that can be requested. Again the requesting application task can specify a particular node, set of nodes, or all nodes. And, as before, the notification message returns the ID of the failed node(s). The addition of one or more cluster nodes to the application's computational environment is also an event that PVM can notify an application about. In this case no ID can be specified, and the notification message returns the ID of the new node(s). The EventType options are PvmTaskExit, PvmHostDelete, or PvmHostAdd. A separate notify call must be made for each event type that the application wishes to be notified about. The msgtag argument specifies what message tag the task will be using to listen for events. The cnt argument is the number of tasks or node IDs in the ids list for which notification is requested. Given the flexibility of the pvm_notify command, there are several options for how the application can be designed to receive notification from the PVM system. The first option is designing a separate watcher task. One or more of these watcher tasks are spawned across the cluster and often have the additional responsibility of managing the recovery phase of the application. The advantage of this approach is that the application code can remain cleaner. Note that in the manager/worker scheme the manager often assumes the additional duty as watcher. A second option is for the application tasks to watch each other. A common method is to have each task watch its neighbor in a logical ring. Thus each task just watches one or two other tasks. Another common, but not particularly efficient, method is to have every task watch all the other tasks. Remember that the PVM system is doing the monitoring, not the application tasks. So the monitoring overhead is the same with all these options. The difference is the number of notification messages that get sent in the event of a failure. Recovery is the final step in building fault-tolerant programs. Recovery depends heavily on the type of parallel algorithm used in the application. The most commonly used options are restart from the beginning, roll back to the last checkpoint, or reassign the work of a failed task.

Desde la vista de la aplicación, se deben realizar tres pasos para la tolerancia a fallas: detección, notificación y recuperación. El primer paso es poder detectar que algo salió mal. La detección es típicamente el trabajo del entorno de ejecución; pero cuando el entorno de tiempo de ejecución no proporciona esta capacidad, los desarrolladores de aplicaciones pueden crear su propio conjunto de tareas de supervisión para supervisar una aplicación. El sistema de tiempo de ejecución PVM tiene una capacidad de supervisión y notificación incorporada. Cualquiera o todas las tareas en una aplicación pueden solicitar ser notificados de eventos específicos. Estos eventos incluyen la falla de una tarea, la falla de un nodo de clúster o la disponibilidad de nuevos nodos en la aplicación. El segundo paso en la creación de aplicaciones tolerantes a fallas es la notificación. Las tareas de PVM que solicitan la notificación pueden especificar una tarea particular o un conjunto de tareas a monitorear. O puede pedir que se le notifique si falla alguna tarea dentro de la aplicación. El mensaje de notificación contiene el ID de la tarea que falló. A diferencia de muchos sistemas de detección, el sistema de monitoreo de PVM no se basa en la detección de un canal de comunicación roto entre la tarea monitoreada y notificada. Por lo tanto, no es necesario que la tarea notificada y la tarea fallida se hayan comunicado para detectar la falla. Este enfoque proporciona más robustez en el primer paso de detección. La falla o eliminación de un nodo en el clúster es otro evento de notificación que se puede solicitar.De nuevo, la tarea de la aplicación solicitante puede especificar un nodo particular, un conjunto de nodos o todos los nodos. Y, como antes, el mensaje de notificación devuelve el ID de los nodos fallidos. La adición de uno o más nodos de clúster al entorno computacional de la aplicación también es un evento sobre el cual PVM puede notificar a una aplicación. En este caso, no se puede especificar ninguna ID y el mensaje de notificación devuelve la ID de los nuevos nodos. Las opciones de EventType son PvmTaskExit, PvmHostDelete o PvmHostAdd. Se debe hacer una llamada de notificación por separado para cada tipo de evento sobre el cual la aplicación desea ser notificada. El argumento msgtag especifica qué etiqueta de mensaje usará la tarea para escuchar los eventos. El argumento cnt es el número de tareas o identificadores de nodo en la lista de identificadores para los que se solicita la notificación. Dada la flexibilidad del comando pvm_notify, hay varias opciones sobre cómo se puede diseñar la aplicación para recibir notificaciones del sistema PVM. La primera opción es diseñar una tarea de observador separada. Una o más de estas tareas de observador se generan en el clúster y, a menudo, tienen la responsabilidad adicional de administrar la fase de recuperación de la aplicación. La ventaja de este enfoque es que el código de la aplicación puede permanecer más limpio. Tenga en cuenta que en el esquema de gerente / trabajador, el gerente a menudo asume el deber adicional como observador. Una segunda opción es que las tareas de la aplicación se vigilen entre sí.Un método común es hacer que cada tarea vea a su vecino en un anillo lógico. Así, cada tarea simplemente observa una o dos tareas más. Otro método común, pero no particularmente eficiente, es hacer que cada tarea vea todas las demás tareas. Recuerde que el sistema PVM está realizando el monitoreo, no las tareas de la aplicación. Por lo tanto, la sobrecarga de monitoreo es la misma con todas estas opciones. La diferencia es la cantidad de mensajes de notificación que se envían en caso de falla. La recuperación es el paso final en la creación de programas tolerantes a fallas. La recuperación depende en gran medida del tipo de algoritmo paralelo utilizado en la aplicación. Las opciones más utilizadas son el reinicio desde el principio, el retroceso al último punto de control o la reasignación del trabajo de una tarea fallida.