Parallel and Distributed Computing
Introduit| English | Sens |
|---|---|
| sequential computing/siːˈkwenʃl kəmˈpjuːtɪŋ/ | sequential computing : calcul séquentiel |
| Parallel computing/ˈpærəlel kəmˈpjuːtɪŋ/ | Parallel computing : calcul parallèle |
| processors/ˈprəʊsesəz/ | processors : processeurs |
| Distributed computing/ˈdɪstrɪbjuːtɪd kəmˈpjuːtɪŋ/ | Distributed computing : calcul distribué |
| speedup/ˈspiːdʌp/ | speedup : gain en vitesse |
Un pas à la fois
- Traditionnellement, un ordinateur exécute les étapes les unes après les autres.
- Il s'agit de calcul séquentiel : chaque étape doit se terminer avant que la suivante ne commence.
- C'est simple, mais cela peut être lent pour les gros travaux.
- Pour aller plus vite, nous pouvons effectuer plusieurs étapes en même temps.
In sequential computing:
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
One step at a time, in order.
Parallèle et distribué
- Le calcul parallèle utilise plusieurs processeurs dans une même machine pour exécuter des parties d'une tâche en même temps.
- Le calcul distribué répartit une tâche sur de nombreux ordinateurs distincts, souvent situés à différents endroits, connectés par un réseau.
- Parallèle = plusieurs processeurs, une machine. Distribué = plusieurs machines.
- Les deux visent à terminer une grande tâche plus vite.

calcul parallèle : de nombreux processeurs travaillent en même temps
Sequential, parallel, or distributed?
Sequential runs one step at a time; parallel uses several processors in one machine at once; distributed spreads a task across many separate computers.
Match each term to its meaning.
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
Parallel is one machine; distributed is many machines.
Accélération et sa limite
- L'avantage du calcul parallèle se mesure par l'accélération :
- $\text{speedup} = \dfrac{\text{time using one processor}}{\text{time using several processors}}$.
- Mais toute partie qui doit s'exécuter en séquentiel ne peut pas être accélérée en ajoutant des processeurs.
- Donc la portion séquentielle fixe un plancher — un plafond dur sur l'accélération totale.
A task takes 100 s on one processor and 40 s on several. What is the speedup?
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
speedup = 100 / 40 = 2.5×.
If 20 s of a 100 s task must run sequentially, what is the maximum possible speedup?
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
Even with infinite processors, 20 s remains: 100 / 20 = 5×.
Why can adding more processors never remove the speedup cap?
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
The sequential portion sets a floor on the total time.
Distributed computing is only useful for small jobs that fit on one machine.
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
False. Distributed computing suits huge jobs too big for one machine, such as indexing the web, by splitting the work across many computers.
Quand le distrib brille
- Les solutions distribuées brillent sur des tâches énormes — d'immenses ensembles de données, ou un moteur de recherche indexant tout le web.
- Le travail est trop important pour une seule machine et se divise naturellement sur des milliers de machines.
Accélération avec un plafond. Une tâche de 100 secondes a 80 s parallèles et 20 s séquentiels. Sur 4 processeurs, la partie parallèle est $80 / 4 = 20$ s, plus 20 s séquentiels = 40 s. Accélération $= 100 / 40 = 2.5\times$. Même avec un million de processeurs, les 20 s séquentiels restent, donc l'accélération ne peut jamais dépasser $100 / 20 = 5$.
Le calcul séquentiel exécute une étape à la fois. Le calcul parallèle utilise plusieurs processeurs dans une machine en même temps ; le calcul distribué répartit le travail sur de nombreuses machines. Le gain parallèle est mesuré comme accélération (temps d'un processeur ÷ temps de plusieurs processeurs), mais la partie séquentielle l'encadre (ici, 5×).