Parallel and distributed computing · الحوسبة المتوازية والموزعة
Doing work in order
- Most simple programs are sequential: they do one step, then the next, then the next.
- The computer finishes step 1 before it starts step 2.
- This is easy to understand, but it can be slow for big jobs.
إنجاز العمل بنظام متسلسل
- معظم البرامج البسيطة تكون متسلسلة: تقوم بخطوة واحدة، ثم التالية، ثم التالية.
- يكمل الكمبيوتر الخطوة 1 قبل بدء الخطوة 2.
- هذا سهل الفهم، ولكنه قد يكون بطيئاً للمهام الكبيرة.
Sequential (one worker):
task A -> task B -> task C -> task D
|-------|--------|--------|--------|
total time = A + B + C + D
Parallel computing
- Parallel computing splits work so several parts run at the same time.
- A modern computer has several processors (also called cores) that can each do work.
- If four workers each take one task, four tasks can finish in about the time of one.
الحوسبة المتوازية
- الحوسبة المتوازية تقسم العمل ليعمل عدة أجزاء في نفس الوقت.
- يحتوي الكمبيوتر الحديث على عدة معالجات (تُعرف أيضاً بالنوى) يمكن لكل منها أداء عمل.
- إذا أخذ أربعة عمال كل منهم مهمة واحدة، يمكن إنهاء أربع مهام في حوالي نفس وقت إكمال واحدة.
Parallel (four workers at once):
worker 1: task A
worker 2: task B
worker 3: task C
worker 4: task D
|--------|
total time ≈ the longest single task
Speedup
- Speedup asks: how many times faster is the parallel version?
- speedup = (sequential time) / (parallel time).
- Example: a job takes 8 seconds in order, but 2 seconds split up. Speedup = 8 / 2 = 4 times.
نسبة التسريع
- نسبة التسريع تطرح: كم مرة أسرع هي النسخة المتوازية؟
- نسبة التسريع = (الزمن المتسلسل) / (الزمن المتوازي).
- مثال: تأخذ المهمة 8 ثوانٍ بنظام متسلسل، لكن 2 ثانية عند توزيعها. نسبة التسريع = 8 / 2 = 4 مرات.
Not always N times faster
- More processors does not always mean N times faster.
- Some parts of a job cannot be split — they must happen in order.
- Also, splitting work and joining results back together takes some extra time.
ليست دائماً N مرة أسرع
- زيادة عدد المعالجات لا تعني بالضرورة أن السرعة ستزيد N مرة.
- بعض أجزاء المهمة لا يمكن تقسيمها — بل يجب أن تحدث بشكل متسلسل.
- بالإضافة إلى ذلك، يستغرق تقسيم العمل ودمج النتائج معاً بعض الوقت الإضافي.
Job = setup (must be in order) + main work (can split)
setup main work (split over 4)
|-----| |--------------------------------|
|--------| <- this part gets 4x
The setup part stays the same length.
Distributed computing
- Distributed computing uses many separate computers that cooperate over a network.
- They may sit in different rooms, cities, or countries.
- Examples: the web (many servers), big data jobs split over thousands of machines, and large science projects.
الحوسبة الموزعة
- الحوسبة الموزعة تستخدم عدة أجهزة كمبيوتر مستقلة تتعاون عبر شبكة.
- قد تقع هذه الأجهزة في غرف مختلفة، أو مدن، أو دول.
- أمثلة: الويب (خوادم عديدة)، ومهام البيانات الضخمة المقسمة على آلاف الآلات، والمشاريع العلمية الكبيرة.
Distributed (computers cooperate over a network):
[computer 1] [computer 2] [computer 3]
\ | /
\ | /
shared network / job
Each computer does part of the work.
Trade-offs
- Good: parallel and distributed systems can be much faster, and can handle huge jobs.
- Harder: the code is more complex; parts must be coordinated; results must be combined.
- Limits: speedup is capped by the parts that cannot be split, and by network delays between computers.
مقايضات
- الإيجابيات: يمكن أن تكون الأنظمة المتوازية والموزعة أسرع بكثير،并能 handling巨大任务。
- الصعوبات: الكود أكثر تعقيداً؛ يجب تنسيق الأجزاء؛ يجب دمج النتائج.
- الحدود: يتم تقييد نسبة التسريع بالأجزاء التي لا يمكن تقسيمها، وبأوقات تأخير الشبكة بين الأجهزة.
Key words
- Sequential: steps run one after another, in order.
- Parallel: parts run at the same time on several processors.
- Speedup: sequential time divided by parallel time.
- Distributed: many separate computers cooperate over a network.
كلمات رئيسية
- متسلسل: الخطوات تعمل واحدة تلو الأخرى، بنظام صحيح.
- متوازي: الأجزاء تعمل في نفس الوقت على عدة معالجات.
- نسبة التسريع: الزمن المتسلسل مقسوماً على الزمن المتوازي.
- موزع: عدة أجهزة كمبيوتر مستقلة تتعاون عبر شبكة.
Common mistakes
- Parallel speed-up only helps work that can be split into independent parts.
- Each extra processor adds less and less speed.
أخطاء شائعة
- يساعد التسريع المتوازي فقط في العمل الذي يمكن تقسيمه إلى أجزاء مستقلة.
- يضيف كل معالج إضافي سرعة أقل فأقل.
Now you try
- Put the speedup formulas to work as small functions.
- Model a job that is part fixed setup and part splittable work. Press Check answer.
الآن جرب بنفسك
- طبّق صيغ نسبة التسريع كدوال صغيرة.
- نمذج مهمة تتكون من جزء إعداد ثابت وجزء عمل قابل للتقسيم. اضغط على تحقق من الإجابة.
A job has a setup part that must run in order, and a splittable part that workers can share at the same time. Write parallel_time(setup, splittable, workers) that returns the total time: the setup, plus the splittable part divided among the workers. Example: parallel_time(2, 8, 4) → 4.0 (2 + 8/4). · المهمة لها جزء setup يجب أن يعمل بالترتيب، وجزء splittable يمكن لـ workers مشاركته في نفس الوقت. اكتب parallel_time(setup, splittable, workers) تُرجع الوقت الكلي: الإعداد، زائد الجزء القابل للتقسيم مقسوماً على العمال. مثال: parallel_time(2, 8, 4) → 4.0 (2 + 8/4).
Click Run to see the output here. · اضغط تشغيل لرؤية المخرجات هنا.
Write speedup(sequential, parallel) that returns how many times faster the parallel version is: the sequential time divided by the parallel time. Example: speedup(8, 2) → 4.0. · اكتب speedup(sequential, parallel) تُرجع كم مرة أسرع النسخة المتوازية: الوقت التسلسلي مقسوماً على الوقت المتوازي. مثال: speedup(8, 2) → 4.0.
Click Run to see the output here. · اضغط تشغيل لرؤية المخرجات هنا.
Even with unlimited workers, the setup part still cannot be split. Write max_speedup(setup, splittable) for the best possible speedup: the whole job time divided by the setup time (endless workers shrink the splittable part to almost nothing, leaving only the setup). Example: max_speedup(2, 6) → 4.0 ((2+6)/2). · حتى مع وجود عمال غير محدودين، لا يمكن تقسيم جزء setup. اكتب max_speedup(setup, splittable) لأفضل سرعة ممكنة: وقت المهمة الكلي مقسوماً على وقت الإعداد (العمال اللانهائيون يصغرون الجزء القابل للتقسيم تقريباً إلى الصفر، تاركين فقط الإعداد). مثال: max_speedup(2, 6) → 4.0 ((2+6)/2).
Click Run to see the output here. · اضغط تشغيل لرؤية المخرجات هنا.