Komputasi paralel dan terdistribusi
Melakukan pekerjaan secara berurutan
- Sebagian besar program sederhana bersifat sekuen: mereka melakukan satu langkah, lalu langkah berikutnya, lalu langkah setelahnya.
- Komputer menyelesaikan langkah 1 sebelum memulai langkah 2.
- Ini mudah dipahami, tetapi bisa lambat untuk pekerjaan besar.
Sequential (one worker):
task A -> task B -> task C -> task D
|-------|--------|--------|--------|
total time = A + B + C + D
Komputasi paralel
- Komputasi paralel membagi pekerjaan agar beberapa bagian dapat berjalan secara bersamaan.
- Komputer modern memiliki beberapa prosesor (juga disebut inti) yang masing-masing dapat melakukan pekerjaan.
- Jika empat pekerja masing-masing mengambil satu tugas, empat tugas dapat selesai dalam waktu sekitar satu.
Parallel (four workers at once):
worker 1: task A
worker 2: task B
worker 3: task C
worker 4: task D
|--------|
total time ≈ the longest single task
Peningkatan Kecepatan
- Peningkatan kecepatan bertanya: berapa kali lebih cepat versi paralel?
- peningkatan kecepatan = (waktu berurutan) / (waktu paralel).
- Contoh: sebuah pekerjaan memakan waktu 8 detik secara berurutan, tetapi 2 detik jika dibagi. Peningkatan kecepatan = 8 / 2 = 4 kali.
Tidak Selalu N Kali Lebih Cepat
- Memiliki lebih banyak prosesor tidak selalu berarti N kali lebih cepat.
- Beberapa bagian dari pekerjaan tidak dapat dibagi—mereka harus terjadi secara berurutan.
- Selain itu, membagi pekerjaan dan menggabungkan kembali hasilnya memerlukan sedikit waktu tambahan.
Job = setup (must be in order) + main work (can split)
setup main work (split over 4)
|-----| |--------------------------------|
|--------| <- this part gets 4x
The setup part stays the same length.
Komputasi Terdistribusi
- Komputasi terdistribusi menggunakan banyak komputer terpisah yang bekerja sama melalui jaringan.
- Mereka mungkin berada di ruangan berbeda, kota berbeda, atau negara berbeda.
- Contoh: web (banyak server), pekerjaan data besar yang dibagi di atas ribuan mesin, dan proyek sains berskala besar.
Distributed (computers cooperate over a network):
[computer 1] [computer 2] [computer 3]
\ | /
\ | /
shared network / job
Each computer does part of the work.
Trade-off
- Kelebihan: sistem paralel dan terdistribusi bisa jauh lebih cepat, dan mampu menangani pekerjaan besar.
- Kekurangan: kode menjadi lebih kompleks; bagian-bagian harus dikoordinasikan; hasil harus digabungkan.
- Batasan: peningkatan kecepatan dibatasi oleh bagian yang tidak dapat dibagi, serta penundaan jaringan antar komputer.
Kata-kata kunci
- Berurutan: langkah-langkah berjalan satu demi satu, secara berurutan.
- Paralel: bagian-bagian berjalan bersamaan pada beberapa prosesor.
- Percepatan: waktu sekuensial dibagi dengan waktu paralel.
- Terdistribusi: banyak komputer terpisah bekerja sama melalui jaringan.
Kesalahan umum
- Percepatan paralel hanya membantu pekerjaan yang dapat dibagi menjadi bagian-bagian independen.
- Setiap prosesor tambahan menambah kecepatan semakin sedikit.
Sekarang Anda coba
- Terapkan rumus percepatan sebagai fungsi kecil.
- Modelkan tugas yang sebagian merupakan setup tetap dan sebagian adalah pekerjaan yang dapat dibagi. Tekan Cek jawaban.
Kesulitan 3/5 · 200 koin + bonus kecil pada penyelesaian pertama hari ini
Sebuah pekerjaan memiliki bagian setup yang harus berjalan secara berurutan, dan bagian splittable yang workers dapat dibagi secara bersamaan. Tulis parallel_time(setup, splittable, workers) yang mengembalikan waktu total: setup, ditambah bagian yang dapat dibagi di antara para pekerja. Contoh: parallel_time(2, 8, 4) → 4.0 (2 + 8/4).
Klik Jalankan untuk melihat output di sini.
Kesulitan 3/5 · 200 koin + bonus kecil pada penyelesaian pertama hari ini
Tulis speedup(sequential, parallel) yang mengembalikan berapa kali lebih cepat versi paralel: waktu sekuensial dibagi dengan waktu paralel. Contoh: speedup(8, 2) → 4.0.
Klik Jalankan untuk melihat output di sini.
Kesulitan 3/5 · 200 koin + bonus kecil pada penyelesaian pertama hari ini
Bahkan dengan pekerja tak terbatas, bagian setup tetap tidak dapat dibagi. Tulis max_speedup(setup, splittable) untuk pemanfaatan kecepatan terbaik: waktu seluruh pekerjaan dibagi dengan waktu setup (pekerja tak terbatas mengecilkan bagian yang dapat dibagi menjadi hampir nol, menyisakan hanya setup). Contoh: max_speedup(2, 6) → 4.0 ((2+6)/2).
Klik Jalankan untuk melihat output di sini.