Gunakan Page-locked Memory

Mentransfer page-locked memory dapat mempersingkat kecepatan transfer memori secara signifikan. Pada GPU GeForce 8600M GT, mentransfer 32MB data memakan waktu 300 ms (page-free memory) vs 26 ms (page-locked memory). Dengan kata lain, kecepatan transfer memori meningkat ~14x lipat.

Hal yang perlu diperhatikan adalah menggunakan page-locked memory dapat menurunkan performa sistem. Namun untuk data yang berukuran kecil pada sistem dengan memori besar, sepertinya tidak ada masalah. Bahkan untuk Tesla C1060 dengan memori 4GB, sepertinya tidak ada masalah apabila memori sebesar itu di-page lock pada sistem dengan RAM 16GB.

Untuk melakukan page-lock, gunakan fungsi CudaMallocHost() sebagai ganti malloc() dan CudaFreeHost() sebagai ganti free().

Gunakan GPU yang Lebih Cepat

GPU yang lebih cepat memiliki waktu transfer memori yang lebih singkat pula. Sebagai contoh perbandingan GPU Laptop GeForce 8600M GT dengan GPU Desktop GeForce 8800 GTX dalam mentransfer data sebesar 32MB. Transfer memori host -> device adalah 600 MB/s vs 1,3 GB/s. Transfer memori device -> host adalah 400 MB/s vs 1,3 GB/s. Transfer memori device->device adalah 11 GB/s vs 70 GB/s. Oleh karena itu, apabila mungkin gunakan GPU terbaik yang anda miliki.

Lakukan Transfer Memori Sekali

Sebisa mungkin, lakukan transfer memori sekali saja karena transfer memori itu “boros waktu”. Contohnya, apabila melakukan copy sebuah list dari CPU ke GPU, lebih baik menuliskan elemen listnya dalam sebuah array, lalu melakukan copy satu kali, dibandingkan melakukan copy elemen list berkali-kali.

Demikian pojok CUDA kali ini, happy programming dan jangan lupa koreksinya! ^^

Background
GPU mengalami peningkatan performa yang luar biasa. Floating Point Operations per Second (FLOPS)-nya tumbuh 1,5x lebih cepat dibanding hukum Moore. Hari ini, sebuah 8800GTX memiliki peak performance sebesar 300 GFLOPS, 6x lebih besar dibandingkan prosesor Core 2 Duo dengan harga yang sama. Tergiur dengan besarnya performa yang ditawarkan dibanding harga yang harus dikeluarkan (FLOPS / $), para peneliti mulai mencari cara untuk mengakselerasi komputasi dengan memindahkan eksekusi program dari CPU ke GPU.

Gambar 1: Sebuah 8800 GTX. Need a beefy power supply to run.

Persamaan CPU dan GPU
Kalau sekarang ya sama-sama multi-core, sehingga bisa dipakai untuk pemrograman paralel.

Gambar 2: Sebuah Core 2 Duo. Kelihatan ada dua prosesor kan?

Perbedaan CPU dan GPU

1. Jumlah core-nya. CPU itu (yang banyak beredar) baru dual core atau quad core, sedangkan GPU sekarang udah 48 core (ATI X1950XTX) atau 128 core (nVidia 8800 GTX)
2. CPU itu setiap core-nya bisa ngejalanin program yang berbeda. Sedangkan GPU, walau punya banyak core, hanya dapat menjalankan program yang sama.
3. Paradigma pemrograman paralel pada CPU dan GPU berbeda. CPU menggunakan instruction-based parallel programming, sedangkan GPU menggunakan data-based parallel programming.

Gambar 3: Arsitektur 8800GTX. Yang warna ijo itu prosesornya. Banyak kan?

Conclusion

1. Saya melihat ada persamaan antara processing unit dan jenis kelamin (what??). CPU itu lebih bersifat “wanita”, karena ia bisa mengerjakan jenis pekerjaan yang berbeda dalam satu waktu. Sementara GPU lebih bersifat “pria”, karena ia hanya dapat mengerjakan satu jenis pekerjaan dalam satu waktu (meskipun jauh lebih cepat dari CPU).
2. Walaupun kapasitas GPU untuk mengerjakan sesuatu sebagai “pria” jauh lebih tinggi daripada CPU, tetap saja CPU dibutuhkan untuk mengontrol GPU. Ini membenarkan ungkapan “wanita dijajah pria…”

Further Work
Hmm, apa ya?

1. Melanjutkan eksplorasi lebih jauh.
2. Mengirimkan saran kepada ahli bahasa Arab, Jerman, Prancis dll, bahwa jenis kelamin CPU adalah “wanita” dan jenis kelamin GPU adalah “pria”. Bahasa-bahasa tersebut kan semua kata bendanya punya jenis kelamin, iya tidak?
3. Mengkaji lagi definisi “pria” dan “wanita”. Populernya konfigurasi SLI dan Crossfire (2 GPU dipasangkan dengan 1 CPU dalam satu motherboard yang sama untuk meningkatkan performa) berbahaya, karena bisa ditafsirkan “2 pria dan 1 wanita dalam rumah yang sama untuk meningkatkan performa”, hiii…

   
   Gambar 4: Inilah konfigurasi SLI yang bermasalah itu. Lihat bahwa ada 2 GPU, dan 1 CPU dalam 1 mainboard.

    

   
   Gambar 5: OMG, Quad-SLI! Definisi pria-wanita untuk GPU dan CPU benar2 harus dikaji lagi.

Nggak worthed banget ya hasil eksplorasinya? Maklum lagi bersimbah error dari pagi ampe sore, udah meracau pun nggak tau lagi mesti gimana…