- Desain 3D HBM-on-GPU mencapai rekor kepadatan komputasi untuk beban kerja AI yang menuntut
- Suhu puncak GPU melebihi 140°C tanpa strategi mitigasi termal
- Mengurangi separuh kecepatan jam GPU mengurangi suhu tetapi memperlambat pelatihan AI sebesar 28%
Imec mempresentasikan pengujian desain 3D HBM-on-GPU yang bertujuan untuk meningkatkan kepadatan komputasi untuk beban kerja AI yang menuntut pada IEEE International Electron Device Meeting (IEDM) 2025.
Pendekatan kooptimasi teknologi sistem termal menempatkan empat tumpukan memori bandwidth tinggi langsung di atas GPU melalui koneksi microbump.
Setiap tumpukan terdiri dari dua belas cetakan DRAM berikatan hibrid, dan pendinginan diterapkan di atas HBM.
Upaya pengurangan suhu dan trade-off kinerja
Solusi ini menerapkan peta daya yang berasal dari beban kerja yang relevan dengan industri untuk menguji bagaimana konfigurasi merespons dalam skenario pelatihan AI yang realistis.
Susunan 3D ini menjanjikan lompatan dalam kepadatan komputasi dan memori per GPU.
Ia juga menawarkan bandwidth memori GPU yang lebih tinggi dibandingkan dengan integrasi 2.5D, di mana tumpukan HBM berada di sekitar GPU pada interposer silikon.
Namun, simulasi termal mengungkapkan tantangan serius untuk desain 3D HBM-on-GPU.
Tanpa pembatasan, suhu puncak GPU mencapai 141,7°C, jauh di atas batas operasional, sedangkan suhu dasar 2.5D mencapai puncaknya pada 69,1°C dalam kondisi pendinginan yang sama.
Imec mengeksplorasi strategi tingkat teknologi seperti fusi tumpukan HBM dan optimalisasi silikon termal.
Strategi tingkat sistem mencakup pendinginan dua sisi dan penskalaan frekuensi GPU.
Mengurangi kecepatan jam GPU sebesar 50% mengurangi suhu puncak di bawah 100°C, tetapi perubahan ini memperlambat beban kerja pelatihan AI.
Terlepas dari keterbatasan ini, Imec berpendapat bahwa struktur 3D dapat memberikan kepadatan dan kinerja komputasi yang lebih tinggi dibandingkan desain referensi 2.5D.
“Memiliki frekuensi inti GPU menurunkan suhu puncak dari 120°C menjadi di bawah 100°C, mencapai tujuan utama untuk pengoperasian memori. Namun langkah ini disertai dengan penalti beban kerja sebesar 28%…” kata James Myers, Direktur Program Teknologi Sistem di Imec.
“…paket keseluruhan mengungguli baseline 2.5D karena kepadatan throughput lebih tinggi yang ditawarkan oleh konfigurasi 3D. Saat ini kami menggunakan pendekatan ini untuk mempelajari konfigurasi GPU dan HBM lainnya…”
Organisasi tersebut berpendapat bahwa pendekatan ini dapat mendukung perangkat keras yang tahan panas untuk alat AI di pusat data yang padat.
Imec menyajikan karya ini sebagai bagian dari upaya yang lebih luas untuk menghubungkan keputusan teknologi dengan perilaku sistem.
Hal ini termasuk program Co-Optimization Lintas Teknologi (XTCO) yang diluncurkan pada tahun 2025, yang menggabungkan pola pikir STCO dan DTCO untuk menyelaraskan peta jalan teknologi dengan tantangan penskalaan sistem.
Imec mengatakan XTCO memungkinkan pemecahan masalah kolaboratif untuk hambatan kritis dalam ekosistem semikonduktor, termasuk perusahaan fables dan sistem.
Namun, teknik tersebut kemungkinan besar akan terbatas pada fasilitas khusus dengan daya dan anggaran termal yang terkendali.
melalui TeknologiPowerUp
Ikuti TechRadar di Google Berita Dan Tambahkan kami sebagai sumber daya pilihan Untuk mendapatkan berita, ulasan, dan opini pakar kami di feed Anda. Pastikan untuk mengklik tombol ikuti!
Dan tentu saja Anda juga bisa Ikuti TechRadar di TikTok Dapatkan berita, review, unboxing dalam bentuk video, dan update rutin dari kami Ada apa Juga
