Lihat.co - Selama ini, interaksi kita dengan model bahasa besar (LLM) terasa seperti sebuah kotak hitam (black box). Kita memasukkan perintah (prompt), lalu teks jawaban langsung muncul seketika di layar. Namun, apa yang sebenarnya terjadi di antara kedua proses tersebut?
Sebuah laporan penelitian terbaru dari Anthropic berhasil membuka tabir komputasi internal AI. Mereka menemukan bahwa model AI mereka, Claude, memiliki mekanisme internal khusus yang berfungsi sebagai pusat koordinasi saat melakukan penalaran. Penemuan ini membantu para peneliti memahami proses yang terjadi di dalam “pikiran” model sebelum jawaban akhirnya ditampilkan kepada pengguna. Temuan ini dinilai sangat krusial karena menawarkan pendekatan baru untuk mengamati proses penalaran internal model AI yang selama ini tersembunyi di balik layar.
Di balik proses pembuatan teks yang kita lihat sehari-hari, sebuah model AI melakukan berbagai komputasi internal yang sangat rumit yang tidak pernah muncul dalam teks jawaban. Untuk mendeteksi hal ini, Anthropic memperkenalkan teknik interpretabilitas baru yang disebut Jacobian Lens. Teknik ini dirancang khusus untuk mengidentifikasi representasi internal yang berpotensi diungkapkan oleh model apabila ia diminta menjelaskan apa yang sedang dipikirkannya. Melalui teknik ini, peneliti menemukan sekumpulan representasi khusus yang mereka sebut J-space.
Setiap representasi di dalam J-space dihubungkan dengan konsep atau kata tertentu. Namun, kemunculan sebuah konsep di J-space bukan berarti model sedang mengeluarkan kata tersebut ke pengguna. Sebaliknya, ini menunjukkan konsep abstrak apa yang sedang digunakan model selama proses penalaran internalnya. Peneliti menegaskan bahwa J-space bukanlah chain of thought atau catatan langkah demi langkah yang ditulis model untuk dirinya sendiri. Aktivitas ini berlangsung sepenuhnya di dalam aktivasi jaringan saraf (neural network) tanpa pernah ditampilkan kepada pengguna.
Struktur J-space yang terisolasi ini seperti mencerminkan konsep klasik dalam ilmu saraf dan psikologi kognitif manusia yang dikenal sebagai Global Workspace Theory (GWT). Teori ini menjelaskan bahwa otak manusia bekerja seperti sebuah panggung teater: sebagian besar pemrosesan informasi terjadi di belakang panggung secara otomatis tanpa kita sadari, dan hanya sebagian kecil informasi terpilih yang maju ke depan panggung, yaitu “ruang kerja global”. Informasi di ruang kerja global inilah yang kemudian didistribusikan secara fleksibel ke berbagai bagian otak untuk bernalar, merencanakan tindakan, atau memformulasikan ucapan.
Secara mengejutkan, Anthropic menemukan bahwa sekumpulan representasi internal di dalam J-space Claude beroperasi dengan cara yang analog dengan depan panggung manusia tersebut. Representasi di dalam zona khusus ini menunjukkan karakteristik fungsional yang serupa dengan ruang kerja global; mereka dapat dilaporkan kembali ketika model diminta menjelaskan isi pikirannya, dapat dimodifikasi secara dinamis melalui instruksi baru, serta digunakan kembali di berbagai proses penalaran yang berbeda. Kendati memiliki kemiripan fungsional dengan GWT, para peneliti memberikan batasan tegas bahwa fenomena ini sama sekali tidak membuktikan model AI telah memiliki kesadaran. Peneliti tidak mengambil posisi mengenai apakah model AI memiliki pengalaman subjektif (phenomenal consciousness), melainkan hanya menunjukkan adanya kemiripan mekanisme komputasi, yang bukan berarti arsitektur transformer bekerja persis seperti jaringan biologis otak manusia.
Berdasarkan berbagai eksperimen yang dilakukan, Anthropic mengidentifikasi lima karakteristik utama yang dimiliki oleh J-space. Karakteristik pertama adalah dapat dijelaskan kembali (verbal report), di mana Claude mampu menyebutkan dengan akurat konsep-konsep yang sedang aktif di dalam J-space saat diminta mengungkapkan isi pikirannya. Karakteristik kedua adalah dapat dikendalikan (directed modulation), yang berarti model dapat mengaktifkan representasi tertentu melalui instruksi spesifik, seperti memikirkan suatu konsep tanpa langsung mengungkapkannya dalam bentuk teks. Ketiga, mekanisme ini berperan penting dalam penalaran internal (internal reasoning) karena langkah-langkah perhitungan atau proses berpikir yang diperlukan untuk menyelesaikan persoalan rumit akan muncul di dalam J-space terlebih dahulu sebelum hasil akhirnya diformulasikan menjadi jawaban. Karakteristik keempat adalah fleksibilitas tinggi (flexible generalization), di mana representasi yang sama dapat digunakan kembali dalam berbagai konteks yang berbeda dan untuk mendukung beragam jenis tugas kognitif tanpa terbatas pada satu fungsi saja. Terakhir, J-space bersifat selektif (selectivity) karena hanya sebagian kecil aktivitas model yang memanfaatkan mekanisme ini, sedangkan pemrosesan rutin seperti memahami tata bahasa atau menghasilkan kalimat yang lancar tetap berlangsung secara otomatis di luar J-space.
Salah satu temuan paling menarik dalam penelitian ini adalah bahwa J-space ternyata bukan komponen yang diperlukan untuk seluruh kemampuan model. Dalam eksperimen tertentu, peneliti mencoba menghambat penggunaan J-space pada Claude dan menemukan bahwa kemampuan dasarnya tetap aman. Claude masih mampu melakukan tugas dasar seperti memahami tata bahasa, menghasilkan kalimat yang lancar, dan mengingat fakta-fakta sederhana. Namun, kemampuan yang memerlukan penalaran bertahap, perencanaan strategis, atau penggabungan berbagai konsep yang rumit mengalami penurunan performa secara signifikan. Hal ini mengindikasikan bahwa J-space adalah sirkuit khusus yang dipertahankan oleh model bahasa sebagai pusat koordinasi untuk mendukung fungsi kognitif tingkat tinggi, bukan sekadar untuk pemrosesan bahasa sehari-hari.
Selain memahami mekanisme internal, Anthropic juga menunjukkan bahwa Jacobian Lens memiliki nilai aplikasi praktis yang sangat besar untuk mengamati konsep sebelum muncul dalam jawaban akhir. Dalam paper penelitiannya, teknik ini terbukti mampu mendeteksi aktivitas internal model saat mengenali wajah pada sebuah gambar, menemukan kesalahan (bug) dalam kode program, memahami fungsi biologis suatu protein dari urutan asam amino, hingga mendeteksi indikasi adanya upaya pembobolan sistem (prompt injection) ketika melakukan pencarian informasi. Informasi-informasi krusial ini tidak selalu dituliskan model dalam respons akhir, tetapi sudah hadir terlebih dahulu sebagai representasi internal selama proses komputasi berlangsung.
Kemampuan mengamati representasi internal ini membuka peluang baru dalam meningkatkan proses audit keamanan AI. Jacobian Lens mampu mengungkap representasi yang berkaitan dengan pertimbangan strategis, evaluasi keamanan, maupun reaksi internal model sebelum semuanya diterjemahkan menjadi jawaban akhir. Penelitian ini juga membandingkan model dasar (base model) dengan model yang telah melalui proses pelatihan lanjutan (post-training). Hasilnya menunjukkan bahwa setelah melalui pelatihan lanjutan, J-space lebih banyak memuat representasi yang mencerminkan perilaku asisten AI yang ideal, seperti perhatian terhadap keselamatan pengguna, rasa empati, serta pemantauan mandiri terhadap respons yang sedang disusun.
Lebih jauh lagi, riset ini memperkenalkan pendekatan baru bernama counterfactual reflection training. Teknik ini dirancang untuk membentuk kecenderungan model agar memunculkan prinsip-prinsip tertentu, seperti etika atau keselamatan, dalam representasi internalnya saat menghadapi situasi yang relevan. Pendekatan ini terbukti sukses meningkatkan perilaku aman pada model tanpa harus melatih seluruh respons akhirnya secara kaku.
Meskipun menjanjikan, para peneliti mengakui bahwa teknik Jacobian Lens belum sempurna dan belum mampu menangkap seluruh representasi internal model secara utuh. Saat ini, teknik tersebut baru efektif untuk mengidentifikasi konsep yang berkaitan dengan token tunggal atau kata tunggal dalam kosakata model. Konsep yang melibatkan beberapa token atau frasa yang lebih kompleks masih menjadi tantangan besar dan memerlukan pengembangan teknologi lebih lanjut. Oleh karena itu, Anthropic menyebut J-space sebagai pendekatan yang kemungkinan besar barulah gambaran parsial dari struktur kognitif internal AI yang sebenarnya. Namun, penelitian ini jelas telah membuka jalan baru yang revolusioner untuk memahami cara AI menalar, sekaligus menyediakan alat baru yang potensial untuk menjaga keamanan dan transparansi AI di masa depan.
Komentar