Revolusi Rekayasa AI: Dari Transformer ke Pertarungan Seratus Model

Bulan lalu, dunia AI meledak dengan "Perang Hewan". Di satu sisi adalah seri model Llama yang diluncurkan oleh Meta, yang sangat disukai oleh para pengembang karena sifat open-source-nya. Di sisi lain adalah model besar bernama Falcon yang dikembangkan oleh Institut Penelitian Inovasi Teknologi Uni Emirat Arab. Kedua model ini saling bergantian menduduki peringkat dalam daftar LLM open-source.

Menariknya, tujuan Uni Emirat Arab dalam berpartisipasi dalam kompetisi AI adalah "menggulingkan pemain inti". Tak lama kemudian, Menteri AI Uni Emirat Arab terpilih sebagai salah satu dari "100 Orang Paling Berpengaruh di Bidang AI" menurut majalah Time.

Saat ini, bidang AI telah memasuki tahap "seratus keluarga bersaing". Banyak negara dan perusahaan sedang mengembangkan model bahasa besar mereka sendiri. Hanya di kawasan Teluk, sudah ada lebih dari satu pemain yang terjun ke dalamnya. Fenomena ini memicu beberapa orang dalam industri merasa heran, menganggap bahwa bahkan di bidang teknologi keras juga muncul situasi "pertempuran seratus model".

Transformer Menghancurkan Dunia

Perkembangan pesat model besar saat ini berkat publikasi makalah "Attention Is All You Need" pada tahun 2017. Algoritma Transformer yang diajukan dalam makalah tersebut menjadi katalisator gelombang AI kali ini.

Sebelum munculnya Transformer, "mengajarkan mesin untuk membaca" adalah tantangan akademis yang diakui. Jaringan saraf awal kesulitan memahami konteks. Pada tahun 2014, kemunculan jaringan saraf berulang (RNN) sebagian menyelesaikan masalah ini, tetapi sifat perhitungan urutannya membatasi kemampuannya untuk memproses data dalam skala besar.

Transformer melalui inovasi seperti pengkodean posisi dan perhitungan paralel, tidak hanya meningkatkan efisiensi pelatihan, tetapi juga memperkuat kemampuan untuk memahami konteks. Ini mengalihkan AI dari penelitian teori ke praktik rekayasa, membuka jalan untuk era model besar.

Dengan meningkatnya popularitas Transformer, laju inovasi algoritma dasar melambat, dan elemen-elemen rekayasa seperti rekayasa data dan skala komputasi menjadi kunci dalam kompetisi AI. Ini juga memungkinkan perusahaan yang memiliki kekuatan teknis tertentu untuk mencoba mengembangkan model besar.

Benteng yang Dibangun di Atas Kaca

Saat ini, "Perang Model Besar" telah menjadi kenyataan. Menurut laporan, hingga Juli tahun ini, jumlah model besar di Tiongkok telah mencapai 130, melebihi 114 di Amerika Serikat. Selain Tiongkok dan Amerika, negara-negara seperti Jepang, India, dan Korea Selatan juga telah meluncurkan model besar lokal mereka.

Namun, kemudahan untuk masuk tidak berarti semua orang dapat menjadi raksasa di era AI. Mengambil kompetisi antara Falcon dan Llama sebagai contoh, meskipun Falcon unggul dalam beberapa peringkat, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta. Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan inti. Meta, dengan gen media sosial dan strategi sumber terbukanya, memiliki keunggulan dalam hal ini.

Selain itu, sebagian besar model besar masih memiliki perbedaan yang jelas dalam kinerja dibandingkan dengan GPT-4. Dalam pengujian AgentBench terbaru, GPT-4 mencetak skor 4,41 yang jauh di depan, sementara Claude di posisi kedua hanya mencetak 2,77, dan sebagian besar model sumber terbuka hanya mencetak sekitar 1.

Perbedaan ini berasal dari tim ilmuwan berlevel tinggi yang dimiliki oleh perusahaan AI terkemuka dan pengalaman yang terakumulasi selama bertahun-tahun. Oleh karena itu, inti kompetisi model besar mungkin terletak pada pembangunan ekosistem ( jalur sumber terbuka ) atau kemampuan inferensi murni ( jalur tertutup ).

Titik Pijakan Nilai

Meskipun gelombang AI sedang melanda, saat ini tidak banyak perusahaan yang dapat meraih keuntungan dari situ. Biaya komputasi yang tinggi menjadi salah satu hambatan dalam perkembangan industri. Diperkirakan, pengeluaran perusahaan teknologi global untuk infrastruktur model besar dapat mencapai 200 miliar dolar AS per tahun, sementara pendapatan yang dihasilkan oleh model besar hanya mencapai 75 miliar dolar AS, sehingga terdapat celah yang besar.

Bahkan perusahaan-perusahaan terkemuka di industri seperti Microsoft dan Adobe juga menghadapi tantangan dalam penetapan harga layanan AI dan pengendalian biaya. Untuk sebagian besar model besar dengan banyak parameter, skenario aplikasi utama tetap berada pada fungsi chatting.

Dengan semakin meningkatnya persaingan homogen dan penyebaran model sumber terbuka, model bisnis yang hanya bergantung pada penyediaan layanan model besar mungkin menghadapi tekanan yang lebih besar. Di masa depan, nilai sebenarnya dari teknologi AI mungkin lebih terlihat dalam aplikasi konkret dan kemampuan untuk menyelesaikan masalah nyata.