EleutherAI

EleutherAI (/əˈluːθər/) adalah sebuah lembaga penelitian kecerdasan buatan nirlaba. Kelompok yang dianggap sebagai versi sumber terbuka dari OpenAI ini, terbentuk dalam sebuah peladen Discord untuk memulai program replikasi GPT-3. Pada awal 2023, kelompok ini secara formal berdiri sebagai EleutherAI Foundation, sebuah lembaga penelitian nirlaba.

EleutherAI
URL	https://www.eleuther.ai/
Tipe	perangkat lunak sumber terbuka dan organisasi nirlaba
Subjek utama	kecerdasan buatan
Berdiri sejak	25 Januari 2023
Negara	Amerika Serikat

Sejarah

EleutherAI berawal dari sebuah peladen di Discord pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut, nama ini merujuk pada eleutheria, sebuah istilah bahasa Yunani kuno untuk libertas.

Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih model bahasa besar. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021. Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami." Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia. Kumpulan model bahasa tersebut dirilis di bawah lisensi Apache 2.0 dan dianggap telah "menyalakan gelombang perusahaan rintisan yang benar-benar baru".

Sebuah karya seni kecerdasan buatan yang dibuat dengan CLIP-Guided Diffusion, sebuah model teks-ke-gambar yang dikembangkan oleh Katherine Crowson dari EleutherAI

Setelah dirilisnya DALL-E oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model sintesis teks-ke-gambar. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan seniman digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar. Dengan pijakan ide dari Google DeepDream, mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP. Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik dimana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus. Karya ini dianggap oleh Direktur Utama Stability AI Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.

Penelitian

Menurut situs web mereka, EleutherAI adalah sebuah perkumpulan kolektif yang terdiri dari peneliti sukarelawan, insinyur, dan pengembang yang berfokus pada pengendalian kecerdasan buatan, penskalaan, dan penelitian kecerdasan buatan dengan sumber terbuka". Walaupun mereka tidak menjual teknologi mereka sebagai produk, mereka mempublikasikan hasil penelitian mereka dalam ranah akademis, menulis postingan blog mengenai ide dan metodologi mereka, dan menyediakan model terlatih untuk siapapun secara gratis. 

The Pile

The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo namun kumpulan data juga digunakan untuk melatih model lainnya, seperti Microsoft Megatron-Turing Natural Language Generation, Meta AI Open Pre-trained Transformers, LLaMA, dan Galactica, Stanford University BioMedLM 2.7B, Beijing Academy of Artificial Intelligence Chinese-Transformer-XL, dan Yandex YaLM 100B. Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.

Model-model GPT

Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3. Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.

• GPT-Neo (125JT, 1.3M, 2.7M): dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.

• GPT-J (6M): dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.

• GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.

Walaupun mayoritas dari model bahasa besar dilatih dalam bahasa Inggris ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.

Tanggapan publik

Pujian

Pekerjaan EleutherAI untuk mendemokratisasi GPT-3 telah mendapatkan banyak pujian dari sejumlah pegiat sumber terbuka. Mereka memenangi UNESCO Netexplo Global Innovation Award pada 2021, InfoWorld Best of Open Source Software Award pada 2021 pada 2022, dan dinominasikan untuk VentureBeat AI Innovation Award pada 2021.

Gary Marcus, seorang peneliti kognitif dan pengkritik badan usaha pemelajaran dalam seperti OpenAI dan DeepMind, berulang kali memuji dedikasi EleutherAI terhadap penelitian sumber terbuka dan transparan.

Maximilian Gahntz, seorang peneliti kebijakan senior di Mozilla Foundation, memuji upaya EleutherAI dalam memberikan kemampuan bagi para peneliti untuk melakukan audit dan mengukur teknologi kecerdasan buatan. "Jika model-model bersifat terbuka dan jika kumpulan data bersifat terbuka, ini akan memungkinkan lebih banyak penelitian kritis yang menunjukan banyaknya kekurangan dan kekacauan yang berkaitan dengan kecerdasan buatan generatif dan itu seringkali lebih sulit untuk dilakukan."

Kritikan

Jurnalis teknologi Kyle Wiggers menyampaikan kekhawatiran mengenai apakah EleutherAI benar-benar independen seperti klaim mereka, atau "keterlibatan ventura komersil seperti Stability AI dan Hugging Face — keduanya dibekingi oleh modal ventura yang cukup besar — mungkin mempengaruhi penelitian EleutherAI."

Referensi

1. "Talk with Stella Biderman on The Pile, GPT-Neo and MTG". The Interference Podcast. 2021-04-02. Diakses tanggal 2023-03-26. 
2. Smith, Craig (2022-03-21). "EleutherAI: When OpenAI Isn't Open Enough". IEEE Spectrum. IEEE. Diakses tanggal 2023-08-08.  Kesalahan pengutipan: Tanda <ref> tidak sah; nama "openai-not-enough" didefinisikan berulang dengan isi berbeda
3. Wiggers, Kyle (2023-03-02). "Stability AI, Hugging Face and Canva back new AI research nonprofit". TechCrunch (dalam bahasa Inggris). Diakses tanggal 2023-08-08.  Kesalahan pengutipan: Tanda <ref> tidak sah; nama ":0" didefinisikan berulang dengan isi berbeda
4. Leahy, Connor; Hallahan, Eric; Gao, Leo; Biderman, Stella (2021-07-07). "What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective". EleutherAI Blog (dalam bahasa Inggris). Diakses tanggal 2023-04-14. 
5. "GPT-3's free alternative GPT-Neo is something to be excited about". VentureBeat (dalam bahasa Inggris). 2021-05-15. Diakses tanggal 2023-04-14. 
6. Leahy, Connor; Hallahan, Eric; Gao, Leo; Biderman, Stella (2021-07-07). "What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective". 
7. . www.forefront.ai. Diarsipkan dari versi asli tanggal 9 March 2023. Diakses tanggal 2023-03-01.  Parameter |url-status= yang tidak diketahui akan diabaikan (bantuan)
8. "CLIP-Guided Diffusion". EleutherAI (dalam bahasa Inggris). Diakses tanggal 2023-08-20. 
9. "CLIP Guided Diffusion HQ 256x256.ipynb - Colaboratory". Google Colab (dalam bahasa Inggris). Diakses tanggal 2023-08-20. 
10. MIRANDA, LJ. "The Illustrated VQGAN". ljvmiranda921.github.io. Diakses tanggal 8 March 2023. 
11. "Inside The World of Uncanny AI Twitter Art". Nylon. Diakses tanggal 8 March 2023. 
12. "This AI Turns Movie Text Descriptions Into Abstract Posters". Yahoo Life. Diakses tanggal 8 March 2023. 
13. Quach, Katyanna. "A man spent a year in jail on a murder charge involving disputed AI evidence. Now the case has been dropped". www.theregister.com. Diakses tanggal 8 March 2023. 
14. "Alien Dreams: An Emerging Art Scene - ML@B Blog". Alien Dreams: An Emerging Art Scene - ML@B Blog. Diakses tanggal 8 March 2023. 
15. "VQGAN-CLIP". EleutherAI (dalam bahasa Inggris). Diakses tanggal 2023-08-20. 
16. "We asked an AI tool to 'paint' images of Australia. Critics say they're good enough to sell". 14 July 2021. Diakses tanggal 8 March 2023. 
17. Nataraj, Poornima (28 February 2022). "Online tools to create mind-blowing AI art". Analytics India Magazine. Diakses tanggal 8 March 2023. 
18. "Meet the Woman Making Viral Portraits of Mental Health on TikTok". www.vice.com. Diakses tanggal 8 March 2023. 
19. "EleutherAI Website". EleutherAI. Diakses tanggal 1 July 2021. 
20. "Microsoft and Nvidia team up to train one of the world's largest language models". 11 October 2021. Diakses tanggal 8 March 2023. 
21. "AI: Megatron the Transformer, and its related language models". 24 September 2021. Diakses tanggal 8 March 2023. 
22. "Model Card for BioMedLM 2.7B". huggingface.co. Diakses tanggal 5 June 2023. 
23. Yuan, Sha; Zhao, Hanyu; Du, Zhengxiao; Ding, Ming; Liu, Xiao; Cen, Yukuo; Zou, Xu; Yang, Zhilin; Tang, Jie (1 January 2021). "WuDaoCorpora: A super large-scale Chinese corpora for pre-training language models". AI Open. 2: 65–68. doi:10.1016/j.aiopen.2021.06.001. Diakses tanggal 8 March 2023. 
24. Grabovskiy. (Siaran pers). Yandex.  Tidak memiliki atau tanpa |title= (bantuan); Parameter |access-date= membutuhkan |url= (bantuan)
25. Khan, Mehtab; Hanna, Alex (13 September 2022). "The Subjects and Stages of AI Dataset Development: A Framework for Dataset Accountability". SSRN 4217148  Periksa nilai |ssrn= (bantuan). Diakses tanggal 8 March 2023. 
26. "GPT-3's free alternative GPT-Neo is something to be excited about". 15 May 2021. 
27. Andonian, Alex; Biderman, Stella; Black, Sid; Gali, Preetham; Gao, Leo; Hallahan, Eric; Levy-Kramer, Josh; Leahy, Connor; Nestler, Lucas (13 August 2021). "GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch". 
28. "EleutherAI/gpt-j-6B · Hugging Face". huggingface.co. 
29. "ChatGPT Demo". Diakses tanggal 11 Oktober 2023. 
30. . www.forefront.ai. Diarsipkan dari versi asli tanggal 9 March 2023. Diakses tanggal 1 March 2023.  Parameter |url-status= yang tidak diketahui akan diabaikan (bantuan)
31. ""한국어기반 AI소스 공개합니다 마음껏 쓰세요"". 매일경제. 31 October 2022. 
32. "Request Rejected". Diakses tanggal 8 March 2023. 
33. Yegulalp, James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Matthew Tyson and Serdar (18 October 2021). "The best open source software of 2021". InfoWorld. Diakses tanggal 8 March 2023. 
34. Yegulalp, James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Isaac Sacolick, Matthew Tyson and Serdar (17 October 2022). "The best open source software of 2022". InfoWorld. Diakses tanggal 8 March 2023. 
35. "VentureBeat presents AI Innovation Awards nominees at Transform 2021". 16 July 2021. Diakses tanggal 8 March 2023. 
36. "What's next for AI: Gary Marcus talks about the journey toward robust artificial intelligence". ZDNET. Diakses tanggal 8 March 2023. 
37. Chowdhury, Meghmala (2022-12-29). "Will Powerful AI Disrupt Industries Once Thought to be Safe in 2023?". Analytics Insight (dalam bahasa Inggris). Diakses tanggal 2023-04-06. 
38. Wiggers, Kyle (2 March 2023). "Stability AI, Hugging Face and Canva back new AI research nonprofit". Diakses tanggal 8 March 2023.