経済産業省が行う、大規模言語モデルの開発の一環として
東京大学松尾研究室 LLM開発プロジェクト 開発メンバーとして参加しました
参加メンバーは合計で２２９名とのことで、そのメンバーを７つのグループに分割し
10B程度のパラメータでのLLMをスクラッチで開発するコンペを行い、優勝チームがより大きな100Bの開発を行うというものでした。
このプロジェクトに参加したことで本郷キャンパスに何度か行くことが出来たり、松尾教授にお会いできたり、開発メンバーと集まって開発したりと、とても良い経験になりました。
私の所属しているチームは2位入賞しました。
結果発表会の様子はyoutubeにも公開されています。
