何気なくリポストして反響あった投稿 VCも国もですが、もし本当にフルスクラッチ基盤モデルを開発するなら2桁くらいズレています 現行のAIのトレーニング(GPT-4oなど)には約160億円かかっているとされています。トレーニング単体ですので、研究や探索などを考えるともっとかかっているでしょう さらにこれからはトレーニングコストが10倍・100倍になるかもしれないのです Fine-tuningに限ると急にお手軽感が出てきますが、それでも大きなモデルをTuningするにはざっと1億くらいないと厳しい所感です 生成AIは御存知の通り、OpenAIが提唱したScaling Lowに支えられています。 つまりでかいデータでトレーニングすればするほど性能が上がります。とにかくデータという薪をくべるしかないのです!! https://deeplearning.hatenablog.com/entry/sc