CCTest · Blog
Agora:インターネット上の分散GPUでLLMを事前学習する試み
オープンソース
cctest.ai
Agora:インターネット上の分散GPUでLLMを事前学習する試み
Agora は、大規模言語モデルの事前学習をデータセンター中心の構造から切り離せるかを問う研究だ。異種混在かつ不安定なインターネット接続GPUを、モデル分割と耐障害性のある協調処理で束ねる。
続きを読むAgora は、大規模言語モデルの事前学習をデータセンター中心の構造から切り離せるかを問う研究だ。異種混在かつ不安定なインターネット接続GPUを、モデル分割と耐障害性のある協調処理で束ねる。
続きを読むMira Murati 氏が率いる Thinking Machines Lab が、初の自社モデル Inkling を公開した。狙いは最強モデルの称号ではなく、企業が自社知識に合わせて改造できる AI 基盤を提供することにある。
続きを読む