【信報財經新聞】小米(01810)MiMo大模型團隊負責人、有「AI天才少女」之稱的羅福莉,在社交平台發文分享了小米大模型的最新進展。她表示,目前小米MiMo-V2.6正處於強化學習中階段。據內地媒體計算,MiMo-V2.6-Pro、MiMo-V2.6-Flash兩個版本訓練,每小時花費高達約3.1萬美元(逾24萬港元)。
羅福莉指出,其團隊正在進行三方面的擴展,一是計算資源(每步約20億個Token,1568個Prompt × 16次Rollout,完全異步;二是環境和測試框架(多任務智能體強化學習,一次運行中混合多個框架);三是評估計算(代理式組內信用分配,帶有測試案例和基於量規的獎勵)。小米MiMo團隊將在接下來的幾周內逐步開源相關細節。
羅福莉還直播大模型訓練,直接曬出MiMo-V2.6的即時訓練頁面,讓外界首次看到這一代模型強化學習階段的部分訓練狀態。訓練頁面包含MiMo-V2.6-Pro、MiMo-V2.6-Flash兩個版本,具體展示模型訓練進度、Token消耗、訓練成本、樣本數量、以及多個內部指標變化。
截至昨日(17日)下午,兩個版本累計訓練成本超過135萬美元(1053萬港元),其中MiMo-V2.6-Pro時長為1天21小時,耗費超93萬美元,平均每小時耗費超2萬美元;MiMo-V2.6-Flash訓練時長1天16小時,每小時耗費超過42萬美元,平均每11萬美元。綜合計算,兩個版本訓練合計每小時花費約3.1萬美元。