ai_machine_learning_l_01

1: すらいむ ★ 2024/02/28(水) 23:09:44.46 ID:VVSGeMBG
1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

　2月は中国では春節というお正月があり、春節にはみんな休む。
　それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。
　春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。
　もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。

　そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

　もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。
　しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。
　しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

（以下略、続きはソースでご確認ください）
https://wirelesswire.jp/2024/02/86094/

11: 名無しのひみつ 2024/02/29(木) 01:43:03.95 ID:TPafWJ3r
>>Microsoftの中国チーム

信じていいのか？


18: 名無しのひみつ 2024/02/29(木) 04:01:52.81 ID:oWq9FOzG
>>11
＞非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
＞だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、

ホントかどうか誰にもわからねえだとｗ

38: 名無しのひみつ 2024/02/29(木) 10:56:50.01 ID:tX7NdOOL
>>18
2行くらい後は読めないのか？

40: 名無しのひみつ 2024/02/29(木) 11:25:46.79 ID:MS566tFF
>>11
中国はよくバカにされるが、AI分野では大国だよ。

13: 名無しのひみつ 2024/02/29(木) 01:58:03.97 ID:b2zMt52J
これが本当の1bit脳
冗談は置いといて、1ビット量子化の場合エンベディング(ベクトル化)はどうやるんだろ

16: 名無しのひみつ 2024/02/29(木) 02:56:39.81 ID:C/e1FVIw
つーかこれ少bitのAIプロセッサを作る事になってCUDAは効率が悪いからお払い箱になるのか
今のままだと電力効率悪すぎるしな

20: 名無しのひみつ 2024/02/29(木) 04:50:36.27 ID:JCmTKC78
1bitハードを多数並列とかになるんやろか

25: 名無しのひみつ 2024/02/29(木) 07:56:13.19 ID:yxWVp1q2
0と1に-1を取り入れることで計算コストを下げたまま1.58ビットに増やすアプローチか
速さだけでなくLlamaより精度も上で規模が大きくなるほど精度は更によくなると
眉唾すぎて評価は実装が出てくるまでは保留だな

29: 名無しのひみつ 2024/02/29(木) 09:23:21.53 ID:oLt1Wr6d
log3/log2=1.58ビットということか

36: 名無しのひみつ 2024/02/29(木) 10:45:06.54 ID:3k+jULeh
まだ様子見だな
GPU無しでStable Diffusion動くようになったら褒め称えるわ

45: 名無しのひみつ 2024/02/29(木) 13:22:18.19 ID:Vu5ZGLFL
>>36
動くぞ
遅いだけだ

37: 名無しのひみつ 2024/02/29(木) 10:53:31.33 ID:au/k9OoN
とりあえず、この技術を使ったデモが見てみたいな
ChatGPTみたいに会話するとか画像生成するとか
そしてそれをどんなスペックのマシンで出来るのか
それを見てみないと何とも言えない

引用元: https://egg.5ch.net/test/read.cgi/scienceplus/1709129384/


4: アフターコロナの名無しさん 2024/02/29(木) 16:37:28.33 ID:uWp7j9nh0
ふむふむなるほど全くわからん

17: アフターコロナの名無しさん 2024/02/29(木) 16:40:35.25 ID:Ujt5AlD60
メモリ使用効率良すぎだろ
ブレイクスルーレベルだはこんなの

38: アフターコロナの名無しさん 2024/02/29(木) 16:47:46.67 ID:Cbj8E8Fv0
GPUが不要になる

39: アフターコロナの名無しさん 2024/02/29(木) 16:47:47.92 ID:5zuC3Z9G0
まじかよ！
ちょっとコンビニでLLM買ってくる！

46: アフターコロナの名無しさん 2024/02/29(木) 16:50:05.84 ID:UF/+0SyH0
ソフトとハードの
バランスブレイカーきたねこれ

48: アフターコロナの名無しさん 2024/02/29(木) 16:50:29.89 ID:c5T5+nuQ0
これからはわざわざGPU用意しなくてもじゃなくてCPUだけで計算できるようになるよ
コスパもスピードもめっちゃあがるよ
って論文

62: アフターコロナの名無しさん 2024/02/29(木) 16:55:10.27 ID:RnZCsfPQ0
単純過ぎて逆に訳分からん
頭のいい奴があれこれ考えて来ただろうに
夢物語じゃなかったのか

85: アフターコロナの名無しさん 2024/02/29(木) 17:03:13.58 ID:c5T5+nuQ0
MicrosoftがNVIDIAに頼る比率下げて自分で作るわって言い出したのはこれの目処がたって作るのがCPUで良くなったからやね

98: アフターコロナの名無しさん 2024/02/29(木) 17:06:22.10 ID:aGgv3amt0
三進法の時代か
そのうち用途に合わせて素数法とかも出てくるんかね

104: アフターコロナの名無しさん 2024/02/29(木) 17:08:19.39 ID:woPnTNKF0
-1, 0, 1 の3状態を表現するには1bitじゃなくて1.58bit必要なわけだが
どこから「1ビット」なんて話になった？

159: アフターコロナの名無しさん 2024/02/29(木) 17:29:16.29 ID:CMbe/i4p0
1.58ビットって2ビットやん
+-を切り替え方式でやってビット数減らすんだろうけど

377: アフターコロナの名無しさん 2024/02/29(木) 18:31:01.85 ID:QW0+Wmfv0
>>159
違うよ
一つのビットが3つの値を取れるハードを作る話だから１ビットは２ビットじゃない

229: アフターコロナの名無しさん 2024/02/29(木) 17:50:47.10 ID:YtCGK8MJ0
オンオフ（0，1）だけじゃなくで、マイナス表現できる回路ってかなり前から研究されてだよね

262: アフターコロナの名無しさん 2024/02/29(木) 18:01:59.69 ID:ogRHcDh80
モノを作ってからだとすごいニュースだけど
要は多値論理演算でしょ
考え方は大昔からある

222: アフターコロナの名無しさん 2024/02/29(木) 17:47:57.46 ID:2CTExq0n0
マイニングが落ち着いたと思ったら、今度は生成AI需要か
グラボが安くなる日なんてもう来ないのかな

266: アフターコロナの名無しさん 2024/02/29(木) 18:03:14.71 ID:05FiCnH40
専用機の出現はわかってた

仮想通貨マイニングも最初はCPUマイニング→GPUマイニングとなって最後はASIC（専用機器）になった
同じようにAIもGPUからASIC（専用機）へ以降する

382: アフターコロナの名無しさん 2024/02/29(木) 18:32:15.34 ID:K9wkEyFB0
GPU革命か
既存の安くなるならそれはそれで

引用元: https://asahi.5ch.net/test/read.cgi/newsplus/1709192074/


MSI グラフィックスボード GeForce RTX 4060 Ti VENTUS 2X BLACK 16G OC VD8623
MSI グラフィックスボード GeForce RTX 4060 Ti VENTUS 2X BLACK 16G OC VD8623
posted with AmaQuick at 2024.02.29
MSI
(2023-07-26T00:00:01Z)
5つ星のうち4.5
Amazon.co.jpで詳細を見る
タグ ：
#AI
#LLM
#大規模言語モデル