gm2015741826

1: 名無しさん＠涙目です。(東京都) [KR] 2025/04/20(日) 22:50:51.22 ID:/csqL/Wo0 BE:422186189-PLT(12015)
マイクロソフトの研究者たちは、2億のパラメータを持つ画期的な1ビットAIモデル「BitNet b1.58 2B4T」を発表しました。このモデルは、AppleのM2チップを含む標準的なCPU上で効率的に動作し、主要なベンチマークにおいてMeta、Google、Alibabaの同規模モデルを大幅に少ないメモリ使用量で上回ります。

https://www.perplexity.ai/page/microsoft-releases-efficient-a-EHIeJxL9Syub8AV5WzXu8w

3: 名無しさん＠涙目です。(新日本) [ﾆﾀﾞ] 2025/04/20(日) 22:53:38.55 ID:a2pq+Ien0
エヌビデア終了のお知らせ?


53: 名無しさん＠涙目です。(東京都) [US] 2025/04/21(月) 03:07:06.87 ID:2Ufp/vC70 BE:916176742-PLT(15000)
>>3
本当なら需要なくなるな

61: (東京都) [CN] 2025/04/21(月) 04:54:27.43 ID:Z/LqP2hj0
>>3
NPUなんか本気出したGPUの前にはカスやで…

6: 名無しさん＠涙目です。(大分県) [BR] 2025/04/20(日) 22:59:04.31 ID:PMRnq/Sn0
マイクロソフトってディープシーク推しかと思ってたけど自前でも作ってたのか

7: 名無しさん＠涙目です。(庭) [ﾆﾀﾞ] 2025/04/20(日) 22:59:20.29 ID:t/hWBL420
M2ってappleか
b1.58ってdeepseekの蒸留モデルと同じ感じか

9: 名無しさん＠涙目です。(庭) [US] 2025/04/20(日) 23:03:47.74 ID:Aa1kmd4R0
ないよ
VRAM直結大帯域で演算しない限り速度は絶対出ない

VRAM使わずに低容量化高速化してるってのは
単に計算端折ってるだけ

11: 名無しさん＠涙目です。(ジパング) [ﾆﾀﾞ] 2025/04/20(日) 23:18:00.93 ID:bko5QD3x0
>>9
デジタル化なんて端折りが基本なのに今更

72: 名無しさん＠涙目です。(東京都) [RO] 2025/04/21(月) 07:43:19.01 ID:houJ/SHy0
>>9
今のCPUはキャッシュメモリが大きいから結果だけ流せばいい。
Cellの頃に開発された手法だな。
CUDAの欠点はコア直結のメモリが小さいから、いちいちVRAMに戻さないとならない事。

76: 名無しさん＠涙目です。(新日本) [EU] 2025/04/21(月) 08:53:48.24 ID:tpO5nQzR0
>>9
今まではそうだったけど
そもそもそこまでの計算量いらなかったね
ってのがこの記事

15: 名無しさん＠涙目です。(やわらか銀行) [US] 2025/04/20(日) 23:32:34.72 ID:rqzfn+el0
1.58ビットなんだ、すげー
非線形性が必須だと思うんだけどギリ非線形にできるってことか
データセンター涙目…

20: 名無しさん＠涙目です。(やわらか銀行) [US] 2025/04/20(日) 23:41:11.26 ID:rqzfn+el0
>>15
自己レス。
モデルは-1/0/1の1.58ビット線形でよくて、活性化関数が非線形ならニューラルネットワークは問題ない。と、AIが答えてくれた…。

30: 名無しさん＠涙目です。(庭) [US] 2025/04/21(月) 00:04:35.09 ID:P3i1aXeZ0
>>20
途中なんの関係もない説明を挟んで、問題ないってめちゃくちゃに答えるのいいなw
どこから手を付けたらいいのか見当も付かないよw

43: 名無しさん＠涙目です。(やわらか銀行) [US] 2025/04/21(月) 00:46:39.16 ID:VFC/hM/10
>>30
ああ、すんません。AIの基礎になっているニューラルネットワークは、演算が非線形になってないとディープラーニングみたいな多層構造を作っても結局ただの一次変換にしかならず全く賢くない、ということが大昔に証明されてるんです。

-1/0/1の1.58ビットって非線形にできなくね？と思ったけど、AIに聞いて確認したところ、モデルがソレでもその後の出力を決める「活性化関数」が非線形になってればよいとのこと。

え？やっぱり何言ってるか分からない？AIに聞いてみて…。

69: 名無しさん＠涙目です。(庭) [US] 2025/04/21(月) 07:34:55.07 ID:TNkJWHcd0
>>43
そこら辺の数学は大丈夫…なわけですがそれだけにw

89: 名無しさん＠涙目です。(やわらか銀行) [FR] 2025/04/21(月) 22:02:34.07 ID:nYpXBGtS0
>>69
活性化関数をReLU（-1,0,1⇒0,0,1）にすることで非線形性を確保している、ということのようです。

16: 名無しさん＠涙目です。(茸) [PH] 2025/04/20(日) 23:35:23.53 ID:E92Rt0CC0
DeepSeek以降もアリババやインドの
Ziroh Labs社のAIなどが話題に上ってたけど
本家のアメリカ企業も、やっぱりこっちの方向にシフトしてきたか

17: 名無しさん＠涙目です。(ジパング) [US] 2025/04/20(日) 23:36:45.18 ID:75kpYBsn0
最近この手のアプローチで潰れたとこあっただろ
leapmindの二の舞

19: 名無しさん＠涙目です。(みかか) [US] 2025/04/20(日) 23:39:56.85 ID:i6JZxDKb0
Microsoftのやつなのになんでアップルのマシンなのか

62: 名無しさん＠涙目です。(秋) [ﾆﾀﾞ] 2025/04/21(月) 05:56:26.19 ID:ee3ERG3U0
>>19
Excelも最初はそうだったよ

22: 名無しさん＠涙目です。(茸) [GB] 2025/04/20(日) 23:45:21.32 ID:37j7KQJZ0
うーん、同規模モデル程度じゃなくて大規模モデルに匹敵して欲しいんだよなぁ

33: 名無しさん＠涙目です。(庭) [US] 2025/04/21(月) 00:05:44.66 ID:P3i1aXeZ0
>>22
原理的に大規模モデルに匹敵しえないのは分かってるから

24: 名無しさん＠涙目です。(埼玉県) [ﾆﾀﾞ] 2025/04/20(日) 23:48:14.42 ID:dRAmlnJQ0
すげー　どこまでも進化するね

26: 名無しさん＠涙目です。(東京都) [US] 2025/04/20(日) 23:52:13.42 ID:E5k0672Y0
でもCopilotはずっとアホなままなんだよな

37: 名無しさん＠涙目です。(ジパング) [CL] 2025/04/21(月) 00:10:51.89 ID:Hfez70AY0
コンシューマ向けの軽い環境で動くの出ないかな

38: 名無しさん＠涙目です。(庭) [JP] 2025/04/21(月) 00:12:37.41 ID:7fUhmiZe0
これがあったからデータセンター投資を引き上げたんか

45: 名無しさん＠涙目です。(愛知県) [EU] 2025/04/21(月) 01:05:14.70 ID:CE88ZE1R0
利権屋がいくら使ってでも潰しそうだけど技術的に可能ならタケノコのように生えてくるだろうから無理だろうな

46: 名無しさん＠涙目です。(やわらか銀行) [ﾆﾀﾞ] 2025/04/21(月) 01:05:48.62 ID:xnaqHGEh0
DeepSeekのパクリかな？

52: 名無しさん＠涙目です。(新日本) [TW] 2025/04/21(月) 02:41:33.84 ID:OlFa/No40
お家でgrok作れんのこれ？

56: 名無しさん＠涙目です。(千葉県) [US] 2025/04/21(月) 03:36:25.30 ID:G74z1ca90
革ジャンデータセンター全振りでグラボ適当にやってたのがアダになりそう

57: 名無しさん＠涙目です。(庭) [EU] 2025/04/21(月) 04:05:17.09 ID:hMhefCB/0
nvidiaがあまりにも殿様商売してるから揺さぶりかけてんだよ

75: 名無しさん＠涙目です。(埼玉県) [ﾆﾀﾞ] 2025/04/21(月) 08:23:36.90 ID:n0qmihlR0
多分DeepSeekと同じく小型のAIモデルを組み合わせる手法じゃないかと思われる
あれはDeepSeekで有名になったが別にあそこのオリジナルではなく、日本も前からやってる
金がなくて大型モデルを組めないからな！

80: 名無しさん＠涙目です。(埼玉県) [EU] 2025/04/21(月) 10:05:09.32 ID:cL+JY2KL0
量子力学の超長い計算式を使った計算結果と何故か端折った式で正解が出るけど何故出るのか分からないのと似たようなもんか

85: 名無しさん＠涙目です。(静岡県) [ﾆﾀﾞ] 2025/04/21(月) 18:48:11.68 ID:u3jNnB6s0
とうとうbitnetが使える性能でるようになったんか

引用元: https://hayabusa9.5ch.net/test/read.cgi/news/1745157051/

画像生成AIで思い通りのキャラクターを作る！　Stable Diffusionプロンプト集　女性編 AIキャラクターデザイン
KaboP(著), KBP出版(編集)
タグ ：
#AI
#Microsoft
#BitNet