コメント一覧 (16)

1. • 1. 774の自作er
   • 2025年05月14日 00:45
   • CUDAとして動作してるだけならCPUの使用率は０％のままだよね
   • 
     0
     

     wavefanc

     がしました

     
2. • 2. 774の自作er
   • 2025年05月14日 01:12
   • クラウド処理するAIと手元PC内で処理するAIとクラウドと手元PCが分担しあうAIとあって
     なんか混沌としていると思う
     
   • 
     0
     

     wavefanc

     がしました

     
3. • 3. 774の自作er
   • 2025年05月14日 01:38
   • Raspberry Pi 5 / 8GBでも動くRakutenAI-7B-chatなら動くっしょ
   • 
     0
     

     wavefanc

     がしました

     
4. • 4. 774の自作er
   • 2025年05月14日 01:43
   • >メインPCはスペック良いんだけど生成系とLLMと同時は難しい
     
     それ低スペじゃないかな…
     
     かと言ってクラウドに処理投げると…使用料5桁6桁(米ドル)見れちゃうのよな。
   • 
     0
     

     wavefanc

     がしました

     
5. • • 7. 774の自作er
     • 2025年05月14日 05:34
     • >>4
       いやどんなにハイスペでも流石に同時は無理や
       FlamePackなんて最低でもメモリ64GB~必要だしLLM系もVRAMをいくらでも使うからグラボ複数刺しも視野に入るとかいう状況
       
       流石にメインでどっちもは無理だからサブで片方肩代わりさせたいって事やろ
     • 
       0
       

       wavefanc

       がしました

       
   • • 12. 774の自作er
     • 2025年05月14日 12:37
     • >>7
       LLMだけでも
       RTX5000?(2枚)→4000で妥協
       メモリ→同じく256GBで妥協
       CPU→同じく1CPU(40コアくらい)で妥協
       だったからなぁ…もう5年前か…
     • 
       0
       

       wavefanc

       がしました

       
6. • 5. 774の自作er
   • 2025年05月14日 02:10
   • VRAM 8GBあってCUDAかVulkan computeに対応したグラボなら7Bくらいのモデルなら問題なく動くよ(GeForce/Radeon/Arc)
     LM StudioとGPT4ALLはVulkan, CUDA, ROCm対応
     ollanaはCUDA,ROCmのみ対応
   • 
     0
     

     wavefanc

     がしました

     
7. • 6. 774の自作er
   • 2025年05月14日 04:25
   • 別に古いPCでもメモリを６４GBとか積むのは簡単なんだし
     メモリ追加とGPU新し目かもしくはメモリだけ多いやつ積めば行けるよな
   • 
     0
     

     wavefanc

     がしました

     
8. • • 16. 774の自作er
     • 2025年05月14日 22:58
     • >>6
       ddr3ってデスクトップだと32GBが最大値じゃなかったかな
     • 
       0
       

       wavefanc

       がしました

       
9. • 8. 774の自作er
   • 2025年05月14日 07:56
   • 無理だと確信して意図して言ってるからね。
     どうにもならん。
     諦めろ。
   • 
     0
     

     wavefanc

     がしました

     
10. • 9. 774の自作er
    • 2025年05月14日 08:27
    • グラボにだけ金かけても性能が半分しか出ないなら全体を買い替えたほうが結局は安い
    • 
      0
      

      wavefanc

      がしました

      
11. • 10. 774の自作er
    • 2025年05月14日 11:51
    • 速度的には、Radeon RX9070XTの方が動作が速かった
      You: hello, who are you?
      deepseek-r1-distill-qewn-7b: Hello! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service and would be delighted to assist you with any inquiries or tasks you may have.
      Radeon RX9070XT 16GB(Vulkan API)→88.92tok/sec, 44tokens 0.05s to first token
      GeForce RTX4070 12GB(CUDA)→66.79tok/sec, 44tokens 0.30s to first token
    • 
      0
      

      wavefanc

      がしました

      
12. • • 11. 774の自作er
      • 2025年05月14日 11:56
      • >>10
        RX9070XTで再生成をクリックし調子が良いと更に伸びる
        99.09 tok/sec, 44 tokens 0.01s to first token
      • 
        0
        

        wavefanc

        がしました

        
    • • 15. 774の自作er
      • 2025年05月14日 19:28
      • >>10
        1世代前の12GBの4070と最新世代の9070xtならそりゃね
        同格の5070tiと勝負したらやっぱりnvidiaの方がずっと速かったよ
      • 
        0
        

        wavefanc

        がしました

        
13. • 13. 774の自作er
    • 2025年05月14日 12:56
    • ちょっとLLM動かしてみたい。やlora使ったFineチューン試したい、特定のタスクだけやりたいならいいんだろけど
      真面目に使うならAPI使うほうがグラボ買うより断然安い
    • 
      0
      

      wavefanc

      がしました

      
14. • 14. 774の自作er
    • 2025年05月14日 13:49
    • 新しいCPU、新しいメモリ、新しいマザーボードでグラフィックボード無し
      ryzenなら幸せになれる
    • 
      0
      

      wavefanc

      がしました