SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

白い広がり（とけるうなし）

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

悪いオタクやんな

SHIMADA Hirofumi SHIMADA Hirofumi reblogged at 1 day ago
rootY

rootY rooty2

:loading: :GreenCar:の特権を行使しています…

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

@musashino205 おっ

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

@rooty2 はよこい

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

Fediverseセミナーのハイブリッドホストお手伝い中

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

これでLT大会は閉幕です。引き続きJitsiではFediLUGさんのセミナーがありますので、ぜひお聴きください。

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

次はしまだ喋ります

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

オチの説明

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

vLLM以外でGPUメモリを使おうとすると簡単にOOMする。

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

vLLM : Pyrhonの推論ライブラリ。メモリを効率よく使うことに全振り。

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

GPUを効率的に使うことはあまり考えていないっぽい

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

候補：HuggingFace, llama.cpp

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

今回のミッション：OOMを防ぎたい、出力制御もしたい

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

そんなの使い物になるの：知らん！

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

ローカルLLM：某社に課金したくない（一同笑い）GPUなどを活用したい人

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

みなさんローカルLLM使っていますが：数人てがあがった

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

本業てなんだったけという話

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

次ははしもとさん。最近のローカルLLMバックエンド事情ぽい話。

SHIMADA Hirofumi

SHIMADA Hirofumi shimada@mstdn.maud.io

アドベンチャーワールド：パンダさんがまだいました、という話

@shimadah Account List
favicon shimada@mstdn.maud.io 48034 shimada@inari.opencocon.org 1138 shimada@social.mikutter.hachune.net 70 shimadah@mstdn.io 11
Recent
2025-08-03 40 2025-08-02 3 2025-08-01 5 2025-07-31 4 2025-07-29 2 2025-07-28 3 2025-07-16 1 2025-07-15 3 2025-07-10 4 2025-07-09 1
Archives