Search in @shimadah

SHIMADA Hirofumi [email protected]

Fediverseセミナーのハイブリッドホストお手伝い中

SHIMADA Hirofumi [email protected]

これでLT大会は閉幕です。引き続きJitsiではFediLUGさんのセミナーがありますので、ぜひお聴きください。

SHIMADA Hirofumi [email protected]

vLLM以外でGPUメモリを使おうとすると簡単にOOMする。

SHIMADA Hirofumi [email protected]

vLLM : Pyrhonの推論ライブラリ。メモリを効率よく使うことに全振り。

SHIMADA Hirofumi [email protected]

GPUを効率的に使うことはあまり考えていないっぽい

SHIMADA Hirofumi [email protected]

今回のミッション:OOMを防ぎたい、出力制御もしたい

SHIMADA Hirofumi [email protected]

そんなの使い物になるの:知らん!

SHIMADA Hirofumi [email protected]

ローカルLLM:某社に課金したくない(一同笑い)GPUなどを活用したい人

SHIMADA Hirofumi [email protected]

みなさんローカルLLM使っていますが:数人てがあがった

SHIMADA Hirofumi [email protected]

次ははしもとさん。最近のローカルLLMバックエンド事情ぽい話。

SHIMADA Hirofumi [email protected]

アドベンチャーワールド:パンダさんがまだいました、という話

SHIMADA Hirofumi [email protected]

スイスもいってきました。スケジュールががちがちに組まれていて大変でした

SHIMADA Hirofumi [email protected]

Flickrでwcasiaで探してみてください。