SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

@hashimom

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

うなくないちょっとうない

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

ウッナな絵とは :thinkcorn:

SHIMADA Hirofumi SHIMADA Hirofumi reblogged at 3 months ago
箱山

箱山 [email protected]

これもたのむ！

SHIMADA Hirofumi SHIMADA Hirofumi reblogged at 3 months ago
もちもちずきん :teto_zuho: 🍆

もちもちずきん :teto_zuho: 🍆 [email protected]

超懐かしい端末を起動している

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

白い広がり（とけるうなし）

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

悪いオタクやんな

SHIMADA Hirofumi SHIMADA Hirofumi reblogged at 3 months ago
rootY

rootY rooty2

:loading: :GreenCar:の特権を行使しています…

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

@musashino205 おっ

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

@rooty2 はよこい

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

Fediverseセミナーのハイブリッドホストお手伝い中

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

これでLT大会は閉幕です。引き続きJitsiではFediLUGさんのセミナーがありますので、ぜひお聴きください。

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

次はしまだ喋ります

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

オチの説明

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

vLLM以外でGPUメモリを使おうとすると簡単にOOMする。

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

vLLM : Pyrhonの推論ライブラリ。メモリを効率よく使うことに全振り。

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

GPUを効率的に使うことはあまり考えていないっぽい

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

候補：HuggingFace, llama.cpp

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

今回のミッション：OOMを防ぎたい、出力制御もしたい

SHIMADA Hirofumi

SHIMADA Hirofumi [email protected]

そんなの使い物になるの：知らん！

@shimadah Account List
favicon [email protected] 48210 [email protected] 1138 [email protected] 70 [email protected] 11
Recent
2025-11-14 1 2025-11-10 2 2025-11-09 1 2025-11-08 40 2025-11-06 1 2025-11-04 4 2025-10-31 1 2025-10-30 3 2025-10-29 6 2025-10-25 3
Archives