vLLMのGGUF設定を重み、Tokenizer、configに分ける
vLLMでGGUFを起動するとき、量子化済み重み、Tokenizer、Hugging Face configを別の入力として切り分けます。
#vLLM
「vLLM」タグの記事
vLLMのStructured Outputs移行を入力形式から確認する
guided_jsonからstructured_outputsやresponse_formatへ移行し、JSON Schemaが保証する範囲と検証の境界を整理します。
vLLMのtoken上限とreasoningを別の軸で調べる
max-model-len、request上限、batch、GPU memory、reasoning parserを分けてローカル推論を調整します。