Hacker News · AI09/26模型技巧与观点海外用 logprobs 单函数封装 LLM，可跑视觉模型
开发者 Allan 发布了一个类似 Jev 的单函数 LLM 封装，核心技巧是读取 token 概率：把问题写成选项，设置 max_completion_tokens 为 1、logprobs 为 true、top_logprobs 为 20，让模型只输出一个 token 并返回各选项的对数概率，速度很快且共享前缀可被 KV 缓存。作者为 Jev 请求格式新增了 attachments 字段以支持图片，示例用摄像头抓帧判断是否有人、室内外和亮度。在 RTX 3090 上跑 Gemma 4 12B 约 1 FPS（每…
推荐理由一个只输出单 token 的分类技巧，配 logprobs 就能把 LLM 当快速分类器用，含可运行 Python 示例