perf(sampling): optimize generic greedy and bounded top-k/top-p

[sufubao]

通用采样在 greedy 请求中生成完整 softmax 概率矩阵，在小 top-k 请求中仍排序完整词表，增加后处理开销。本 PR 从 upstream/main 8e1ddf29 独立拆出两个采样优化，不依赖 #1534 的词表候选通信、回填或输出层改动。

改动

• 全 greedy 的 FP32 批次：小张量使用 argmax + log_softmax；大张量使用分块归约直接生成 token ID 和 logprob，避免完整概率矩阵。保留原地温度处理、同分取最小 token ID，以及已有 penalty、EOS 和 invalid-token 前处理。
• Triton 的 FP32 多请求 top-k/top-p：无请求种子、所有 top-k>1 且最大 top-k 不超过词表四分之一时，只选取并排序 top-k 前缀，减少累计概率、过滤和 multinomial 的输入宽度。完整词表 softmax 与原始概率质量保持不变。
• 单请求、带种子、混合 greedy、大 top-k、非 FP32 及仅 top-p 沿用完整排序，FlashInfer 分支不变。新增相关回归测试。

缩短 multinomial 输入会改变无种子请求的随机序列，同分截断边界也可能选择不同 token；浮点归约实现变化不保证 logprob 逐位一致。

验证与性能依据

两个提交从 #1534 原样拆出，git range-diff 确认补丁不变；Black、flake8 和 git diff --check 通过。原分支相关 GPU 回归共 152 项通过；此次独立分支的三个测试文件成功收集，112 项因禁用 CUDA 跳过；未重跑 GPU 测试或性能实验。

此前 m34 / H200、PyTorch 2.9.1+cu128、Triton 3.5.1，交替计时完整 sample() 的 CPU+GPU eager 墙钟中位数：

场景	基线 → 优化后	耗时降低
Greedy，B128 / V151936	307.8 → 301.5 μs	2.0%
Greedy，B128 / V262144	465.3 → 302.1 μs	35.1%
top-k128 / top-p0.9，B128 / V151936	2946.47 → 729.40 μs	75.2%
top-k128 / top-p0.9，B128 / V262144	4913.02 → 947.91 μs	80.7%

这些历史输入为 FP32、每行回填 128 个候选，greedy 基线为 a68f16a5、top-k/top-p 基线为 7fd62182；不含模型前向、通信和网络，不能作为此独立分支相对 main 在普通稠密分布上的实测收益。

此前 m33 的 Qwen2.5-14B TP2、每 rank 128 候选、GSM8K 并发128评测中，top-k/top-p 三轮合计输出吞吐提高11.1%，双方均答对3696/3957。Greedy 三轮吞吐变化为−19.3%、+7.2%、+2.17%，第三轮正确题数1234→1228，尚不能认定稳定端到端加速或精度完全一致。这些同样是原分支的历史观察，未完成此独立分支相对最新 main 的 LLM Bench 对照。

实验通过 exp -m 归档于 ~/experiments/pr1534-generic-greedy-20260914/、~/experiments/pr1534-topk-topp-20260914/ 和 ~/experiments/pr1534-m33-e2e-20260915/。