text-generation-webui 笔记

聊天参数

最大新令牌数 max_new_tokens

给定的提示令牌数量意味着在不忽略它们的情况下要生成的最大令牌数量。

简单来说，就是答案的长度。

最大提示大小（以标记为单位）

用于提示的最大令牌数。

简单来说，就是模型的记忆。除非有特殊情况，建议设置为最大值。

温度temperature

控制文本生成多样性的值。 

值越高，答案越有创意，但越有可能说的是废话或八卦。

相反，较低的值会给出较少的乐趣和僵硬的答案，但模型更加诚实。

top_p

用于生成文本的单词的概率。

在0状态下，没有限制，不对应概率等于或大于0的单词被排除。

较低的值会给出意想不到的答案，而较高的值会给出更可预测的答案。

例如）“喂？” 发送聊天内容时的情况

top_p 0.7 = 仅给出正确答案概率超过 70% 的答案。

AI 的预期答案列表： 1. 是 (50%) 2. 你好 (60%) 3. 你好！ (90%) 4. 你多大了 (10%)

3.嗨！（90%）输出

= 你：喂？机器人：你好！

前k个

用于生成文本的字数。

在0状态下，没有限制，并且在正数的情况下，使用该数量的文本候选词。

top_k 的数量越多，候选词的数量越多，可能会出现更多意想不到的答案。

typical_p典型_p

如果top_p的值大于0，则文本生成的概率会随着答案的累积与top_p的值成比例地调整。

当typical_p的值为0时，top_p的值是固定的。

简而言之，它决定了你的答案的上下文的一致性。

typical_p 的低值与一条评论一致。

另一方面，如果它很高，答案可能会有点乱码，但它也可以给出更有趣的答案。

repetiton_penalty重复惩罚

这个数字是为了防止重复答案。

当值为1时，不进行抑制，且值大于1时，抑制越多

它增加了语言模型不会重复相同单词的概率。

简而言之，这个数字越高，语言模型就越有可能避免像习惯一样经常使用某些单词。

较高的值会增加表达的多样性。

encoder_repetiton_penalty编码器重复惩罚

encoder_repetiton_penalty 是一个调整提示中单词出现概率的值。

当该值为1时，不应用，当该值大于1时，提示中单词出现的概率降低。

这一特性可以防止语言模型的自主性过于依赖提示，降低对话的自然度 。

no_repeat_ngram_size

防止 ngram 文本中出现重复短语的值。

当为零时，不应用它；当为正值时，它防止 ngram 中的重复。

与repetition_penalty的作用类似&