Parameters

了解如何通过定制请求调整 VTSTG233-API 响应的结果

概述

当您向文本模型发送请求时，您可以指定影响模型响应的自定义参数。这些参数可以控制您的模型使用、优化您的请求，并获得更具创意或更准确的结果。

可能的参数

最大令牌数

此参数指定模型为响应提示而生成的标记 （单词或单词片段） 的最大数量。Token字符越少，响应时间通常越短。

max_tokens = 50  # 将模型限制为最多生成50个Token字符。

停止序列

停止序列是字符串，当在模型的输出中检测到这些字符串时，会向模型发出信号以停止生成更多标记。当所需的输出是简洁的响应或单个单词时，这特别有用。

stop = ["\n"]  # 当模型生成换行符时，指示其停止生成。

文本温度

温度控制模型输出的随机性。将其设置为 0 会产生确定性输出，而最高为 1 的值会在响应中引入更多变化和创造力。

temperature = 0.5  # 在随机性和决定性之间寻找平衡。

Top P (核心抽样)

前 P 参数（也称为核采样）过滤模型的标记选择，以使每个步骤中考虑的标记的累积概率至少为 P。此方法允许更动态且与上下文相关的响应。

top_p = 0.9  # 仅考虑对累计概率贡献达到前90%的标记。

Top K (Top-K 采样)

Top K 将模型的选择限制为 K 个最有可能的下一个标记。较低的值可以加快生成速度，并可能通过关注最可能的标记来提高一致性。

top_k = 40  # 该模型只会考虑前40个最有可能的下一个标记。

重复罚分

此参数会阻止模型重复相同的行或短语，从而促进更多样化和更具吸引力的内容。

repetition_penalty = 1.2  # 对重复行为进行惩罚以阻止其发生。