@@ -1167,13 +1167,19 @@ def llama_n_seq_max(ctx: llama_context_p, /) -> int:
1167
1167
...
1168
1168
1169
1169
1170
- # LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_model * model);
1170
+ # LLAMA_API enum llama_pooling_type llama_pooling_type(const struct llama_context * ctx);
1171
+ @ctypes_function ("llama_pooling_type" , [llama_context_p_ctypes ], ctypes .c_int )
1172
+ def llama_pooling_type (ctx : llama_context_p , / ) -> int :
1173
+ ...
1174
+
1175
+
1176
+ # LLAMA_API enum llama_vocab_type llama_vocab_type (const struct llama_model * model);
1171
1177
@ctypes_function ("llama_vocab_type" , [llama_model_p_ctypes ], ctypes .c_int )
1172
1178
def llama_vocab_type (model : llama_model_p , / ) -> int :
1173
1179
...
1174
1180
1175
1181
1176
- # LLAMA_API enum llama_rope_type llama_rope_type (const struct llama_model * model);
1182
+ # LLAMA_API enum llama_rope_type llama_rope_type (const struct llama_model * model);
1177
1183
@ctypes_function ("llama_rope_type" , [llama_model_p_ctypes ], ctypes .c_int )
1178
1184
def llama_rope_type (model : llama_model_p , / ) -> int :
1179
1185
...
@@ -3091,7 +3097,7 @@ def llama_sample_token_greedy(
3091
3097
...
3092
3098
3093
3099
3094
- # /// @details Randomly selects a token from the candidates based on their probabilities.
3100
+ # /// @details Randomly selects a token from the candidates based on their probabilities using the RNG of ctx .
3095
3101
# LLAMA_API llama_token llama_sample_token(
3096
3102
# struct llama_context * ctx,
3097
3103
# llama_token_data_array * candidates);
0 commit comments