feat: add LLAMA_VOCAB_PRE_TYPE_JAIS constant

Author: yoshoku

ext/llama_cpp/dummy.rb

@@ -94,6 +94,9 @@ module LLaMACpp # rubocop:disable Metrics/ModuleLength
   # LLaMA vocabulary pre-tokenization type.
   LLAMA_VOCAB_PRE_TYPE_VIKING = 16
 
+  # LLaMA vocabulary pre-tokenization type.
+  LLAMA_VOCAB_PRE_TYPE_JAIS = 17
+
   # LLaMA token attribute type.
   LLAMA_TOKEN_ATTR_UNDEFINED = 0
 

ext/llama_cpp/llama_cpp.cpp

@@ -3514,6 +3514,7 @@ extern "C" void Init_llama_cpp(void) {
   rb_define_const(rb_mLLaMACpp, "LLAMA_VOCAB_PRE_TYPE_SMAUG", INT2NUM(LLAMA_VOCAB_PRE_TYPE_SMAUG));
   rb_define_const(rb_mLLaMACpp, "LLAMA_VOCAB_PRE_TYPE_PORO", INT2NUM(LLAMA_VOCAB_PRE_TYPE_PORO));
   rb_define_const(rb_mLLaMACpp, "LLAMA_VOCAB_PRE_TYPE_VIKING", INT2NUM(LLAMA_VOCAB_PRE_TYPE_VIKING));
+  rb_define_const(rb_mLLaMACpp, "LLAMA_VOCAB_PRE_TYPE_JAIS", INT2NUM(LLAMA_VOCAB_PRE_TYPE_JAIS));
 
   rb_define_const(rb_mLLaMACpp, "LLAMA_TOKEN_TYPE_UNDEFINED", INT2NUM(LLAMA_TOKEN_TYPE_UNDEFINED));
   rb_define_const(rb_mLLaMACpp, "LLAMA_TOKEN_TYPE_NORMAL", INT2NUM(LLAMA_TOKEN_TYPE_NORMAL));

sig/llama_cpp.rbs

@@ -34,6 +34,7 @@ module LLaMACpp
   LLAMA_VOCAB_PRE_TYPE_SMAUG: Integer
   LLAMA_VOCAB_PRE_TYPE_PORO: Integer
   LLAMA_VOCAB_PRE_TYPE_VIKING: Integer
+  LLAMA_VOCAB_PRE_TYPE_JAIS: Integer
 
   LLAMA_TOKEN_ATTR_UNDEFINED: Integer
   LLAMA_TOKEN_ATTR_UNKNOWN: Integer