Updating examples.

Author: xsxszab

common/common-nexa.cpp

@@ -6,6 +6,7 @@
 #include <functional>
 
 #include "ggml.h"
+#include "gguf.h"
 // #include "src/ggml-impl.h"
 #include "ggml-alloc.h"
 #include "ggml-backend.h"

examples/llama.android/llama/src/main/cpp/llama-android.cpp

@@ -68,7 +68,7 @@
 //extern "C"
 //JNIEXPORT void JNICALL
 //Java_com_nexa_LLamaAndroid_free_1model(JNIEnv *, jobject, jlong model) {
-//    llama_free_model(reinterpret_cast<llama_model *>(model));
+//    llama_model_free(reinterpret_cast<llama_model *>(model));
 //}
 //
 //extern "C"

examples/llama.android/llama/src/main/cpp/llava-android.cpp

@@ -161,7 +161,7 @@ extern "C" JNIEXPORT void JNICALL
 Java_com_nexa_NexaVlmInference_free_1model(JNIEnv *env, jobject /* this */, jlong jmodel) {
     const auto llava_model = reinterpret_cast<llama_model *>(jmodel);
 
-    llama_free_model(llava_model);
+    llama_model_free(llava_model);
 }
 
 

examples/nexa-omni-audio/omni.cpp

@@ -723,7 +723,7 @@ void omni_free(struct omni_context *ctx_omni)
     }
 
     llama_free(ctx_omni->ctx_llama);
-    llama_free_model(ctx_omni->model);
+    llama_model_free(ctx_omni->model);
     llama_backend_free();
 }
 

examples/nexa-omni-audio/whisper.h

@@ -2,6 +2,7 @@
 #define WHISPER_H
 
 #include "ggml.h"
+#include "gguf.h"
 
 #include <stddef.h>
 #include <stdint.h>

examples/omni-vlm/clip.cpp

@@ -4,6 +4,7 @@
 // Note: Even when using identical normalized image inputs (see normalize_image_u8_to_f32()) we have a significant difference in resulting embeddings compared to pytorch
 #include "clip.h"
 #include "ggml.h"
+#include "gguf.h"
 #include "ggml-alloc.h"
 #include "ggml-backend.h"
 #include "common.h"
@@ -2317,7 +2318,7 @@ bool clip_model_quantize(const char * fname_inp, const char * fname_out, const i
         total_size_org += orig_size;
         total_size_new += new_size;
         gguf_set_tensor_type(ctx_out, name.c_str(), new_type);
-        gguf_set_tensor_data(ctx_out, name.c_str(), new_data, new_size);
+        gguf_set_tensor_data(ctx_out, name.c_str(), new_data);
         fout.write((const char *)new_data, new_size);
         size_t pad = GGML_PAD(new_size, gguf_get_alignment(ctx_out)) - new_size;
         for (size_t j = 0; j < pad; ++j) {

examples/omni-vlm/omni-vlm-cli.cpp

@@ -245,7 +245,7 @@ static void omnivlm_free(struct omnivlm_context * ctx_omnivlm) {
     }
 
     llama_free(ctx_omnivlm->ctx_llama);
-    llama_free_model(ctx_omnivlm->model);
+    llama_model_free(ctx_omnivlm->model);
     llama_backend_free();
 }
 
@@ -301,7 +301,7 @@ int main(int argc, char ** argv) {
         omnivlm_free(ctx_omnivlm);
     }
 
-    llama_free_model(model);
+    llama_model_free(model);
 
     return 0;
 }

examples/omni-vlm/omni-vlm-wrapper.cpp

@@ -256,7 +256,7 @@ static void omnivlm_free(struct omnivlm_context * ctx_omnivlm) {
     }
 
     llama_free(ctx_omnivlm->ctx_llama);
-    llama_free_model(ctx_omnivlm->model);
+    llama_model_free(ctx_omnivlm->model);
     llama_backend_free();
 }
 
@@ -331,7 +331,7 @@ void omnivlm_free() {
         ctx_omnivlm->model = nullptr;
         omnivlm_free(ctx_omnivlm);
     }
-    llama_free_model(model);
+    llama_model_free(model);
 }
 
 

examples/qwen2-audio/qwen2.cpp

@@ -723,7 +723,7 @@ void omni_free(struct omni_context *ctx_omni)
     }
 
     llama_free(ctx_omni->ctx_llama);
-    llama_free_model(ctx_omni->model);
+    llama_model_free(ctx_omni->model);
     llama_backend_free();
     free(ctx_omni);
 }

examples/qwen2-audio/whisper.cpp

@@ -70,6 +70,7 @@
 // use your favorite implementations
 #define DR_WAV_IMPLEMENTATION
 #include "dr_wav.h"
+#include "gguf.h"
 
 #if defined(_MSC_VER)
 #pragma warning(disable : 4244 4267) // possible loss of data