llama : expose API to retrieve devices associated with the model.

include/llama.h

@@ -470,6 +470,8 @@ extern "C" {
 
     LLAMA_API const struct llama_model * llama_get_model   (const struct llama_context * ctx);
     LLAMA_API enum llama_pooling_type    llama_pooling_type(const struct llama_context * ctx);
+    LLAMA_API size_t                     llama_n_backends(const struct llama_context * ctx);
+    LLAMA_API size_t                     llama_get_backends(const struct llama_context * ctx, ggml_backend_t * out_buf, size_t out_len);
 
     LLAMA_API const struct llama_vocab * llama_model_get_vocab(const struct llama_model * model);
     LLAMA_API enum llama_rope_type       llama_model_rope_type(const struct llama_model * model);
@@ -479,6 +481,7 @@ extern "C" {
     LLAMA_API int32_t llama_model_n_layer    (const struct llama_model * model);
     LLAMA_API int32_t llama_model_n_head     (const struct llama_model * model);
     LLAMA_API int32_t llama_model_n_head_kv  (const struct llama_model * model);
+    LLAMA_API const ggml_backend_dev_t * llama_model_get_devices (const struct llama_model * model, size_t * out_len);
 
     // Get the model's RoPE frequency scaling factor
     LLAMA_API float llama_model_rope_freq_scale_train(const struct llama_model * model);

src/llama-context.cpp

@@ -610,6 +610,18 @@ enum llama_pooling_type llama_pooling_type(const struct llama_context * ctx) {
     return ctx->cparams.pooling_type;
 }
 
+size_t llama_n_backends(const struct llama_context * ctx) {
+    return ctx->backends.size();
+}
+
+size_t llama_get_backends(const struct llama_context * ctx, ggml_backend_t * out, size_t out_len) {
+    size_t return_len = std::min(ctx->backends.size(), out_len);
+    for (size_t i = 0; i < return_len; i++) {
+        out[i] = ctx->backends[i].get();
+    }
+    return return_len;
+}
+
 void llama_attach_threadpool(
              struct llama_context * ctx,
         ggml_threadpool_t   threadpool,

src/llama-model.cpp

@@ -3845,6 +3845,11 @@ int32_t llama_model_n_head_kv(const struct llama_model * model) {
     return model->hparams.n_head_kv();
 }
 
+const ggml_backend_dev_t * llama_model_get_devices(const struct llama_model * model, size_t * out_len) {
+    *out_len = model->devices.size();
+    return model->devices.data();
+}
+
 // deprecated
 int32_t llama_n_ctx_train(const struct llama_model * model) {
     return llama_model_n_ctx_train(model);