llama_ros: llama.cpp for ROS 2
|
This is the complete list of members for llava_ros::Llava, including all inherited members.
add_bos_token() | llama_ros::Llama | inline |
base64_image_to_embed(const std::string &base64_str) | llava_ros::Llava | |
cancel() | llama_ros::Llama | |
canceled | llama_ros::Llama | protected |
ctx | llama_ros::Llama | protected |
ctx_clip | llava_ros::Llava | protected |
detokenize(const std::vector< llama_token > &tokens) | llama_ros::Llama | |
eval(struct llama_batch batch) override | llava_ros::Llava | protectedvirtual |
llama_ros::Llama::eval(std::vector< llama_token > tokens) | llama_ros::Llama | protected |
eval_image(struct llava_image_embed *image_embed) | llava_ros::Llava | protected |
eval_prompt() override | llava_ros::Llava | protectedvirtual |
llama_ros::Llama::eval_prompt(std::vector< llama_token > prompt_tokens) | llama_ros::Llama | protected |
eval_system_prompt() | llama_ros::Llama | protected |
eval_token(llama_token token) | llama_ros::Llama | protected |
find_stop(std::vector< struct CompletionOutput > completion_result_list, std::vector< std::string > stopping_words) | llama_ros::Llama | protected |
find_stop_word(std::vector< struct CompletionOutput > completion_result_list, std::string stopping_word) | llama_ros::Llama | protected |
format_chat_prompt(std::vector< struct common_chat_msg > chat_msgs, bool add_ass) | llama_ros::Llama | |
free_image() | llava_ros::Llava | private |
ga_i | llama_ros::Llama | protected |
generate_embeddings(const std::string &input_prompt, int normalization=2) | llama_ros::Llama | |
generate_embeddings(const std::vector< llama_token > &tokens, int normalization=2) | llama_ros::Llama | |
generate_response(const std::string &input_prompt, struct common_params_sampling sparams, GenerateResponseCallback callbakc=nullptr, std::vector< std::string > stop={}) | llama_ros::Llama | |
generate_response(const std::string &input_prompt, GenerateResponseCallback callbakc=nullptr, std::vector< std::string > stop={}) | llama_ros::Llama | |
get_ctx() | llama_ros::Llama | inline |
get_float_metadata(const std::string &key, size_t size) | llama_ros::Llama | |
get_float_metadata(const std::string &model_name, const std::string &key, size_t size) | llama_ros::Llama | |
get_int_metadata(const std::string &key, size_t size) | llama_ros::Llama | |
get_int_metadata(const std::string &model_name, const std::string &key, size_t size) | llama_ros::Llama | |
get_metadata(const std::string &key, size_t size) | llama_ros::Llama | |
get_metadata(const std::string &model_name, const std::string &key, size_t size) | llama_ros::Llama | |
get_metadata() | llama_ros::Llama | |
get_model() | llama_ros::Llama | inline |
get_n_ctx() | llama_ros::Llama | inline |
get_n_ctx_train() | llama_ros::Llama | inline |
get_n_embd() | llama_ros::Llama | inline |
get_n_vocab() | llama_ros::Llama | inline |
get_probs() | llama_ros::Llama | protected |
get_token_bos() | llama_ros::Llama | inline |
get_token_eos() | llama_ros::Llama | inline |
get_token_sep() | llama_ros::Llama | inline |
get_vocab() | llama_ros::Llama | inline |
image_embed | llava_ros::Llava | protected |
image_pose | llava_ros::Llava | private |
is_embedding() | llama_ros::Llama | inline |
is_eog() | llama_ros::Llama | inline |
is_reranking() | llama_ros::Llama | inline |
list_loras() | llama_ros::Llama | |
Llama(const struct common_params ¶ms, std::string system_prompt="", bool initial_reset=true) | llama_ros::Llama | |
llama_init | llama_ros::Llama | protected |
Llava(const struct common_params ¶ms, const struct LlavaParams &llava_params, std::string system_prompt="") | llava_ros::Llava | |
llava_params | llava_ros::Llava | protected |
load_image(std::string base64_str) | llava_ros::Llava | |
load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx) override | llava_ros::Llava | protectedvirtual |
lora_adapters | llama_ros::Llama | protected |
model | llama_ros::Llama | protected |
mutex | llama_ros::Llama | private |
n_consumed | llama_ros::Llama | protected |
n_past | llama_ros::Llama | protected |
params | llama_ros::Llama | protected |
prompt_tokens | llama_ros::Llama | protected |
rank_document(const std::string &query, const std::string &document) | llama_ros::Llama | |
rank_documents(const std::string &query, const std::vector< std::string > &documents) | llama_ros::Llama | |
reset() override | llava_ros::Llava | virtual |
sample() | llama_ros::Llama | protected |
sampler | llama_ros::Llama | protected |
spinner | llama_ros::Llama | protected |
st_pos_id | llava_ros::Llava | private |
system_prompt | llama_ros::Llama | protected |
threadpool | llama_ros::Llama | protected |
threadpool_batch | llama_ros::Llama | protected |
tokenize(const std::string &text, bool add_bos, bool special=false) | llama_ros::Llama | |
truncate_tokens(const std::vector< llama_token > &tokens, int limit_size, bool add_eos=true) | llama_ros::Llama | |
update_loras(std::vector< struct LoRA > loras) | llama_ros::Llama | |
~Llama() | llama_ros::Llama | virtual |
~Llava() | llava_ros::Llava |