llama_ros::Llama Member List

This is the complete list of members for llama_ros::Llama, including all inherited members.

add_bos_token()	llama_ros::Llama	inline
cancel()	llama_ros::Llama
canceled	llama_ros::Llama	protected
ctx	llama_ros::Llama	protected
detokenize(const std::vector< llama_token > &tokens)	llama_ros::Llama
eval(std::vector< llama_token > tokens)	llama_ros::Llama	protected
eval(struct llama_batch batch)	llama_ros::Llama	protectedvirtual
eval_prompt()	llama_ros::Llama	protectedvirtual
eval_prompt(std::vector< llama_token > prompt_tokens)	llama_ros::Llama	protected
eval_system_prompt()	llama_ros::Llama	protected
eval_token(llama_token token)	llama_ros::Llama	protected
find_stop(std::vector< struct CompletionOutput > completion_result_list, std::vector< std::string > stopping_words)	llama_ros::Llama	protected
find_stop_word(std::vector< struct CompletionOutput > completion_result_list, std::string stopping_word)	llama_ros::Llama	protected
format_chat_prompt(std::vector< struct common_chat_msg > chat_msgs, bool add_ass)	llama_ros::Llama
ga_i	llama_ros::Llama	protected
generate_embeddings(const std::string &input_prompt, int normalization=2)	llama_ros::Llama
generate_embeddings(const std::vector< llama_token > &tokens, int normalization=2)	llama_ros::Llama
generate_response(const std::string &input_prompt, struct common_params_sampling sparams, GenerateResponseCallback callbakc=nullptr, std::vector< std::string > stop={})	llama_ros::Llama
generate_response(const std::string &input_prompt, GenerateResponseCallback callbakc=nullptr, std::vector< std::string > stop={})	llama_ros::Llama
get_ctx()	llama_ros::Llama	inline
get_float_metadata(const std::string &key, size_t size)	llama_ros::Llama
get_float_metadata(const std::string &model_name, const std::string &key, size_t size)	llama_ros::Llama
get_int_metadata(const std::string &key, size_t size)	llama_ros::Llama
get_int_metadata(const std::string &model_name, const std::string &key, size_t size)	llama_ros::Llama
get_metadata(const std::string &key, size_t size)	llama_ros::Llama
get_metadata(const std::string &model_name, const std::string &key, size_t size)	llama_ros::Llama
get_metadata()	llama_ros::Llama
get_model()	llama_ros::Llama	inline
get_n_ctx()	llama_ros::Llama	inline
get_n_ctx_train()	llama_ros::Llama	inline
get_n_embd()	llama_ros::Llama	inline
get_n_vocab()	llama_ros::Llama	inline
get_probs()	llama_ros::Llama	protected
get_token_bos()	llama_ros::Llama	inline
get_token_eos()	llama_ros::Llama	inline
get_token_sep()	llama_ros::Llama	inline
get_vocab()	llama_ros::Llama	inline
is_embedding()	llama_ros::Llama	inline
is_eog()	llama_ros::Llama	inline
is_reranking()	llama_ros::Llama	inline
list_loras()	llama_ros::Llama
Llama(const struct common_params &params, std::string system_prompt="", bool initial_reset=true)	llama_ros::Llama
llama_init	llama_ros::Llama	protected
load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx)	llama_ros::Llama	protectedvirtual
lora_adapters	llama_ros::Llama	protected
model	llama_ros::Llama	protected
mutex	llama_ros::Llama	private
n_consumed	llama_ros::Llama	protected
n_past	llama_ros::Llama	protected
params	llama_ros::Llama	protected
prompt_tokens	llama_ros::Llama	protected
rank_document(const std::string &query, const std::string &document)	llama_ros::Llama
rank_documents(const std::string &query, const std::vector< std::string > &documents)	llama_ros::Llama
reset()	llama_ros::Llama	virtual
sample()	llama_ros::Llama	protected
sampler	llama_ros::Llama	protected
spinner	llama_ros::Llama	protected
system_prompt	llama_ros::Llama	protected
threadpool	llama_ros::Llama	protected
threadpool_batch	llama_ros::Llama	protected
tokenize(const std::string &text, bool add_bos, bool special=false)	llama_ros::Llama
truncate_tokens(const std::vector< llama_token > &tokens, int limit_size, bool add_eos=true)	llama_ros::Llama
update_loras(std::vector< struct LoRA > loras)	llama_ros::Llama
~Llama()	llama_ros::Llama	virtual