llama_ros: llama.cpp for ROS 2
Loading...
Searching...
No Matches
Classes | Public Member Functions | Static Public Attributes | Protected Member Functions | List of all members
llama_ros.langchain.llama_ros_common.LlamaROSCommon Class Reference
Inheritance diagram for llama_ros.langchain.llama_ros_common.LlamaROSCommon:
Inheritance graph
[legend]
Collaboration diagram for llama_ros.langchain.llama_ros_common.LlamaROSCommon:
Collaboration graph
[legend]

Classes

class  Config
 

Public Member Functions

Dict validate_environment (cls, Dict values)
 
None cancel (self)
 

Static Public Attributes

LlamaClientNode llama_client = None
 
CvBridge cv_bridge = CvBridge()
 
Metadata model_metadata = None
 
int n_prev = 64
 
int n_probs = 1
 
int min_keep = 0
 
bool ignore_eos = False
 
dict logit_bias = {}
 
float temp = 0.80
 
float dynatemp_range = 0.0
 
float dynatemp_exponent = 1.0
 
int top_k = 40
 
float top_p = 0.95
 
float min_p = 0.05
 
float xtc_probability = 0.0
 
float xtc_threshold = 0.1
 
float typical_p = 1.00
 
int penalty_last_n = 64
 
float penalty_repeat = 1.00
 
float penalty_freq = 0.00
 
float penalty_present = 0.00
 
float dry_multiplier = 0.0
 
float dry_base = 1.75
 
int dry_allowed_length = 2
 
int dry_penalty_last_n = -1
 
list dry_sequence_breakers = ["\\n", ":", '\\"', "*"]
 
int mirostat = 0
 
float mirostat_eta = 0.10
 
float mirostat_tau = 5.0
 
str samplers_sequence = "edkypmxt"
 
str grammar = ""
 
str grammar_schema = ""
 
list penalty_prompt_tokens = []
 
bool use_penalty_prompt_tokens = False
 

Protected Member Functions

GenerateResponse.Result _create_action_goal (self, str prompt, Optional[List[str]] stop=None, Optional[str] image_url=None, Optional[np.ndarray] image=None, Optional[str] tools_grammar=None, **kwargs)
 

Member Function Documentation

◆ _create_action_goal()

GenerateResponse.Result llama_ros.langchain.llama_ros_common.LlamaROSCommon._create_action_goal ( self,
str prompt,
Optional[List[str]] stop = None,
Optional[str] image_url = None,
Optional[np.ndarray] image = None,
Optional[str] tools_grammar = None,
** kwargs )
protected

◆ cancel()

None llama_ros.langchain.llama_ros_common.LlamaROSCommon.cancel ( self)

◆ validate_environment()

Dict llama_ros.langchain.llama_ros_common.LlamaROSCommon.validate_environment ( cls,
Dict values )

Member Data Documentation

◆ cv_bridge

CvBridge llama_ros.langchain.llama_ros_common.LlamaROSCommon.cv_bridge = CvBridge()
static

◆ dry_allowed_length

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.dry_allowed_length = 2
static

◆ dry_base

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.dry_base = 1.75
static

◆ dry_multiplier

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.dry_multiplier = 0.0
static

◆ dry_penalty_last_n

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.dry_penalty_last_n = -1
static

◆ dry_sequence_breakers

list llama_ros.langchain.llama_ros_common.LlamaROSCommon.dry_sequence_breakers = ["\\n", ":", '\\"', "*"]
static

◆ dynatemp_exponent

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.dynatemp_exponent = 1.0
static

◆ dynatemp_range

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.dynatemp_range = 0.0
static

◆ grammar

str llama_ros.langchain.llama_ros_common.LlamaROSCommon.grammar = ""
static

◆ grammar_schema

str llama_ros.langchain.llama_ros_common.LlamaROSCommon.grammar_schema = ""
static

◆ ignore_eos

bool llama_ros.langchain.llama_ros_common.LlamaROSCommon.ignore_eos = False
static

◆ llama_client

LlamaClientNode llama_ros.langchain.llama_ros_common.LlamaROSCommon.llama_client = None
static

◆ logit_bias

dict llama_ros.langchain.llama_ros_common.LlamaROSCommon.logit_bias = {}
static

◆ min_keep

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.min_keep = 0
static

◆ min_p

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.min_p = 0.05
static

◆ mirostat

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.mirostat = 0
static

◆ mirostat_eta

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.mirostat_eta = 0.10
static

◆ mirostat_tau

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.mirostat_tau = 5.0
static

◆ model_metadata

Metadata llama_ros.langchain.llama_ros_common.LlamaROSCommon.model_metadata = None
static

◆ n_prev

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.n_prev = 64
static

◆ n_probs

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.n_probs = 1
static

◆ penalty_freq

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.penalty_freq = 0.00
static

◆ penalty_last_n

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.penalty_last_n = 64
static

◆ penalty_present

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.penalty_present = 0.00
static

◆ penalty_prompt_tokens

list llama_ros.langchain.llama_ros_common.LlamaROSCommon.penalty_prompt_tokens = []
static

◆ penalty_repeat

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.penalty_repeat = 1.00
static

◆ samplers_sequence

str llama_ros.langchain.llama_ros_common.LlamaROSCommon.samplers_sequence = "edkypmxt"
static

◆ temp

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.temp = 0.80
static

◆ top_k

int llama_ros.langchain.llama_ros_common.LlamaROSCommon.top_k = 40
static

◆ top_p

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.top_p = 0.95
static

◆ typical_p

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.typical_p = 1.00
static

◆ use_penalty_prompt_tokens

bool llama_ros.langchain.llama_ros_common.LlamaROSCommon.use_penalty_prompt_tokens = False
static

◆ xtc_probability

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.xtc_probability = 0.0
static

◆ xtc_threshold

float llama_ros.langchain.llama_ros_common.LlamaROSCommon.xtc_threshold = 0.1
static
The documentation for this class was generated from the following file:
Generated by doxygen 1.13.2