llama.hpp File Reference

#include <functional>
#include <memory>
#include <mutex>
#include <string>
#include <unordered_map>
#include <vector>
#include "common.h"
#include "json.hpp"
#include "llama.h"
#include "sampling.h"
#include "llama_utils/spinner.hpp"

Include dependency graph for llama.hpp:

This graph shows which files directly or indirectly include this file:

Go to the source code of this file.

Classes
struct	llama_ros::TokenProb
struct	llama_ros::LoRA
struct	llama_ros::CompletionOutput
struct	llama_ros::ResponseOutput
struct	llama_ros::EmbeddingsOuput
struct	llama_ros::Metadata
struct	llama_ros::Metadata::GeneralInfo
struct	llama_ros::Metadata::AttentionInfo
struct	llama_ros::Metadata::RoPEInfo
struct	llama_ros::Metadata::ModelInfo
struct	llama_ros::Metadata::TokenizerInfo
class	llama_ros::Llama

Namespaces
namespace	llama_ros

Typedefs
using	llama_ros::GenerateResponseCallback = std::function<void(struct CompletionOutput)>

Enumerations
enum	llama_ros::StopType {   llama_ros::NO_STOP , llama_ros::FULL_STOP , llama_ros::PARTIAL_STOP , llama_ros::CANCEL ,   llama_ros::ABORT }