llama_ros: llama.cpp for ROS 2
Loading...
Searching...
No Matches
llama_rerank_demo_node.py File Reference

Namespaces

namespace  llama_demos
 
namespace  llama_demos.llama_rerank_demo_node
 

Variables

 llama_demos.llama_rerank_demo_node.rerank_req = RerankDocuments.Request()
 
 llama_demos.llama_rerank_demo_node.query
 
 llama_demos.llama_rerank_demo_node.documents
 
 llama_demos.llama_rerank_demo_node.scores = LlamaClientNode.get_instance().rerank_documents(rerank_req).scores
 
 llama_demos.llama_rerank_demo_node.scored_docs = list(zip(rerank_req.documents, scores))
 
 llama_demos.llama_rerank_demo_node.result = sorted(scored_docs, key=operator.itemgetter(1), reverse=True)