Self Consitency prompt

 

CoT 를 향상시키는 기법으로 기본 아이디어는 CoT 에 LLM 에 중간에 생각의 과정을 만들고 생각

 

Temprature 에 따라 다양하게 샘플링이 가능하기 때문에  모델이 여러개의 추론과정과 결과에 대해서 샘플링이 가능하다.
(Temrature가 0이면 안된다)

결국 여러개의 샘플링 된 결과중에서 일관성있는 결과를 통해서 최종적인 정답으로 만든다

 

방식 : 결과에 대한 값을 투표, Softmax에 의한 확률로 고르는 방법도 있고, 값들의 평균확률 등 다양하게 있다

 

실험 결과에서는 Majority vote 즉 투표로 일관성있게 많은 답변인게 성능이 제일 좋게 나왔다.

 

class CoT(Basemodel):
	throught: str = Field(description="step by step throught process")
    answer : Union(int,float) = Field(description = "Answer")