ChatGPT LLM 용어 정리 – temperature, Top-k

ChatGPT LLM 용어 정리 – temperature, Top-k

ChatGPT를 사용하다보면 LLM 용어가 많이 나오는데요. 특히 API로 호출하는 경우 많은 옵션이 있는데요. 오늘 그 옵션에 대해서 알아보겠습니다.

기본적으로 옵션은 답변을 생성할 때 확률에 대한 이야기라고 생각하시면 됩니다. 기본적으로 LLM은 다음 나올 단어를 예상하는 것이고, 이것에 대한 파라미터는 대표적으로 아래와 같습니다.

“tokens”

  • 이 값은 모델이 생성하는 토큰의 수에 제한에 대한 내용입니다. 길수록 더 많은 답변을 말할 수 있는데요. 다만 토큰이 길 수록 비용이 늘어날 수 밖에 없습니다.

“Greedy Decoding”

  • 다음 단어 예측을 위한 가장 간단한 방법으로, 가장 높은 확률을 가진 단어를 선택합니다. 그러나 이는 반복된 단어나 시퀀스를 결과로 가져올 수 있습니다.

“Top-K”

  • 가장 높은 확률을 가진 k개의 토큰 중에서 선택하여 옵션을 제한하며, 높은 무작위성을 촉진하면서도 매우 불가능한 완성을 방지합니다. 즉 위에서 보면 다음 나올 단어가 Cake, Donut, Banana, apple 순인데, k를 3으로 제한하면 apple은 나오지 않습니다.

“Top-P”

  • 누적 확률이 지정된 임계값을 초과하지 않는 예측에 무작위 샘플링을 제한하여 합리적인 출력을 보장합니다.
  • 즉 위에 상황을 살펴보면 p가 0.3으로 제한하면 누적 확률이 30%인 cake와 donut만 나오게 됩니다.

“Temperature”

  • 확률 분포의 형태에 영향을 미치는 파라미터인데요. 높은 온도 값은 무작위성을 증가시키며, 낮은 값은 확률을 더 작은 단어 집합에 집중시켜 정확도를 높일 수 있다고 합니다.
  • 일명 창의성 지표라고 하는데요. 온도가 높으면 창의성이 높고 낮으면 좀더 정확한 결과를 얻을 수 있습니다.

LLM의 출력을 입력하다보면 위와 같은 파라미터를 볼 수 있는데요. 잘 확인하셔서 사용하시기 바랍니다.

Similar Posts

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다