AI 에이전트 교육

1일차 AI의 역사

AI의 역사

AI와 기존의 가장 큰 차이점은 데이터 기반이라는 것. 기존에는 개발자(사용자)가 정의한 룰에 따라 동작하는게 프로그램이었는데요. AI는 데이터를 기반으로 룰을 만들어 주는 형태라고 합니다.

초기에는 사람들의 행동을 모방해서 코딩으로 사용자가 직접 룰을 세팅하여 프로그램을 코딩하여 AI를 구현하려고 했는데, 이제는 컴퓨터가 직접 데이터를 스스로 학습하여 패턴을 학습하는 형태라고 볼 수 있습니다. 정답이 없는 데이터를 가지고 직접 찾는 형식이 딥러닝이라고 할 수 있습니다.

이 딥러닝은 2012년 딥러닝의 아버지라고 불리는 제프리 힌튼 교수의 “알렉스넷” ILSVRC를 우승하면서 알고리즘의 우월성을 나타내면서 딥러닝의 시대로 전환하게 됩니다.

그리고 AI의 발전에는 기존의 순차적인 RNN을 뛰어넘는 트랜스포머 모델의 발견이 큰 변화를 만들어 냈습니다.

Transformer

기존의 RNN은 순차처리를 진행했는데요. 문장이 길어지면 앞부분을 망각한다는 단점이 있습니다. 이에 비해 Transformer 모델은 문장 전체를 한눈에 파악하고 이 “어텐션”을 통해서 문장간의 관계를 파악합니다.

즉 어텐션이 모든 단어의 상관관계를 분석해서 파악해 줍니다.

기존 RNN과 달리 전체의 유사도를 계산해서 알려줍니다.

무엇보다 순차처리가 아닌 병렬처리가 가능해지면서 LLM에서 사용하는 파라미터를 폭발적으로 증가할 수 있어서 AI가 더 많은 데이터를 학습할 수 있게 되었습니다.

그리고 우리가 사용할 수 있는 ChatGPT의 기반이 되는 알고리즘이 만들어진 것입니다.