University of Texas at Arlington (UTA)의 박동근 교수님 세미나
저 제목은 일부의 이야기이고 실제 주제는 Human Level AI 였다.
definition of Intelligence..?
⇒ Universal intelligence : agent, goal, environment.
범용적인 목적의 지능
Level 1 : no learning, updated by evolution e.g. worms
Level 2 : direct learning, updated by reward e.g. rats
Level 3 : indirect learning, updated by imaginary reward e.g. monkey
Human Level : level 3 intelligence with language.
GPT는 Human level인가?
⇒ Language 를 통해서 policy update를 수행하는가?
⇒ 기존의 LLM 모델들은 그렇지 않다-context는 attention이지 policy update가 아니다.
⇒ GPT는 언어를 사용하지 않는다.
Definition of HLAI :
symbolic description을 얻을 수 있는 sensory가 있고
실제로 경험한 것과 symbolic description것에 의한 policy update가 동일하게 이루어진다.
e.g. 불을 만져서 뜨겁다는 것을 아는것과 불이 뜨겁다고 들은 것이 동일한 policy update를 수행.
- Long term goal
- HLAI
- Short term goal
- next level ? = level 2
How brain learn?
Level 2의 동물 부터 neocortex가 있음
⇒ cortical columns for level 2 intelligence
⇒ universal modules with autoregressive function라고 주로 추정한다.
low layer : sensor ⇒
⇒ summary
< - context
high layer : control →
⇒ Heterachical network
heiracical 하기엔 top이 여럿
graph라기엔 계층이 존재
⇒ locally update 가능하고 self-sufficient하다 (universal autoregressive)
level 1은 cpu only
level 2 : cpu + RAM
Amygdala라는 기관이 있는데 뇌의 상태를 다음처럼 세팅한다고 한다.
- Fight or flight
- busy(type I) e.g. 자전거, 현재 딥러닝의 단계
- focus(type II)
- idle
사람의 hippocampus는 RL의 replay buffer역할을 한다.
hippocampus는 신호를 반복해서 episodic memory에 저장되게 한다 - 한번만 일어난 사건을 저장함 -
이 떄, hipoccampus에서는 abstract한 정보가 루프가 되고 low layer에서 상세한 정보를 받아온다.
⇒ Amygdala, Hippocampus 같은 부분(instinct)은 하드코딩된 부분이며
Heterachical network는 학습할 수 있다.
e.g. social learning을 하기 위해서 사람 뇌에는 선천적으로 얼굴을 인식하는 회로가 있다.
- 저번에 삼성AI포럼에서도 LLM에서 Human guided한 방법으로 가야한다고 몇몇 연사분들이 발언을 하였는데, E2E에서 heuristic한 방향으로 나아가는 것일까?
- hipoccampus의 동작 구조 자체를 보면 CRN을 사용하는 UNet이다. 그래서 cognition architecture에 영향을 받았다는 top-down 구조를 추가적으로 차용한 실험에서 성능향상이 없었을지도?