1장 - NLP의 과거와 오늘

한 권으로 끝내는 실전 LLM 파인튜닝: NLP의 역사와 AI의 탄생

인간의 언어를 기계는 어떻게 이해하는가? 이 근본적인 질문은 인공지능 연구자를 이끌어온 나침반이었음. 이 장에서는 이러한 질문들을 중심으로 자연어 처리(NLP: Natural Language Processing)와 인공지능의 발전 과정을 단계적으로 살펴봄.

1장에서는 AI의 역사적 맥락에서 시작해 각 기술의 등장 배경과 발전 과정을 다룸. 1930년대 논문부터 시작해 지난 수십 년 동안 이루어진 연구와 실험으로 쌓인 중요 이정표들을 역사적 순서에 따라 탐험함.

---

1. NLP의 역사적 이정표와 주요 연구

[이미지 1] 인공지능 및 NLP 발전 타임라인

AI 역사는 수십 년간의 연구가 쌓인 결과물임. 특히 현대 AI의 기반이 된 핵심 연구 3가지는 다음과 같음:

• 앨런 튜링: Computing Machinery and Intelligence
• 프랭크 로젠블랫: The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
• 데이비드 루멜하트, 제프리 힌튼, 로널드 윌리엄스: Learning Representations by Back-Propagating Errors

1.2. 초기 기계 번역: 아르츠루니에서 조지타운 실험

전쟁 속에서 암호 해독이 중요해지면서 언어 간 자동 번역에 대한 관심이 높아졌고, 디지털 기계가 나오기 전부터 현대적 기계 번역에 대한 개념이 제시됨.

1.2.1 기계식 번역의 태동: 아르츠루니 기계

디지털 컴퓨터 이전에도 자동 번역 시도가 있었음. 아르츠루니는 종이테이프에 단어를 저장해 검색하는 기계를 개발함.

[이미지 2] 아르츠루니의 기계식 번역 장치

종이테이프를 주요 매체로 활용하여 각 종이테이프에 단어들을 저장하고, 필요할 때마다 검색하는 방식으로 작동함.

현대적 디지털 저장 장치와 검색 시스템의 초기 형태임:

• 1단계: 단어를 입력하면 판독 헤드(reading head)에 있는 톱니바퀴가 자동으로 움직임
• 2단계: 모터가 구동되면서 단어 목록이 기록·천공된 선택기 메커니즘의 테이프와 메모리 장치 테이프가 동시에 맞물려 회전
• 3단계: 선택기 테이프의 구멍 위치가 사용자가 입력한 판독 헤드의 지시선과 정확히 일치하는 순간 회전이 멈춤
• 4단계: 구멍이 일치하여 슬롯이 열리면 해당 단어의 대응 결과(번역어 등)가 표시되며, 검색된 단어가 지워진 후 다음 주기로 넘어감

한계점: 단순 단어를 치환하는 부분만 동작하여 문법이나 문맥을 전혀 고려하지 못함. 다만, 문화권이 비슷한 언어 간 번역에서는 나름 의미가 있었음.

피터 트로얀스키(Petr Troyanskii)의 기계 번역 방식

단순한 단어 사전을 넘어 인간과 기계의 협업 및 에스페란토 기반의 공통 논리 기호(중간 언어)를 도입한 3단계 처리 과정이 핵심임:

• 1단계 (인간의 분석 및 변환): 원문 언어의 단어들을 논리적 어간 형태로 바꾸고, 구문과 문법적 기능을 범용 논리 기호로 분석·기록하는 작업 (인간 편집자 담당)
• 2단계 (기계의 변환): 기계가 이 어간과 논리 기호를 입력받아 대상 언어의 어간 및 기호로 자동 치환
• 3단계 (인간의 정규화): 기계가 출력한 대상 언어의 어간과 기호 조합을 원어민 편집자가 자연스러운 문장 형태로 교정 및 완성

한계점: 각 단어를 순차적으로 처리하기 때문에 문장의 전체 구조나 문맥을 파악하는 능력이 부족했음.

1.2.2 위버의 제안과 조지타운-IBM 실험

• 위버의 제안 (1949년): 러시아어 글을 '영어 문장이 이상한 기호로 암호화된 것'으로 보고 해독하고자 하는 암호학적 접근에서 시작됨. 언어의 통계적 특성과 단어 빈도 분석을 제안하며 현대 통계 기반 번역의 씨앗을 뿌렸고, 다의성 문제 해결을 위해 주변 단어의 문맥(Context)을 살펴보는 방법을 제시함.
• 조지타운-IBM 실험 (1954년): IBM 701 대형 전자컴퓨터가 투입되어 250개의 러시아어 단어와 6가지 문법 규칙만으로 제한된 프로그래밍을 수행함. 철저히 통제된 60개의 러시아어 과학/일반 문장을 영어로 매끄럽게 번역해 기계 번역 상용화에 대한 큰 기대와 정부 지원금을 이끌어냈으나, 실제 자연어의 복잡한 벽에 부딪혀 한계를 드러냄.

1.2.3 초기 기계 번역의 한계와 새로운 전환

처리 능력과 메모리 용량이 매우 제한적이다 보니 복잡한 알고리즘 실행에 제약이 많았고, 초기 번역은 기본적인 문법 규칙에 의존하는 수준에 그쳤음. 이러한 제약을 벗어나기 위한 실용적 연구가 지속됨.

이러한 상황에서 앨런 튜링은 인간의 언어를 다른 언어로 번역하는 것이 아니라, "기계가 생각하게 할 수 있을까?"라는 근본적인 관점을 제시함. 기계가 생각할 수 있다면 입력된 내용을 이해하고 다른 언어로 매끄럽게 번역될 수 있다는 것임. 튜링의 관점은 인공지능의 본질과 가능성에 대한 새로운 사고의 틀을 제공하며 철학, 종교학, 공학 등 다양한 학문 분야에 큰 반향을 일으킴.

1.3. 인공지능의 본질: "기계는 생각할 수 있는가?"

1.3.1 튜링의 질문과 튜링 테스트

당시 기계는 공장이나 산업 현장의 대형 설비, 대량 생산을 위한 도구로만 여겨졌기 때문에 이 질문은 논란이 컸음. 그러나 튜링은 기계를 단순히 하드웨어로만 보지 않고 소프트웨어 시스템을 포함해, 사람을 제외하고 저장, 실행, 제어 기능을 갖춘 것은 모두 기계로 정의함.

튜링은 생각하는 능력을 기계의 행동으로 평가할 수 있다고 보았음. 기계가 인간과 구별되지 않는 방식으로 행동할 수 있다면 '그 기계는 생각하고 있다'고 볼 수 있다는 주장임. 여기서 탄생한 것이 바로 튜링 테스트임.

• 구성: 질문자, 응답자(인간), 기계 응답자
• 방식: 질문자가 질문을 던지고 두 응답자의 답변을 받아 누구의 답변인지 모르는 상태에서 평가할 때, 인간과 기계의 답변을 질문자가 구분하지 못한다면 기계가 생각하고 있다고 평가함

1.3.2 AGI를 향한 진화 (구글의 5단계 재정립)

현재 AI 연구는 범용 인공지능(AGI)을 목표로 하며, 구글은 이를 5단계로 정의함:

1. 태동 (Emerging): 특정 작업 시작 단계
2. 능숙 (Competent): 평균 성인 인지 능력 수준
3. 전문가 (Expert): 상위 1~10% 인간 수준
4. 거장 (Virtuoso): 대다수 전문가를 추월함
5. 초인간 (Superhuman): 모든 영역 압도하는 초지능

1.4. 기계는 어떻게 학습하는가? (학습 메커니즘)

인공지능은 결국 인간의 뇌를 모방하려는 노력에서 발전함. 기계가 정보를 처리하고 학습하는 방식의 발전 과정을 살펴봄.

1.4.1 맥컬록-피츠(MCP) 뉴런 (1943)

신경리학자 워런 맥컬록과 수학자 월터 피츠는 인간의 뇌 신경세포(뉴런)를 모사한 최초의 인공 뉴런 모델을 제안함. 핵심은 '임계 논리(Threshold Logic)'임.

• 전기 스위치 같은 작동 방식: 뉴런으로 들어오는 입력 신호들의 총합이 정해진 기준값(임계값, Threshold)을 넘으면 뉴런이 켜지고(활성화, 1), 넘지 못하면 꺼진 상태(비활성화, 0)를 유지함.
• 의미: "특정 조건이 충족되면 반응하고, 충족되지 않으면 무반응"이라는 단순한 조건문 형태의 정보 처리 방식 제공. 스위치들을 촘촘하게 엮어 컴퓨터가 논리 연산을 수행할 수 있는 근본 뼈대 마련.

1.4.2 헤비안 학습 (1949)

외부 지시 없이 스스로 크는 힘: 도널드 헤브의 '헤비안 학습(Hebbian Learning)' (1949)

• 캐나다의 심리학자 도널드 헤브는 이 스위치들이 어떻게 똑똑해지는가에 대한 단서를 제공함.
• 핵심 원리: "함께 firing(활성화)하는 뉴런들은 함께 연결된다 (Neurons that fire together, wire together)."
• 신경 가소성 (Neuroplasticity): 뇌의 뉴런들이 동시에 활성화될 때 그들 사이의 물리적 연결(시냅스)이 더욱 강해지는 뇌의 적응 능력 의미.
• 자율학습(Unsupervised Learning)의 시초: 인간이 일일이 "이게 정답이야"라고 가르쳐주지 않아도 외부의 지시나 보상 없이 뉴런들이 상호작용하며 스스로 학습하는 길을 열었음.

1.4.3 컴퓨터 안에서 재현된 신경망 : 팔이와 웨슬리 클라크 실험 (1954)

1954년, 팔이(B. Farley)와 웨슬리 클라크(Wesley Clark)는 MIT에서 중요한 실험을 수행함. 이들은 헤브의 이론을 실제로 검증하기 위해 최초로 컴퓨터를 활용한 계산 모델을 만듦.

• 디지털 시뮬레이션의 시작: 과학자들이 실험실에서 생물학적 현상을 재현하듯, 컴퓨터 안에 인공적인 신경망을 구현하여 작동 방식을 관찰함.
• 연구의 의의: 헤브의 학습 원리를 컴퓨터 프로그램으로 구현하여 가상 뉴런들의 연결 관계를 시뮬레이션함. 뇌의 복잡한 학습 과정을 단순화하여 관찰함으로써, 이후 인공지능 분야에서 컴퓨터 시뮬레이션이 필수 연구 방법론으로 자리 잡는 데 기여함.

1.4.4 퍼셉트론의 탄생 : 프랭크 로젠블랫 (1957)

1957년, 프랭크 로젠블랫(Frank Rosenblatt)은 현재 인공신경망의 핵심이 되는 퍼셉트론(Perceptron)을 개발함.

• 최초의 하드웨어 구현: 인간의 뉴런을 모방한 인공 신경망 모델 설계 및 최초 가동.
• 역사적 논문: *《The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain》*을 통해 개발 과정과 작동 원리 상세 발표.
• 의의: 현대 인공신경망과 딥러닝의 직접적인 기초가 되었으며, 수많은 인공지능 기술 발전의 단단한 기반이 됨.

1.4.5 퍼셉트론 : 인공지능 학습의 첫걸음

• 퍼셉트론과 연결주의 (로젠블랫, 1957): 정보를 고정된 코드로 저장하지 않고, 뉴런 간의 연결 강도(가중치)를 통해 저장함. 경험에 따라 신경망 연결이 변하며, 자극과 반응 사이의 확률적 관계를 학습함.
• 통계적 방법과 자발적 조직화: 불 대수나 기호 논리 대신 통계를 활용해 무작위 신경망의 신뢰성 있는 작동을 설명함. 입력 신호의 가중합이 임곗값을 넘으면 활성화되는 구조 도입. '밥을' 입력 시 '먹다' 같은 연관 단어는 활성화하고 관련 없는 단어는 억제하는 '자발적 조직화(Spontaneous Organization)' 실현.
• 선형적 분리 (Linear Separation): 두 종류의 입력을 직선이나 평면 등 단순한 기하학적 형태로 명확하게 구분할 수 있는 능력. 퍼셉트론이 첫 자극에 '1', 두 번째 자극에 '0'으로 안정적 반응 확인. 인공 신경망 및 딥러닝 발전의 핵심 초석.

1.4.6 퍼셉트론의 5가지 한계

단층 퍼셉트론은 인공지능 역사에 큰 획을 그었지만, 이후 마빈 민스키 등의 연구를 통해 구조적인 한계가 명백히 드러나게 됨. 로젠블랫이 지적하거나 마주했던 퍼셉트론의 핵심 한계 5가지는 다음과 같음:

• 한계 1 - 기존 원칙의 단순한 개선으로는 충분하지 않음: 기본 구조나 작동 방식을 조금씩 고치는 방식만으로는 당시 마주한 근본적 인공지능 난제 해결에 턱없이 부족함.
• 한계 2 - 시간적 요소를 고려하지 않음: 입력 데이터나 자극의 '시간적 흐름이나 순서'를 고려하지 못해 시계열 데이터 같은 연속적 맥락 포착에 약점 존재.
• 한계 3 - 상대적 판단과 관계 추상화의 한계: 단순 패턴 인식 및 분류는 가능하나 두 자극 간의 상대적 관계 인식과 추상화에 어려움.
• 한계 4 - 선형적 분리의 한계와 XOR 문제: 직선/평면으로 나뉘는 선형 분리 가능 문제만 해결 가능. XOR 문제 같은 비선형적 분류 문제 단독 해결 불가로 첫 번째 AI 암흑기(겨울) 도래.
• 한계 5 - 인간 학습 이론의 경쟁자로 보기엔 너무 원시적: 인간의 고차원적 학습/인지 과정을 설명하기에 지나치게 단순하고 원시적이어서 진정한 대안/경쟁자로 보기 무리.

1.5 역전파 알고리즘 : 학습의 혁명 (비선형 문제와 암흑기)

퍼셉트론이 자발적 조직화를 통해 자극을 구분할 수 있다는 발견은 AI 분야에 큰 흥분을 불러일으켰고 투자가 이어졌으나, 결정적인 제동을 거는 문제가 발생함.

제시된 그림 1.4(XOR 패턴 등)를 보면, 2개의 흰색 점(노란색)과 2개의 검은색(보라색) 점이 좌표상에 배치되어 있음. 이 4개의 점은 색깔별로 단 하나의 직선(선형)만으로는 절대 깔끔하게 분리할 수 없음. 이처럼 단순한 선형 형태로는 해결할 수 없는 문제를 비선형 문제라고 하며, 퍼셉트론의 치명적 한계가 드러남.

이러한 한계는 민스키 등의 저서인 《Perceptrons》(그림 1.5)을 통해 수학적·기하학적으로 증명되었고, AI 연구는 일시적 침체기인 '인공지능의 암흑기'를 맞이하게 됨. 실제 세계의 복잡한 현상은 단순 선형 관계로 설명하기 어렵기 때문에 비선형 문제 해결 능력이 필수적이며, 이를 극복하기 위한 돌파구가 대두됨.

1.5.1 비선형성 : 더 똑똑한 인공지능을 만드는 열쇠

선형과 비선형의 차이는 단순히 직선과 곡선의 형태 문제가 아니며, 모델의 학습 능력과 표현력에 큰 영향을 미침. 비선형성은 AI가 복잡한 패턴을 학습하고 다양한 문제를 해결하게 해주는 핵심 요소임.

• 선형 모델의 한계와 다층 퍼셉트론(MLP)의 등장: 단일 퍼셉트론 벽을 넘기 위해 여러 층을 쌓는 MLP 제안. 선형 함수 $f(x)=ax+b$ 미분 시 상수가 되고 역전파 시 0이 되므로, 순수 선형 활성화 함수만 쓰면 층을 쌓아도 단일 선형 변환으로 축소되어 학습이 안 되는 문제가 발생함.
• 비선형 활성화 함수의 도입과 역방향 학습: 비선형 함수 도입으로 작은 입력 변화가 큰 출력 변화를 일으킬 수 있게 됨. 역방향 학습(역전파) 시 미분해도 0이 되지 않고 다양한 값으로 전파되어 가중치가 효과적으로 업데이트됨. 각 층의 뉴런이 의미 있는 정보로 요약하고 복잡한 데이터 패턴을 해결할 수 있게 함.
• 암흑기를 넘어선 새로운 도약: 비선형성은 신경망 학습 능력을 극대화하는 핵심이며, AI 기술이 정교한 응용 분야로 확장될 기반이 됨. 이는 AI 암흑기를 종식시킨 《Learning Representations by Back-Propagating Errors》 논문의 역전파 알고리즘으로 이어짐.

1.5.2 역전파 알고리즘 : 학습의 혁명

1986년 데이비드 루멜하트, 제프리 힐튼, 로널드 윌리엄스가 발표한 논문 《Learning Representations by Back-Propagating Errors》는 퍼셉트론의 한계를 극복하고 비선형 문제를 해결할 새로운 전기를 마련함.

• 핵심 원리: 다층 신경망에서 각 층의 가중치를 효과적으로 조정할 수 있게 해주는 역전파(Backpropagation) 알고리즘 제시.
• 비유적 이해: 아이에게 그림 그리는 법을 가르치듯, 네트워크 예측 결과와 실제 정답의 오차를 계산해 출력층에서 입력층 방향으로 거꾸로 전파하며 가중치 정교화.
• 연쇄 법칙과 미분: 손실 변화율이 비선형 활성화 함수(시그모이드 등)를 거쳐 역전파될 때 연쇄 법칙(Chain Rule) 적용. 비선형 함수는 항상 0이 아닌 미분값을 가져 오차가 깊은 층까지 효과적으로 전달됨.
• 대칭 감지 문제 해결: 선형적 방법으로 불가한 비선형 문제인 '대칭 감지'를 단 두 개의 은닉 뉴런을 가진 간단한 신경망으로 해결하며 알고리즘의 강력함 증명.

1.6 트랜스포머의 등장 : NLP의 새로운 시대

1986년 역전파 알고리즘 도입 이후, 인공지능과 머신러닝 분야는 지난 30년간 급속도로 발전하며 자연어 처리(NLP)의 새로운 지평을 열어옴.

1.6.1 차원의 저주와 초기 통계적 접근 (1990년대 ~ 2000년대)

• 데이터 차원이 증가할수록 성능이 저하되는 '차원의 저주'를 극복하기 위해 PCA, t-SNE 등 차원 축소 기법 활발히 연구됨.
• 2000년대 중반부터 규칙 기반 시스템에서 통계적 방법론으로 전환되며 기계가 언어를 이해하는 기반 마련.

1.6.2 임베딩 기술과 순차 데이터 처리 (2013년 ~ 2015년)

• Word2Vec (2013): 단어 의미를 저차원 벡터 공간에 매핑해 ‘왕 - 남자 + 여자 = 여왕’ 같은 의미적 관계를 벡터 연산으로 표현함.
• GloVe (2014): 전체 말뭉치의 통계 정보를 활용해 더 풍부한 단어 표현 제공.
• RNN과 LSTM (1997/2014): 연속적 텍스트(시퀀스) 처리에 특화되었으나 장기 의존성 문제를 겪던 RNN을 보완하기 위해 LSTM이 널리 쓰이며 기계 번역과 음성 인식에서 큰 성과 거둠.

1.6.3 어텐션 메커니즘과 사전 훈련 모델의 시대 (2015년 이후)

• 어텐션 메커니즘 (2015): 입력 시퀀스의 중요한 부분에 집중할 수 있게 해주어 기계 번역 분야에 큰 혁신 일으킴.
• 트랜스포머 (2017) 및 BERT·GPT (2018): 어텐션 기반 트랜스포머 구조 등장으로 대량 텍스트 사전 학습 후 파인튜닝하는 거대 언어 모델 시대 개막.

역전파 알고리즘으로부터 시작된 이 긴 여정은 오늘날 챗봇, 기계 번역, 질의응답 시스템 등 다양한 AI 응용 분야의 근간이 됨.