[노트] '사회적 관계의 앙상블'로서의 데이터 유물론, AI fetishism, Digital Ecology-Marxism
http://kuchu-camp.net/xe/board_club_study/84333

“한 자동기계가 있었다고 알려져 있는데, 이 기계는 사람과 체스를 둘 때 이 사람이 어떤 수를 두든 반대 수로 응수하여 언제나 그 판을 이기게끔 고안되었다. 터키 복장을 하고 입에는 수연통(水煙筒)을 문 한 인형이 넓은 책상 위에 놓인 체스판 앞에 앉아 있었다. 거울 장치를 통해 이 책상은 사방에서 훤히 들여다볼 수 있다는 환상을 불러일으켰다. 실제로는 장기의 명수인 꼽추 난쟁이가 그 속에 들어앉아 그 인형의 손을 끈으로 조종하고 있었다. 사람들은 이 장치에 상응하는 짝을 철학에서 표상해 볼 수 있다. <역사적 유물론>으로 불리는 인형이 늘 이기도록 되어 있다. 그 인형은 오늘날 주지하다시피 왜소하고 흉측해졌으며 어차피 모습을 드러내어서는 안 되는 신학을 자기편으로 고용한다면 어떤 상대와도 겨뤄볼 수 있다.”

- 발터 벤야민, 「역사의 개념에 대하여」(1940), 1번 테제

https://en.wikipedia.org/wiki/Mechanical_Turk
https://en.wikipedia.org/wiki/Deep_Blue_(chess_computer)

(11/20) ㄸㄸㄹ, ㅇㄷㅅ, ㅇㅇ, ㅎㅊ, ㄱ, ㄱㅇㅁ

<AI/ML for Poets> Seminar

* 목적 : CS/AI/ML/기타등등 101
* 일시 : 매주 목요일 16:00 ~ 17:30
* 장소 : ㅎㄴㄱㅇㅇㅎㄱㅅㅇ B1B
* 참석자 : ㅋㄹ, ㅋㅇ, ㅎㄹ, ㅈㄴ, ㄷㅁㄴ, ㅂㄹㄷ, ㅂㅂ, ㄹㅅ, ㄹㄴ, ㅈ, ㅈㄷ + all are welcome (facil. : ㄱ)
* 안건 :
0. (16:00~16:10) Expectation
1. (16:10~17:00) Review & Discussion
2. (17:00~17:30) Contribution/Comment, Wrap-up, Next-step

* Main dishes :

1. "어떤 중국 백과사전" – Recommendation System(RS)

: <Las Meninas>, Distance & Similarity, MF(Matrix Factorization), PCA(Principal Component Analysis), Singular Value Decomposition, Association(Market Basket) Analysis, Graph DB, …

2. Brief History of Computer Architecture(CA) and AI – Turing Machine and Turing Test 

: Abacus(BC 3000), Pascal line(1645), Stepped Reckoner(1673), Boolean Logic(1854), AND/OR/NOT/XOR, 「On Computable Numbers, with an Application to the Entscheidungsproblem」(Turing, 1936),「A Symbolic Analysis of Relay and Switching Circuits」(Shannon,1937), BInary digiT, Half/Full Adder, Flip-flop, ALU, Von Neumann Architecture(1945), vacuum tube/IC/MOSFET, cpu, memory, gpu/npu, quantization, … | 「Computing Machinery and Intelligence」(Turing, 1950), Making a Mind vs Modelling a Brain, Perceptron(1957), AI Golden Years(1960s), MLP(1969), 1st AI-Winter(1974-1980), Commonsense Knowledge Problem, AI Boom(1980s), Back Propagation(1986), Expert System, 2nd AI-Winter(1987-1993), …, AI Fetishism(2020s), …

3. “연필로 푸는 신경망” – XOR problem/Multi-Layer Perceptron

: The 200 eyes of the scallop, Activation Function, Softmax,Loss Function, …), Back Propagation (Gradient Descent, Optimizer, Weight Initialization, Local minima, Vanishing Gradients, …

4. “You’re All I Need?” – Deep Learning

: CNN, RNN, Auto Encoder, GAN, Attention/Transformer(2017), BERT(2018), GPT-3(2020), 이루다, DALL-E, Adversarial attack, …

5. 라이프 게임(Game of Life) – Cellular Automata and Artificial Life

: Self-reproduction Automaton, L-systems, Rule 30, Langton’s Loop, Boids, L-systems, Caenorhabditis elegans, Self-Organization, …

6. “진동과 안정 사이의 딜레마” – Reinforcement Learning(RL)

: Dynamic Programming, Bellman Optimality Principle, Policy Iteration, ValueIteration : Sarsa, Q-Learning, DQN, Exploration-Exploitation Dilemma, ...

7. “Winter is Coming” – Data Materialism

: Data/Information/Knowledge, Data System Architecture, Mainframe/Data Center/Cloud, Data Mining, Big Data, Data Pipeline, AI Lifecycle, Digital Ecology, Ethics of AI Ethics, ESG, ...

8. 기타 등등 (as you want!)

2022.12 ~ 2023.4
@ 역삼동 ㅇㄱㅇ

[캣츠랩 2023 여름 강좌] 인공지능을 여행하는 인문사회 연구자를 위한 안내서

삶과 노동의 구석구석에 파고든 인공지능은 이제 사회를 규정하는 가장 강력한 권력 중 하나가 되었습니다. 하지만 인공지능은 역사와 성격, 물적 토대, 주요 알고리즘 등에 대한 깊이 있는 탐구에 기반하기보다, 한두 가지 속성으로 환원되거나 개인의 단편적 경험에 근거하여 이해되는 경우가 많습니다. 기술적, 사회적, 정치경제적, 윤리적, 생태적 측면을 엮어 다면적으로 파악하지 못하는 것입니다. 이러한 경향은 인공지능을 자본주의적 생산성과 효율성에 복무하는 도구로만 파악하고 기존의 불평등을 심화시키는 결과로 이어질 수 있습니다.

이러한 문제의식 하에 캣츠랩에서는 인공지능/머신러닝의 이론과 문제해결 방법론, 역사와 한계에 이르기까지, 인공지능/머신러닝 알고리즘의 원리와 물질적 토대를 아우르는 <인공지능을 여행하는 인문사회 연구자를 위한 안내서>를 마련했습니다. 무엇보다도 수학적 훈련을 받지 않은 인문사회과학 연구자들과 시민을 위한, 연필로도 풀 수 있는 인공지능/머신러닝 강좌입니다. <인공지능을 여행하는 인문사회 연구자를 위한 안내서>를 통해 인공지능의 원리를 심도있게 이해하고, 비판적 사고의 가능성을 열어 젖히며, 데이터 유물론/디지털 생태학에 대한 이론적 실천을 모색해볼 수 있을 것입니다.

- 1강: 추천 시스템 - 유사성과 거리(7월 10일)

트위터, 페이스북, 인스타그램, 유투브, 넷플릭스, 아마존 등 대부분의 플랫폼에서 사용하는 추천 알고리즘의 원리는 무엇일까요? 실제 서비스에 적용하기 위해 어떤 과정을 거쳐야 할까요?


- 2강: 계산하는 기계와 지능 - 컴퓨터 아키텍쳐와 인공지능의 간략한 역사(7월 17일)

컴퓨터는 무엇으로, 어떻게 만들었을까요? 왜 인공지능의 활황기와 침체기가 반복되어왔던 걸까요? 마음(mind)을 만드는 것과 두뇌(brain)를 모델링하는 방법론의 차이는 무엇일까요?


- 3강: 다층 퍼셉트론과 미분의 쓸모 - 신경망의 역전파(7월 24일)

다층 퍼셉트론(Multi-Layer Perceptron)은 어떻게 XOR problem을 해결할 수 있었을까요? 어떻게 미분/기울기를 이용해서 신경망을 학습(=가중치 업데이트)할 수 있을까요?


- 4강: You’re All I Need? - 딥러닝과 트랜스포머(8월 7일)

2010년대, 또 다시 인공지능의 붐이 시작된 계기는 무엇이었을까요? 대용량 언어 모델(LLM) 기반의 생성 AI는 어떻게 학습하고 서비스를 하는 걸까요?


- 5강: 진동과 안정 사이의 딜레마 - 강화학습과 인공생명(8월 14일)

오늘 점심은 무엇을 드셨나요? 평소 좋아하는 음식이었나요, 아니면 새로운 맛집을 찾아 떠나셨나요? 진동과 안정 사이의 딜레마(Exploration-Exploitation Dilemma)를 해결하기 위해 어떤 방법을 사용하면 좋을까요?


- 6강: Winter is coming. - 사회적/물질적/변증법적 관계의 앙상블로서의 AI/ML(8월 21일)

인공지능의 물질적 토대가 되는 하드웨어와 인프라는 어떻게 발전해 왔을까요? 실제 인공지능 서비스를 개발하고 운영하기 위해 필요한 요소들은 무엇이 있을까요?


강사: 김해리

IT/AI 노동자. 현장에서 미래를 추구하기 위해 자본론 순서에 따라 (한국-일본-영국-미국계) 제조-유통-금융업에서 20년 이상 소프트웨어 개발과 AI/ML 관련 연구 및 프로젝트를 수행하고 있다. 대학 때부터 다양한 인디문화/커뮤니티 활동을 해왔고, 제도 교육으로부터 공학석사와 문학석사 학위를 받았다. "아침에는 사냥하고, 오후에는 낚시하고, 저녁에는 소를 몰며, 저녁 식사 후에는 비평을 하면서도 사냥꾼으로, 어부로, 목동으로, 비평가로 되지 않"는 사회를 꿈꾸며, '밤의 틈에 키스'를 보내는 마음으로 세미나를 준비하고 있다.


- 수강료: 10만원(온라인/오프라인 동일, 인공지능 공부의 대중화를 위한 캣츠랩의 할인 이벤트)
- 일시: 7월 10일 ~ 8월 21일(매주 월요일 오후 7:30 ~ 9:30) 총 6회 강의 (7월 31일 휴강)
- 장소: 서울시 마포구 서강로 126, 4층 캣츠랩
- 신청: https://bit.ly/cats_summer_2
- 문의: catslab126@gmail.com

2024 캣츠랩 콜로키움 #5

알렉스넷과 구글의 고양이: 인공지능에 대한 기술/인문학적 접근
본 연구는 2012년의 두 실험, 즉 약칭 '알렉스넷'과 '구글의 고양이'에 대한 기술공학적인 분석을 통해 이것이 과연 어떤 이유에서 인공지능 개발사에 종별적인 차이와 함께 커다란 변혁을 가져왔는지를 검토할 것이다. 특히 두 실험의 핵심 기술인 ‘합성곱 신경망(Convolutional Neural Network)’과 ‘오토인코더(Autoencoder)’ 각각의 원리와 작동, 특징 등을 살펴보면서, 이를 연결 고리 삼아 인문사회적인 질문을 던지는 데까지 논의를 확장해 나가고자 한다. 그럼으로써 본 연구는 이 두 실험이 단순한 기술적 전환이 아니라 (그 의도와는 무관하게도) 언어적 전회(Linguistic Turn)를 인공적 전회(Artificial Turn)로까지 확장, 변형, 갱신하는 이음매 역할을 수행했음을 규명해 나갈 것이다. 인공지능에 대한 기술적 접근과 인문사회적 접근을 다양한 각도에서 교차시키고, 또 이를 통해 그러한 기존의 접근 자체를 그 내부에서부터 문제화하는 것이 이 연구의 목적이다.

발표: 박승일(캣츠랩 소장)
기술문화연구자. 인공지능에 대한 기술공학적 접근과 인문사회적 접근을 아우르는 비판적 연구를 진행 중이다.
토론: 김성우(캣츠랩 연구위원) / 김해리(IT/AI 노동자)
사회: Sangmin Kim(캣츠랩 연구위원)

일시: 2024년 4월 12일 금요일 19~21시
장소: 캣츠랩 (서울시 마포구 서강로126, 4층)
진행: 온오프 병행(온라인 신청자들에겐 줌 링크를 보내드립니다)
참가비: 5,000원 / 윤하민(헤비급) 국민은행 815601-04-152016
신청 링크: bit.ly/cats_col_5

토론 1. CS/ML 관점?

1) 우선, 좋은 점 :

"한편으로는 인공지능의 기술공학적 차원에서, 다른 한편으로는 기호학이라는 인문사회적 차원에서 규명"하고,
"고정된 (인문사회적) 개념과 이론을 미리 전제하고 이를 중심으로 (기술적) 분석을 진행하기보다는, 반대로 분석을 통해 개념 자체의 유효성을 되묻는, 그럼으로써 기존의 지식 체계를 침식하고 변형하는, 그런 근본적인 사유를 전개해 나가야 하는 게 아닐까?"

"무엇보다 이 글은 인공지능이 기존의 ‘언어적 전회(Linguistic Turn)’, 즉 언어가 우리의 사유와 경험을 구성한다는 문제설정을 어떻게 기술적 차원에서(기술적 언어를 통해) 반복하는지를 파고들면서, 기계에 의한 또 다른 전회의 가능성, 이른바 ‘인공적 전회’의 성립 여부를 원리적 차원에서 점검해 나가고자 한다. 인공지능이 자체의 고유한 방식을 통해 기표와 기의를 결합시키고 또 그럼으로써 이 세계를 인식하고 (재)구성한다면, 마치 언어가 그러했듯이 이 또한 어떤 전회의 한 계기가 될 수 있지 않을까?"

"인공지능과 언어(기호), 세계, 그리고 (기술적)존재/주체로 이어지는 새로운 계열을 묻는 것, 이것이 이 글의 핵심 질문이다."

그리고 그러한 질문에 대한 답으로, "인공적 전회의 세 가지 측면, 즉 1. 새로운 기호론의 정립과 2. 이를 통한 세계의 구성적 계기 마련, 그리고 3. 인공지능-인간 주체의 (재)형성"에 대한 화두를 던졌다고 생각합니다.


2) 질문 :

하지만, 여전히

1. "왜 2012년인가?"

AlexNet : 알고리즘 보다는 GPU 활용이 결정적 퍼포먼스 계기, 차라리, 2017년 transformer/self-attention?

CNN : 1989, 2006, 2009, ...
AE : sparse coding(1996), greedy layer-wise training(2006), x - x, 아이가 엄마 그리기, 아그립파 뎃생

알고리즘의 명확한 시점 구분이 어려움

과학기술공학 분야의 협업, 동일한 조건에서 재현/반복 가능성, 공유의 정신, 오픈소스, bottom-up, 리눅스 등 프리 소프트웨어 운동/아카이브/깃허브/커뮤니티의 활용

기호주의 vs 연결주의 :

통계 : 빈도주의(연역적) vs 베이지안(귀납적 정보/경험 중시)

Decision Tree : bagging vs boosting


2. 기호주의 -> 연결주의?

- 연결주의의 한계, 여전히 기호주의 논리(reasoning, planning, ...)가 필요함, 서로 상보적인 관계

- 기존 LM과 ChatGPT의 차별점 : Instruction, RLHF, RAG 등을 활용

- symbolic logic : AI/ML뿐 아니라 다양한 CS 분야에 사용(ex. compiler/인터프리터 (PL -> 기계어))


3. 사소한 오류/논쟁점

1) (p.15) 주석 7번 다음 : 화면 위에 표시되는 자연어만큼이나, 혹은 그보다 더, 컴퓨터 내부의 프로그래밍 언어가 그 근본적인 규정성을 통해 현재의 우리 삶을 재규정하고 있는 것이다.

-> 화면 위의 자연어(브라우저)와 프로그래밍 언어(F12)와 기계어(0/1)가 다른 것인가? 단지, layer/추상화, encoding/decoding, server/client, network protocol/communication의 문제, 어차피 모두 0/1...

2) (p.17) 주석 9 : 괴델의 불완전성 정리와 유사한 성격을 갖는다

-> 튜링 논문의 목적은 (힐베르트 주장에 대한) 괴델의 불완전성 정리를 튜링 머신으로 증명한 것,
튜링의 계산 가능성 : 수학이 불완전하듯, 세계도, 인간도, 컴퓨터도 마찬가지(불완전), 단, 계산 가능한 (일부) 문제에 대해서는 튜링 머신(컴퓨터)/알고리즘으로 풀 수 있음

3) (p.18) 프레임 문제 : 기호를 실제 세계와 연결하지 못하기 때문에

-> 최근, LLM/Gen AI는 물리법칙도 스스로 학습(ex. sora : text to movie), and 젤다의 전설 같은 게임에서는 명시적으로 물리법칙을 적용

4) (p.20) 기표와 기의의 연결? 준지도학습, 2023년(X)

-> 2017년 트랜스포머? 2006년에도 이미 unsupervised pre-training + supervised fine-tuning 아이디어/알고리즘/model이 존재...

5) 잠재 벡터를 기표/기의라고 할 수있을까?

잠재 벡터는 신경망/AE뿐 아니라 여러 알고리즘에서도 (이름은 다르지만) 사용되는 아이디어(ex. MF(Matrix Factorization), SVD(Singular Value Decomposition), PCA(Principal Component Analysis), ...)

어차피 모든 알고리즘이 현실 세계를 숫자로 인코딩/재현/압축/벡터화... 해야 하니까....


토론 2. 언어, 세계, 주체화에 대한 논의? 인코딩/디코딩? (비트겐슈타인) 게임 이론, (위너) 커뮤니케이션, (맑스) 사회적 관계의 앙상블

인공지능과 언어(기호), 세계, 그리고 (기술적)존재/주체로 이어지는 새로운 계열

1. 비트겐슈타인의 게임 이론 -> 활용

“언어놀이(Sprachespiel)”란 낱말은 여기서, 언어를 말하는 것이 어떤 활동의 일부, 또는 삶의 형태의 일부임을 부각시키고자 의도된 것이다.“(Wittgenstein, 1953)
“하나의 언어를 머리에 떠올린다는 것은 하나의 삶의 양식을 떠올리는 것이다(to imagine a language means to imagine a form of life)”(Wittgenstein, 1953)

2. 위너의 <사이버네틱스>, <인간의 인간적 활용> : 동물과 기계의 커뮤니케이션, 컨트롤, 피드백, 커뮤니케이션

"메시지의 코드화(부호화)와 탈코드화(해독)을 행하는 것은, 인간에게 중요한 것은 말할 것도 없고, 다른 생물에게도, 또 인간이 이용하는 기계에게도 중요하다. 새도, 원숭이도, 곤충도 저마다 동료들끼리[만] 통신을 하는 것이고, 이 통신에 있어서는 하나같이, 해당 부호체계를 알고 있는 동료들이 아니면 이해할 수 없는 매우 비밀스러운(privy) 신호나 심볼이 많든적든 사용되는 것이다." <인간의 인간적 활용> 4장

"물론 통신 이론은 언어에 대해 논하는 것을 피할 수 없다. 언어란 통신을 매개하는 부호체계를 기술하는 말일 뿐만 아니라, 어떤 의미에서는 통신이라는 것 자체의 다른 이름이다."

"전해야 할 메시지가 있어서 커뮤니케이션(통신)하는 게 아니라(물론 이런 경우도 있지만 본질적으로, 발생적으로, 메커니즘적으로) 생물은 본디 커뮤니케이션하려 한다(이것은 왜냐하면 생물은 군체기 때문이다, 박테리아들의 군체, 그래서 더 큰 군체를 이루려 하거나, 또 때로는 그 군체의 차원과 규모를 줄여 홀가분해지거나 하려는 욕망이 진화적으로 장착되어 있다. 무한은 그런 의미에서 무한대이기도 하고 무한소이기도 한 경향이요 열망이다). 이런 의미에서 생물이 구성하는 집단을 커뮤니티라 하고, 이들이 집단을 확대하거나 유지하거나 줄이거나 하는 활동을 커뮤니케이션이라 부르고(이때 커뮤니케이션은 '군집화'로 번역할 수 있고, 이건 나의 견해다), 그중 핵심적인 활동이 바로 우리가 말하는 커뮤니케이션, 즉 소통이라는 것이다.

여기에 비트겐슈타인을 결합하면 바로 커뮤니케이션이란, 군집화란 곧 언어 게임이다. 위너가 말하는 '커뮤니케이션'은 더 정확히는 언어 '게임'이라 해야 한다." (박성관)

3. 맑스, 사회적 관계의 앙상블

“6. 포이어바흐는 종교적 본질을 인간적 본질로 해소한다. 그러나 인간적 본질은 각각의 개체에 내재하는 추상물이 아니다(But the human essence is no abstraction inherent in each single individual). 그 유효한 현실에서, 인간적 본질은 사회적 관계의 앙상블이다(In seiner Wirklichkeit ist es das ensemble der gesellschaftlichen Verhältnisse(In its reality it is the ensemble of social relations)). 그러므로 이러한 현실적/실재적 본질(this real essence)에 대한 비판으로 들어가지 않는 포이어바흐는
1) 역사적 과정을 추상화하고 종교적 감정을 그 자체로 고정시키며, 하나의 추상적 인간 개인—고립된—을 전제할 수밖에 없다.
2) 따라서 그 본질은 단지 ‘유(類, Gattung/genus(종/속))’로서만, 내적이고 침묵하며 많은 수의 개체들을 자연적인 방식으로 연결시키는 보편성/일반론 (Allgemeinheit/generality(진부하고 피상적인 말))으로서만 파악될 수 있을 뿐이다.”

- 맑스, 「포이어바흐에 관한 열한 가지 테제」(1845)