불타는 학구열


AI 지도책 - 세계의 부와 권력을 재편하는 인공지능의 실체

Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence

 

Kate Crawford / 노승영

2021-04-06 / 2022-11-29

 

 

서문

 

세상에서 가장 영리한 말│AI란 무엇일까?│AI를 지도책으로 보아야 하는 이유│연산의 지형학│추출, 권력, 정치

 

1 지구

 

AI를 위한 채굴│연산의 풍경│광물학적 층위│검은 호수와 흰 라텍스│청정 기술이라는 환상│물류의 층위│거대기계로서의 AI

 

2 노동

 

작업장 AI의 과거 역사│포템킨 AI와 메커니컬 터크│해체와 작업장 자동화에 대한 구상 : 배비지, 포드, 테일러│시카고의 도축장│시간 관리, 시간 사유화│사적인 시간은 권력의 전략│속도의 무자비한 리듬

 

3 데이터

 

기계에 보는 법 훈련시키기│데이터 수요에 대한 짧은 역사│얼굴 포착│인터넷에서 이미지넷으로│동의 따위는 필요 없다│데이터의 신화와 은유│로켓이 어디 떨어지든 무슨 상관이랴│공유재 포획으로 억만장자 되기

 

4 분류

 

순환 논증 체계│편향 해소 시스템의 한계│편향에 대한 여러 정의│분류 엔진으로서의 훈련 집합 : 이미지넷의 사례│‘사람’을 정의하는 권력│인종과 성별을 구성하다│측정의 한계

 

5 감정

 

감정 예언자 : 감정이 돈이 될 때│세계에서 가장 유명한 관상가│감정 : 관상학에서 사진까지│감정을 포착하다 : 감정을 연기하는 수법│표정은 실제로 감정을 표현하는가│얼굴의 정치학

 

6 국가

 

제3차 상쇄 전략│메이븐 계획│국가의 외주화│테러범 신용 점수에서 사회적 신용 점수로│초국가, 국가, 나의 일상

 

맺음말: 권력

 

한계를 모르는 게임│AI의 파이프라인│지도는 영토가 아니다│정의를 위한 연대를 향하여

 

덧붙이며: 우주

 

 

-------------

 

서문

 

세상에서 가장 영리한 말

 

 

빌헴름 폰 오스텐과 영리한 한스 : 19세기 말 유럽은 한스라는 말에게 홀딱 빠져 있었다. '영리한 한스'는 그야말로 불가사의였다. 산수 문제를 풀고 시계를 볼 줄 알고 달력의 날짜를 판독하고 음을 구별하고 단어와 문장을 표현했다. / 조사위원회는 한스가 훈련받은 방식이 동물 조련보다는 '초등학교에서 아이들을 가르치는 것'과 더 비슷했으며 '과학적 탐구의 가치가 있다'고 결론 내렸다. 하지만 슈툼프와 풍스트는 여전히 의심이 가시지 않았다. / 풍스트가 1911년에 출간한 책에서 언급했듯 그들의 직관은 들어맞았다. 한스가 땅을 두드리는 횟수가 정답에 도달하는 순간 질문자의 자세, 호흡, 표정이 미묘하게 바뀌었고 그것을 본 한스는 동작을 멈추었다. ... 이 발견에서 그에게 가장 매혹적이었던 대목은 질문자가 자신이 한스에게 암시를 보내고 있음을 자각하지 못했다는 것이다. 풍스트에 따르면 영리한 한스 수수께끼의 해답은 질문자가 무의식적으로 제시한 힌트였다. 한스는 주인이 보고 싶어 하는 결과를 내놓도록 훈련받았지만, 청중은 그렇게 느끼지 않았으며 한스가 대단한 지능을 가졌다고 생상했다. (11-12)

 

기계학습 분야에서 한스 이야기는 주어진 데이터에서 모형이 무엇을 배웠는지를 언제나 확신할 수는 없다는 경고로 쓰이고 있다. 심지어 훈련에서 눈부신 성과를 보이던 시스템도 현실에서 새로운 데이터를 접하면 터무니없는 예측을 내놓을 수 있다. (12)

 

여기서 우리는 두 가지의 뚜렷한 환상이 작동하는 것을 볼 수 있다. 첫 번째 환상은 인간 아닌 시스템(컴퓨터든 말이든)이 인간 정신과 비슷하다는 것이다. 이 관점에서는 훈련이나 자원을 충분히 투입한다면 인간과 비슷한 지능을 백지상태에서 만들어낼 수 있다고 가정한다. 두 번째 환상은 지능이 마치 자연적이며 사회적・문화적・역사적・정치적 힘과 구별된 것처럼 독자적으로 존재하는 무언가라는 것이다. 사실 지능 개념은 수백년 동안 엄청난 해악을 끼쳤으며 노예제에서 우생학에 이르는 온갖 지배 방식을 정당화하는 데 동원되었다. (13)

 

드레이퍼스는 후기 저작 『컴퓨터가 못하는 일』에서 인간의 지능과 전문성이 여러 무의식적 절차와 잠재의식적 절차에 많이 의존하는 반면 컴퓨터의 경우 모든 절차와 데이터가 명시적이고 규격화되어야만 한다고 지적했다. (15)

 

 

AI란 무엇일까?

 

 

AI를 기업 인프라에 대한 소비재 브랜드로 정의한다면 그 지평은 마케팅과 광고에 의해 결정된다. AI 시스템을 어느 인간 전문가 보다 신뢰할 만하거나 합리적이고 '가능한 최선의 행동'을 취할 수 있는 행위자로 간주한다면 그것은 보건, 교육, 형사 같은 중대 사안에 대해 결정권을 부여해야 한다는 뜻이다. 구체적 알고리즘 기법이 유일한 관심사라면 그것은 기술의 지속적 발전만이 중요하며 이 접근법들의 연산 비용과 위기의 지구에 미치는 장기적 영향은 전혀 고려하지 않는다는 의미다.(nono)

 

이에 반해 이 책에서는 AI가 '인공'적이지도 않고 '지능'도 아니라고 주장한다. 오히려 인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어 진다. ... 사실 우리가 아는 형태의 인공지능은 훨씬 폭넓은 정치적・사회적 구조에 전적으로 의존한다. 또한 AI를 대규모로 구축할 자본과 AI를 최적화할 방법이 필요한 탓에 AI 시스템은 궁극적으로 기득권에 유리하게 설계된다. 이런 의미에서 인공지능은 권력의 등기부인 셈이다. / AI 시스템은 사회관계와 세계에 대한 이해를 반영하는 동시에 생산하다. / 이 책에서는 AI를 '정치, 노동, 문화, 자본을 아우르는 대규모의 산업적 구성물'이라는 의미로 쓴다. 반면에 기계 학습을 언급할 때는 기술적 접근법(자주 언급되지는 않지만 이것은 사실 사회적・토대적 접근법이기도 하다)에 대해 이야기하는 것이다. (17-18)

 

AI가 어떻게 해서 기본적으로 정치적인지 이해하려면 신경망과 통계적 패턴 인식을 넘어서서 '무엇이 누구를 위해' 최적화되고 '누구에게' 결정권이 있는지 물어야 한다. 그런 뒤에야 우리는 그 선택들의 의미를 추적할 수 있다.(old-fashioned)

 

 

AI를 지도책으로 보아야 하는 이유

 

 

프랑스의 철학자 조르주 디디 위베르만은 지도책에 시각의 심미적 패러다임과 지식의 인식론적 패러다임이 깃들어 있다고 여긴다. / 어설라 프랭클린, '지도에는 목적이 있다. 그것은 여행자를 도와주고 알려진 것과 알려지지 않는 것의 간극을 메우는 데 유용해야만 한다. 지도는 집단적 지식과 통찰의 증거다.' (19-20)

 

인공지능을 추동하고 지배하는 국가와 기업, 지구에 흉터를 남기는 추출식 채굴, 데이터 대량 수집, 이를 떠받치는 불평등하고 착취적인 노동 관행 등을 설명하는 AI 이론이 필요하다. 이것들은 AI 내에서 이루어지는 권력의 지각 변동에 대한 설명이다. 지형학적 접근법은 인공지능이나 최신 기계학습 모형의 추상적 약속을 넘어선 새로운 관점과 규모를 제시한다. 그 목적은 연산의 다양한 지형을 주파하면서 이것들이 어떻게 연결되는지 살펴봄으로써 AI를 더 넓은 맥락에서 이해하는 것이다. (20)

 

'단 하나의' 지도책을 만들어 지배적 관점을 확립하려는 욕망(?), 우리는 광산의 갱도, 에너지를 집어삼키는 데이터 센터의 긴 통로, 두개골 보관소, 이미지 데이터베이스, 형광등 아래의 물류 창고 등 우리가 종종 방문하지만 잘 알지는 못하는 풍경을 맞닥뜨릴 것이다.(?) 이 장소들을 둘러보는 목적은 단지 AI와 그 이념이 물질적 구성물임을 폭로하는 것이 아니라 (미디어학자 섀년 매턴의 말마따나) '지도 제작의 불가피하게 주관적이고 정치적인 측면을 조명하는 것, 또한 헤게모니적이고 권위주의적인 - 종종 자연적이고 현실적인 것으로 간주되는 - 접근법의 대안을 제시하는 것'이다. (21-22)

 

시스템을 이해하고 책임을 지우기 위한 시도는 오랫동안 투명성이라는 이상을 토대로 삼았다. 내가 미디어학자 마이크 애너니와 함께 썼듯 시스템을 '볼' 수 있다면 그것이 어떻게 작동하는지, 그것을 어떻게 통제해야 하는지 알 수 있다.(?) (22)

 

 

연산의 지형학

 

 

이 책은 코드와 알고리즘을 설명하지 않으며 컴퓨터 시각이나 자연어 처리나 강화학습에 대한 최신 이론을 소개하지도 않는다. 그런 책은 얼마든지 있다. (25) (?) 

 

 

추출, 권력, 정치

 

 

'기술을 둘러싼 투쟁은 경제적 계층 이동성, 정치적 운신의 폭, 지역사회 건설을 위한 더 큰 투쟁과 언제나 연결되어 있다.', ... AI는 누구의 이익에 봉사하며 피해의 고통을 가장 크게 짊어지는 것은 누구인가? ... 디스토피아적 사고방식은 우리가 행동을 취하지 못하도록 마비시키고 시급히 필요한 개입을 방해할 수 있다. ... '기술의 실행 가능성은 민주주의와 마찬가지로 결국 정의의 실현과 권력의 제한에 달렸다.'  (31)

 

 

 

 

--------

 

6. 국가 (213~247)

 

스노든 자료실, ‘분류된 정보 제국’, 전화, 웹 브라우저, 소셜 미디어 플랫폼, 이메일은 모두 국가를 위한 데이터 출처가 되었다. / 트레저맵(TreasureMap), 인터넷의 준실시간 상호형 지도를 구축하기 위해 설계된 프로그램, ‘인터넷 전체를 지도로 만들어 언제 어디에서나 모든 장치를 추적한’다. / Fox Acid, 하루하루의 활동을 기록, ‘표적으로 하여금 모종의 브라우저로 저희를 방문하게 할 수 있으면 그것들을 소유할 수 있습니다.’ 법률에 맞게 도구를 바꾸는 게 아니라 도구에 맞게 법률을 바꾼다. (214-218)

 

DARPA(방위고등연구계획국, Defense Advanced Research Projects Agency)의 AI 연구 지원, 해군연구국의 1956년 다트머스 대학교 인공지능 연구 프로젝트 지원, 군부는 지휘·통제, 자동화, 감시를 중시했으며 이는 장차 AI의 성격에 심대한 영향을 미쳤다. ‘인프라 전쟁’, 정보기관에서 국가 행정 부처로 확대, 알고리즘적 통치 (218-220)

 

제3차 상쇄 전략 : 실리콘밸리와 군부의 긴밀한 관계

 

AI 전쟁, 중국과 미국, 세계 디지털 시민들이 네트워크의 추상적 공간에서 대등하게 활동한다는 자유주의적 시각은 타 인종 적국에 맞서 국가 클라우드를 방어한다는 편집증(paranoia)적 시각으로 대체되었다. 국가적 통제와 국제적 AI 우위를 추구하는 전략, 국방부 장관 애슈턴 카터, 실리콘밸리와 군부의 긴밀한 관계, 국가 안보와 외교 정책이 미국의 AI 지배에 달렸다며 기술 기업들을 설득, ‘제3차 상쇄 전략’ : AI, 컴퓨터 전쟁, 로봇의 조합, ‘인공지능과 자율 구동에서의 모든 발전을 활용하’려는 시도(1차 상쇄 : 1950년대 핵무기 사용, 2차 상쇄 : 1970-80년대 비밀, 병참, 재래식 무기의 팽창)  (221-223)

 

메이븐 계획 : Ethics of AI Ethics

 

메이븐 계획(Project Maven, 2017.4), ‘알고리즘 전쟁 교차 기능 팀(Algorithmic Warfare Cross-Functional Team)’, 최상의 알고리즘 시스템을 신속하게 전장에 투입하는 것, 적 전투원을 탐지하고 추적하는 자동 드론 영상 검색 엔진(‘합동 방위 인프라(Joint Enterprise Defense Infrastructure)’ 클라우드 계획(JEDI), 펜타곤에서 현장 지원에 이르기까지 국방부의 IT 인프라를 모조리 재설계하는 100억 달러 프로젝트의 일환), 미국 국내 개인정보보호법이 적용되지 않는 장소에서 위성과 전장 드론으로부터 수집된 군사 데이터를 분석, 국가안보국의 사례와 달리 헌법적 프라이버시 인계철선을 직접 건드리지 않고도 AI를 중심으로 군사적이익과 미국 기술 부문의 금전적 이익이 맞아떨어진다. 구글, 리페이페이 ‘인공지능을 언급하거나 암시하는 건 무슨 일이 있어도 피해야 해요. 무기화된 AI는 AI에서 가장 민감한 주제이거나 그중 하나일 거에요. 구글을 해코지하려고 눈에 불을 켠 미디어에는 고깃덩어리인 셈이죠.’ -> (2018.10) M$ 브래드 스미스, ‘우리는 미국의 강력한 방위가 중요하다고 믿으며 미국을 지키는 사람들이 마이크로소프트를 비롯한 이 나라 최고의 기술에 접근할 수 있기를 바랍니다.’ (‘매우 대규모의 엔지니어링 사업’) (224-226)

 

구글의 ‘인공지능 원칙’, ‘우리가 추구하지 않을 AI 응용 분야’, ‘사람들에게 부상을 일으키거나 직접적으로 부상을 용이하게 하는 것이 주된 목적이거나 기능인 무기 또는 그 밖의 기술’과 더불어 ‘국제적으로 승인되는 규범에 어긋나는 감시를 위해 정보를 수집하거나 이용하는 기술’ / 전쟁 자동화의 문제는 살해가 ‘정확한가’의 여부를 뛰어넘는다. 누가 훈련 집합을 구축하고 어떤 데이터를 이용하며 어떻게 임박한 위협이라는 라벨을 붙이는가? 합법적 드론 공격의 근거가 되기에 충분한 비정상적 활동을 판단할 때 어떤 분류 체계를 이용하는가? 왜 우리는 이 불안정하고 본질적으로 정치적인 분류가 우리의 생사를 좌우하도록 내버려둬야 하는가? (루시 서치먼) (226-227)

 

현실에서든 상상에서든 AI 전쟁은 공포와 불안의 정치를 주입함으로써 내부의 반대를 억누르고 국가주의적 의제에 대한 무조건적 지지 분위기를 조성한다(『Ethics of AI Ethics』). 메이븐의 여파가 저물자 구글의 최고법무책임자 켄트 워커는 구글이 국방부와 더 긴밀히 협력하기 위해 더 높은 보안 인증을 목표로 삼을 것이라고 말했다. “분명히 말씀드립니다. 우리는 미국 기업임을 자랑스럽게 생각합니다.” (227-228) 

 

국가의 외주화 : 공공감시의 민영화

 

한때 교전 지역과 첩보 활동의 전유물이던 기술이 이제는 복지 기관에서 법 집행 기관에 이르는 지방정부 차원에 도입되고 있다. 이 전환의 원동력은 국가의 핵심 기능을 기술 도급업체에 외주한 것이었다. / 팔란티어, AI는 무엇보다 군사기술, ‘사이 공간(in-between space)’의 중요성, ‘생활 세계에서의 침략’, 팔란티어는 사람과 자산을 추적 및 평가하려고 기기를 넘나들며 데이터를 뽑아내고 네트워크에 침투하는 등 스노든 문서에서 보는 것과 같은 기법을 구사했다. 팔란티어는 이민관세집행국(ICE)을 위해 추방 절차를 효율화하는 데이터베이스 및 관리 소프트웨어를 설계하는 등 금세 기관들이 선호하는 외주 감시 업체가 되었다. (229-230)

 

현실적이거나 잠재적인 이른바 말썽꾼을 색출하는 것이다. ‘모든 것을 수집한 다음 데이터에서 이상 징후를 찾으라’, 팔란티어는 ‘전 세계 테러와의 전쟁을 위해 설계된 정보 플랫폼’이며 이제는 ‘본국의 평범한 미국인을 상대로 무기화되었’다. ‘팔란티어는 아프가니스탄과 이라크에서 펜타곤과 중앙정보국을 위해 일하면서 역량을 키웠다. … 미국 보건복지부는 팔란티어를 이용하여 메디케어 부정수급을 적발한다. 연방수사국은 범죄 조사에 이용한다. 국토안보부는 항공 여행객을 심사하고 이민자를 감시하는 데 활용한다.’, 미등록 노동자에 대한 감시, 팰컨(Falcon) 앱, ‘동적 상호형 모바일 이미지 분석 및 식별을 위한 데이터베이스 시스템 및 이용자 인터페이스’ (230-231)

 

“우리는 검찰과 경찰이 ‘알고리즘이 시키는 대로 했기 때문에 제가 무슨 일을 하고 있었는지 몰랐습니다’라고 말하게 되는 국가로 나아가고 있습니다. / 불평등은 심화될 뿐 아니라 ‘기술 세탁’되며, 이를 정당화하는 것은 겉보기엔 오류로부터 안전한 듯하지만 실제로는 경찰력 과잉 행사와 인종 편향적 감시의 문제를 악화시키는 시스템이다. / 현재 대부분의 국가는 조달된 AI 시스템으로 인한 문제에 대해 어떤 책임도 지지 않으려 하며 ‘이해하지 못하는 것에 대해서는 책임질 수 없다’라고 주장한다. (232-235)

 

비질런트 솔루션(Vigilant Solutions), ‘자동 번호판 인식’, 차량의 이동 경로와 현재 위치 파악, 미납 과태료 부과, 공공 감시의 민영화, 얼굴 인식기로 확장 (235-237)

 

네이버스(+링), 시티즌, 넥스트도어(2011년), ‘새로운 동네 감시자’, 아마존 배송 제품의 도난 신고 기능, 경찰서와 링 영상 공유 제휴 협약, ‘스스로를 영구화하는 (자발적인) 감시 네트워크’, ‘국가 보안 기구를 위해 일하는 프리랜서’ (237-239)

 

테러범 신용 점수에서 사회적 신용 점수로 

 

‘징후(signature)’, ‘행동 패턴’, ‘징후 타격(signature strike)’ : (신원은 알지 못해도) 메타데이터상의 징후, 휴대 단말기의 위치를 바탕으로, 41명을 살해하려고 시도한 드론 공격으로 1,147명이 목숨을 잃었다.  (cf. ‘신상 타격(personality strike)’ : 특정 개인을 표적으로), ISIS 테러범과 (시리아) 난민의 구별, ‘테러범 신용 점수’, 군사와 치안의 논리에 일종의 금융화가 스며들었다. 국경 통과 허가, ‘도덕화된 사회적 분류의 새로운 체제’는 전통적 경제의 ‘고성과자’에게 혜택을 주고 가장 열악한 집단에 불이익을 준다. 복지 혜택 수급, 미시간 주 알고리즘 기반의 긴축 프로그램(미집행 중범죄 영장을 근거로 식품 지원 수급 자격을 박탈, 실업 급여 부정 수급 판정 시스템(19,000여명, 40,000여명 오인), 처벌 위주의 위협 공략 모형 (239-244)

 

초국가, 국가, 나의 일상 : 기업의 알고리즘적 통치에 의해 조종되는 국가 주권

 

스노든 자료실, 지구 : ‘정보의 건초 더미’, 바람직한 정보란 밀짚 속 어딘가에 잃어버린 바늘, 데이터 농사라는 목가적 이미지, 질서 정연한 수확·생산의 순환을 촉진하기 위해 밭을 가는 것 / 전지적 시각에 대한 중독의 증상, 정상 열병(summit fever) / 무차별적 감시에 쓰이는 모든 자금과 자원은 중앙 집중화된 통제라는 ‘열에 들뜬 꿈(fever dream)’, 국가안보국의 독특한 방법과 도구는 교실, 경찰서, 직장, 고용지원센터에 스며들었다. 제3차 상쇄 전략은 전장에서의 전략적 우위라는 목표를 훌쩍 뛰어넘어, 선량한 시민이 어떻게 소통하고 행동하고 지출해야 하는가에 대한 규범적 정의를 바탕으로 (추적하고 점수를 매길 수 있는) 일상생활의 모든 측면을 아우른다. 이 전환은 ‘기업의 알고리즘적 통치에 의해 조종되는 국가 주권’, 국가 기관들과 (국가의 봉사를 받아야 하는) 국민 사이에 심각한 권력의 불균형을 강화한다. (244-247)

 

 

맺음말: 권력 (248~247)

 

알파고, 마법과 신비화의 서사는 AI의 역사를 통틀어 번번이 나타나며 엄청난 속도, 효율, 연산 추리의 경이로움에 밝은 색으로 동그라미를 친다. 현대 AI의 상징적 사례 중 하나가 게임인 것은 결코 우연이 아니다. (251)

 

한계를 모르는 게임 : 닫힌 세계, 마법에 걸린 결정론

 

일상생활과 달리 게임의 배경은 정의된 매개변수와 명확한 승리 조건을 가진 닫힌 세계다. 수학적 형식주의, 정확한 예측, 세상의 복잡성을 단순화, 무질서에서 질서 / ‘마법에 걸린 결정론’, 규제하기에는 너무 복잡하고 거부하기에는 너무 강력하다, ‘신비화를 통한 모호하게 하기’, 기술 유토피아(보편적 해결책, 사회의 구원)/디스토피아(위험, 파멸), 데카르트적 이분법의 이데올로기, AI 시스템이 자신의 창조자, 인프라, 바깥세상으로부터 독립적으로 지식을 흡수하고 생산하는 비실체적 두뇌라는 판타지, 이 시스템은 누구에게 봉사하는가? AI 시스템을 구성하는 정치· 경제는 무엇인가? AI 시스템은 지구 전체에 어떤 영향을 미치는가? (251-254)

 

AI의 파이프라인 : 추상과 추출이라는 이중 작전

 

구글, 댈러스 데이터 센터 블루프린트, 세금 면제, 값싼 에너지 보장(가스관, 하수도, 할인된 전기가 흐를 고압전선), 시에서 건설한 광섬유망 이용 등, “우리는 도시 인프라, 주州 환급, 연방 전력 보조금을 통해 유투브에 자금을 지원하는 셈이다.” / 인공지능 산업은 국방비와 연방 연구 기관에서 공공시설과 세금 감면, 검색 엔진을 이용하거나 이미지를 온라인에 게시하는 사람들에게서 취한 데이터와 무급 노동에 이르는 공적 보조금을 받으며 팽창했다. AI는 20세기의 주요 공공사업으로 시작되었으며 무차별적으로 민영화되어 추출 피라미드의 꼭대기에 있는 극소수에게 막대한 금전적 이익을 가져다준다. (254-256)

 

마이클 하트, 안토니오 네그리, ‘(정보자본주의에서의) 추상과 추출이라는 이중 작전’, 생산의 물적 조건을 추상화하면서 더 많은 정보와 자원을 추출하는 것, AI를 기본적인 추상적 대상으로 묘사하는 것은 AI를 생산하는 데 필요한 에너지, 노동, 자본과 이를 가능케 하는 다양한 채굴 방식으로부터 거리를 두는 셈이다. (256-257)

 

지도는 영토가 아니다 

 

AI Life-cycle, 지도(map)와 지도책(atlas), 이 책은 AI의 진짜 버팀목이 인공화, 추상화, 자동화라는 기술 관료적 가공물이 아니라 지구적으로 상호 연결된 추출과 권력의 체계라고 주장한다. / AI는 볼리비아의 소금 호수와 콩고의 광산에서 탄생하여, 크라우드 노동자들에 의해 라벨링되며 인간의 행동과 감정과 정체성을 분류하려 드는 데이터 집합으로부터 구성된다. 예멘 상공에 드론을 날리고 미국에서 이민자 단속을 지휘하고 전 세계에서 인간의 가치와 위험에 대한 신용 점수를 조정하는 데 이용된다. 이 중첩하는 체제와 맞서려면 AI를 광각적이고 다규모적인 관점에서 바라보아야 한다. 지구(땅속), 노동, 데이터, 분류, 감정, 국가, …, 인식론적 폭력? (257-263) 

 

정의를 위한 연대를 향하여 264

 

AI의 민주화를 추구하면 안 되나? 사람들을 위한 AI가 존재할 수는 없을까? 산업적 추출과 차별이 아니라 정의와 평등을 향해 방향을 전환할 순 없을까? (264)

 

기술 부문 평가, AI 윤리 원칙에 서명하는 것, AI 시스템으로 인해 가장 큰 피해를 입는 사람들의 목소리는 이 규정들을 제정하는 과정에서 누락되는 경우가 태반이다. 더욱이 윤리 원칙과 성명은 실행 방법을 논하지 않으며 집행력을 가지거나 대중에게 책임을 지는 일은 드물다. AI 구현의 윤리적 수단을 평가하지 않은 채 AI의 윤리적 목표에 초점을 맞추는 경우가 더 일반적이다. (265)

 

무엇이 관건인지를 이해하려면 윤리보다는 권력에 더 초점을 맞춰야 한다. AI는 최적화를 위해 동원된 권력 형태를 증폭하고 재생산하도록 어김없이 설계된다. 여기에 맞서려면 가장 큰 피해를 입는 공동체의 이익을 중심에 놓아야 한다. 기업 창업자, 벤처 투자가, 기술 예측 전문가를 찬미하는 것이 아니라 AI 시스템에 의해 권력을 박탈당하고 차별당하고 피해를 당하는 사람들의 생생한 경험에서 출발해야 한다. 누군가가 ‘AI 윤리’를 입에 올리면 광부, 도급업자, 크라우드 노동자의 노동 여건을 떠올려야 한다. ‘최적화’라는 말을 들으면 이것이 이민자를 비인도적으로 처우하는 수단이 아닌지 물어야 한다. ‘대규모 자동화’가 칭송받으면 지구가 이미 극심한 스트레스를 받고 있는 시대에 자동화로 인해 생겨나는 탄소 발자국을 명심해야 한다. (265-266)

 

기술이 발표 시점에 어떻게 평가받는가와 어떤 지속적 영향을 미치는가의 격차가 커져만 간다. 사회계약은 유례없는 기후 위기, 치솟는 부의 불평등, 인종차별, 만연한 감시와 노동 착취를 가져왔다. 하지만 이 변화들이 어떤 결과가 닥칠 것인지 모르는 채 일어났다는 생각 자체가 문제의 일부다. 철학자 아실 음벰베는 21세기의 지식 체계를 우리가 예견할 수 없었다는 주장을 예리하게 비판한다. 그것들은 언제나 ‘기업 논리의 기반 위에서 세상의 합리화를 표방하는 추상화 작업’이었기 때문이다. (『Critique of Black Reason』) ‘이것은 추출, 수집, 데이터 선별, 인간 사유 능력의 상품화, 프로그래밍을 위한 비판적 이성 포기에 대한 것이다. (…) 그 어느 때보다 지금 필요한 것은 기술에 대한, 기술적 삶의 경험에 대한 새로운 비판이다.’ (『Thoughts on the planetary』) (266-267)

 

우리가 방향을 뒤집어 더 공정하고 지속 가능한 세상이라는 목표에서 출발한다면 어떨까? 사회적∙경제적∙기후적 불의의 상호 의존적 문제들에 우리는 어떻게 개입할 수 있을까? 기술은 이 이상에 어떻게 이바지할까? / 우리는 ‘왜 인공지능을 이용하는가?’라고 물음으로써 통계적 예측과 이윤 축적의 논리, ‘지배의 정보과학’에 대한 의문 제기, 기술 우선식 접근법을 거부, 국가적∙ 국제적 운동의 확장이 필요 / 기후 정의, 노동권, 인종 정의, 개인정보 보호, 과도한 경찰력과 군사력의 제한, (267-268)

 

 

덧붙이며: 우주 (270~282)

 

아마존, 제프 베이조스, 블루오리진, ‘한 걸음씩, 맹렬하게(Gradatim Ferociter)’, 거대 우주 식민지 건설 / 구글, 플래니터리 리소시스, 상업적 우주 광산 개발 / 테슬라, 스페이스 X, ‘화성 식민지’, ‘화성 핵 폭파(NUKE MARS)’, 민간 우주 경쟁 (271-274)

 

제라드 오닐, 『허공의 미개척지 : 우주의 인간 식민지』, 로마 클럽, 『성장의 한계』, 재생 불가능 자원의 고갈, 인구 증가, 지속 가능성, 인류의 미래, 붕괴 / 정착식민주의(settler colonialism), 주유 조약(‘인류의 공통 이익’, ‘만인의 유익을 위해 실시되어야 한다’) 위배(1967), 두려움…

 

화이트 샌즈 미사일 시험장, 블루오리진 준궤도 발사 시설, / 권력, 추출, 탈출의 기술과학적 상상, 지구에 대한 헤지 (277-280)

 

 

[질문]

 

1. 네이버스(+링), 시티즌, 넥스트도어(2011년), ‘새로운 동네 감시자’, 아마존 배송 제품의 도난 신고 기능, 경찰서와 링 영상 공유 제휴 협약, ‘스스로를 영구화하는 (자발적인) 감시 네트워크’, ‘국가 보안 기구를 위해 일하는 프리랜서’ (237-239) 

 

⇒ cf. 독일 Nebenan.de, 당근, 한블리, Ring Nation (reality TV on MGM), “우리 서비스는 사람들 간의 유대감을 강화하고, 이용자들이 스스로 소중한 것을 지킬 수 있게 돕는다.”, “Citizen is a force for good in the world.”, “우리는 이웃을 위해서 존재한다. 앱을 활용해 아이들이 뛰어노는 곳에서는 서행하고, 서로에게 베이비시터를 소개하며, 비상시에 서로를 돌볼 수 있게 한다. 만약 고양이를 잃어버리면 함께 찾아보자”

 

2. 세상을 기계학습 시스템이 읽을 수 있도록 만들려면 어떤 인식론적 폭력이 필요할까? AI는 체계화할 수 없는 것을 체계화하고, 사회적인 것을 규격화하고, 무한히 복잡하고 변화하는 우주를 기계가 읽을 수 있는 린네식 질서로 바꾸려 든다. … 차이를 연산 가능한 같음으로 바꾸는 것, ‘다면적이고 계산할 수 없는 것을 동일하고 비슷하고 계산할 수 있는 것으로 위조하는 것’(니체) / 우리는 이미지넷 같은 사물 인식 훈련 집합에서 인식론적 혼란과 오류를 본다. (261-263)

 

⇒ 인식(론)/표상/재현의 한계? 자본(주의)의 문제 아닌가? 과학과 수학에 상대적 자율성은 전혀 없는가? AI/ML의 방법론이 연산이라면 수학이 문제라고 할 수 있을까?

 

3. 권력의 불균형을 줄이기 위해 AI를 민주화해야 한다는 주장은 평화를 위해 무기 제조를 민주화해야 한다는 주장과 얼추 비슷하다. 오드리 로드의 말마따나 주인의 연장은 결코 주인의 집을 부수지 않는다. (264)

 

⇒ 무기 제조가 아니라 총을 망치로, 핵무기/핵분열을 지속가능한 재생에너지로?

 

4. 사람들이 예측 기반 치안을 해체하고 얼굴 인식을 금지하고 알고리즘적 점수 산정에 항의하는 쪽을 선택할 때 우리는 이 저항의 어렴풋한 모습을 본다. … 저항을 위해서는 자본, 군대, 경찰에 봉사하는 도구가 마치 어디에나 적용될 수 있는 가치중립적 계산기인 것처럼 학교, 병원, 도시, 생태를 탈바꿈시키는 데에도 적합하다는 생각을 물리쳐야 한다. / 기술적 해결책의 매혹을 떨쳐버리고 대안적 연대를, 음벰베가 ‘지구에 거주하는 것, 지구를 수선하고 공유하는 것에 대한 다른 정치’라고 말한 것을 끌어안아야 한다. 가치 추출을 넘어선 지속 가능한 집단적 정치는 분명히 존재한다. 지킬 가치가 있는 공유재, 시장을 넘어선 세상, 차별과 무차별적 최적화 방식을 넘어선 삶의 방식이 존재한다. 우리의 임무는 그곳에서 지도에 길을 그리는 것이다. (268)

 

⇒ How? 그저 ‘정치’의 문제인가?(옮긴이의 말, 「기술의 문제가 아닌 정치의 문제」) ‘지도에 길을 그리’기만 하면 되는 것인가? 개인적으로 핸드폰과 얼굴 인식 기능을 사용하지 않고, SNS와 ChatGPT를 쓰지 않으면 되는 것인가? 수동적인 거부가 아니라 적극적인 활용이 필요한 것 아닌가? AI 관련 노동(자)을 오히려 소외/주변화/비가시화 하는 것 아닌가? 과학기술의 민주적 통제와 대중화(STS/CATS), 사회적/물질적 관계의 앙상블로서의 AI/ML as a Ensemble-of-Social/Material-Relations (Data Materialism, Digital Ecology, ...)

 

cf. 연결/개입을 인정하지 않는 사변적 유물론, OOO(Object-Oriented Ontology)

 

“평평한 존재론과 페미니즘이 서로 제기하는 난제, 한편으로 존재는 젠더, 퍼포먼스, 그리고 그와 관련된 인간의 정치에 관한 쟁점들에 개의치 않는다. 사실상 압축적 존재론은 모든 존재자가 동등한 존재론적 지위를 공유하도록 요청하며…”(214)

“(베이컨) 파편적 지식(broken knowledge)”, “(메스트르) 아무것과도 연루되지 않은 학문(Science attached to nothing)”(258), “언제나 어떤 관계들의 네트워크에서 무언가와 연결되어야만 한다고 생각하기를 거부하면서 고립된 실제적 객체를 인식하는 것”, “파편적 지식의 주제 역시 외부 논리 – 물리학이든 형이상학이든 간에 - 에 저항하는 내적 체계성을 수반함을 뜻한다. 아무것과도 연루되지 않은 학문은 실재적 객체에 관한 논리학이다.”(272) 

 

⇒ 현실에 존재하는 차별/소외에 대해 개입하는 방법은? 평평한 존재론이 아닌 ‘납작한(flat) 존재론’, 압축된 존재론이 아닌 ‘왜소한(tiny) 존재론’? ‘진정한 (반동적) 급진주의’? 내재적/추상적이고 보수적/편향적인 ‘사변적 관념론’?

 

 

[CATS LAB] 인공지능#4

발제: 김해리(2023.2.7)

 
profile

"바람이 계속 불고 언제나 이곳에 있어(風が吹きつづけて いつもここにいるよ)"

엮인글 :
http://kuchu-camp.net/xe/87539/c5d/trackback
List of Articles
번호 글쓴이 제목 날짜
공지 공중캠프 ☆ (3/7, 14, 21, 28) 공중캠프 presents 알콜토크 vol.38 - < D.I.Y Programming with Game & AI> 101 file [4] 2024-02-03
공지 공중캠프 [노트] '사회적 관계의 앙상블'로서의 데이터 유물론, AI fetishism, Digital Ecology-Marxism [3] 2018-05-05
공지 공중캠프 (미정) 카레토 사카나 번역세미나 #020 [10] 2012-10-02
269 공중캠프 ☆ (3/9) 공중캠프 presents 알콜토크 vol.39 : <랜드 앤 프리덤(Land And Freedom)> file [1] 2023-12-27
268 공중캠프 R.I.P 서경식(徐京植, 1951 ~ 2023.12.18) [1] 2023-12-19
267 공중캠프 R.I.P Antonio Negri (1933.8.1 ~ 2023.12.16) 2023-12-19
266 공중캠프 (12/19~2/6) [북토크] 브뤼노 라투르와 함께 탐구하기 file 2023-12-09
265 공중캠프 [캣츠랩 2023 여름 강좌] 인공지능을 여행하는 인문사회 연구자를 위한 안내서 file 2023-07-05
264 공중캠프 [밑줄] <천개의 뇌> 2023-03-13
263 공중캠프 ☆ (3/11) 공중캠프 presents 알콜토크 vol.37 : <드라이브 마이 카> 2023-03-03
» G [밑줄] <AI 지도책 - 세계의 부와 권력을 재편하는 인공지능의 실체> 2023-01-10
261 G [밑줄] <에일리언 현상학 혹은 사물의 경험은 어떠한 것인가> [1] 2023-01-09
260 공중캠프 [밑줄] 혁명을 위한 수학 2022-12-28
259 공중캠프 [옮김] 나사와 검은 물 2022-08-16
258 공중캠프 [옮김] 인공지능 혹은 ‘물질적 정신’ — 새로운 철학적 과제 (1) 2022-08-02
257 공중캠프 ☆ (4/16) 공중캠프 presents 알콜토크 vol.36 : <당신의 사월> file 2022-04-15
256 공중캠프 ☆ (3/12) 공중캠프 presents 알콜토크 vol.35 : <아사코 I&II> file 2022-03-11
255 공중캠프 ☆ (11/20~2/26) 공중캠프 presents 알콜토크 vol.34 : <사회적 관계의 앙상블로서의 AI as a Ensemble-of-Social-Relations> 101 file [5] 2021-11-15
254 공중캠프 [옮김] 발리바르의 인터뷰: 공산주의는 능동적이고 다양한 집단적 주체성이다 2021-09-25
253 공중캠프 [옮김] 1989년 천안문 사건과 그 이후 - 역사의 중첩과 트라우마의 재생산 file 2021-09-25
252 공중캠프 [옮김] ‘문화혁명’인가, ‘문화대혁명’인가 2021-09-25
251 공중캠프 (1973.9.11) Salvador Allende : last speech file 2021-09-12



XE Login