地址 / Address
111031台北市士林區福華路180號
No.180, Fuhua Rd., Shihlin Dist., Taipei City 111031
電話 & E-mail / Phone & E-mail
+886-2834-5066
info@dac.taipei
Back

資訊爆炸時代:演算法沉浸式藝術LAWKI—Alive探索人機合作的未來

LAWKI—Alive 這個沉浸式裝置是一串線上有聲影片的合輯,影像的呈現根據觀眾的移動產生變化,這些內容出現的機制是運用了AI和機器學習演算法:透過設定一長串關鍵字,並從此關鍵字並在YouTube及Dailymotion上進行搜尋,並設定成包含世界十大語言,用以讓影片的生成更能代表大眾。每個搜索的前十個影片將根據它們的後設標籤和描述進行排序。影片不是根據標題、年份或類型進行分組的,而是以影片顯示的內容進行分類。

觀眾在作品裝置四周遊走時,將可體驗無止盡的聲音與影像素材,目的是回應我們在日常生活中,迷失於全球化之下的資訊爆炸。這件作品引領我們思考:「在網路上所描繪的『真實』是否已經取代了現實世界?」、「在資訊時代底下,人類與機器是如何合作的?」

藝術計畫LAWKI 網站: http://www.ark.amsterdam/#project-page, https://lawki.online/about 

  1. 請問ARK團隊是怎麼形成的,你們的核心價值是什麼?

ARK團隊是一個跨領域的藝術團隊,我們在不同專案中透過多元的藝術媒介,結合科技技術應用,由彈性調度的組織進行製作及呈現。ARK團隊也是跨域合作潮流下的具體案例之一,這種「共創」的運作機制讓我們能夠在一起反思、互相討論、演繹未來的同時探索另類的工作方法,在合作過程中找到更具有生產力的交流模式。我們認為ARK能透過媒體創造新的敘事,去傳達當今世界中,許多迫切的社會與政治議題,這也是ARK團隊持續關注的方向。

我們的團隊成員的共同興趣是思考「人類」跟「非人類」作為能動者,如何共同協作,並藉由人機合作與科技技術應用,發展出新穎且意料之外的成果。簡言之,ARK是以遊戲的態度創作,在這裡,我們能練習、探索並實踐所謂「後簽章」的合作方法論,意指人類與機器一起進行半自動地共同創作。

LAWKI—Alive裝置作品的共創團隊成員包含:電腦科學家 Arran Lyon、哲學家 Federico Campagna、跨媒體藝術家 Louis Braddock Clarke、設計師/教育工作者/研究者 Roosje Klap、跨媒體藝術家 Senka Milutinovic、編曲家 Teoniki Rozynek、計算語言學家 Valentin Vogelman、跨媒體藝術家 Zuzanna Zgierska,以及一台存放所有資訊的LAWKI電腦主機,這台主機也將代表我們團隊「實體」參與臺北數位藝術節。

ARK 作品LAWKI—ALIVE 於荷蘭艾因荷芬MU美術館展覽照片,影片有不同的語言。LAWKI—ALIVE, ARK, 2021 (Arran Lyon, Federico Campagna, Louis Braddock Clarke,Roosje Klap, Senka Milutinovic, Teoniki Rozynek, Valentin Vogelmann & Zuzanna Zgierska), MU Hybrid Art House, Eindhoven, December 2021 © Hanneke Wetzer

  1. 請問LAWKI—Alive裝置作品中的AI 是如何選擇下一個影片的?我們知道影片是按照形式與主題的相似性,或者是特定的感知作為分類依據,但第一個影片是如何被選擇的?一開始的詮釋資料(metadata)和資料描述是怎麼產生的?

下載完平台上的影片及其背後的詮釋資料(metadata)並形成資料庫後,我們將詮釋資料作為不同影片之間內容與情感(sentiment)的代理(proxy),並依據其相似程度排序這些代理,相似的影片因此成為「鄰居」。這種排序方式運用了神經網路式的語言模型 (neural network language model)去學習識讀標題、敘述以及其他後設資訊(meta information),並藉此判斷影片之間的相似之處。嚴格來說,這個語言模型重現了影片之間的關聯結構,但這個結構已經超出我們平常所習慣的二維度或三維度,而是一個真切卻又難以想像的768維度結構。這使得影片的「鄰近集聚」(neighbourhoods)可以非常複雜,影片之間的關聯性也足以發展出錯綜複雜的結構。

在挑選影片製成串流內容時,有一種被我們稱作「隨機漫步」(random walk)的演算法,會從語言模型所建構的結構空間尋找並篩選出經過開空空間位置並符應的影片片段。這種結構的組織方式,也使得一序列的影片之間產生語義關係(semantic relationships)。

這就類似於我們在逛超市時,會發現商品都是按照分類陳列在架上的(三維度空間),附近的商品都有某種關聯,例如油品旁邊可能出現其他醬料,醬料可能跟罐頭蔬菜擺在一起等等。就算還沒想好要煮什麼,只要在陳列架之間隨意亂逛,就有可能會「遇見」某個商品而觸發食譜的靈感。

  1. 這樣分類資訊與影片的方法受到德國歷史學者與文化理論研究者阿比·沃伯格 (Aby Warburg)的「記憶─圖輯」計畫(1927)的影響,為什麼你們會把當今網路文化中的分類系統跟傳統的圖像學連結在一起?

LAWKI分類影片的方式受到德國歷史學者與文化理論研究者阿比·沃伯格 (Aby Warburg)未完成的計畫「記憶─圖輯」和沃伯格圖書館的分類系統的影響,這個計畫將圖書館內的書籍按照寬泛的主題分類,並讓鄰近的書目能形成關聯。「不同領域的書放在同一類別底下,能夠讓藝術史不只單獨地被研究,而能夠和不同類型的知識相互交織在一起、互相學習,也只有透過將不同領域關聯起來,形成一個宏觀的視野,才能得到適當的意義。」[1] [1] 這種既有系統性又直觀的分類法跟現今大部分AI運作的原理是可以互相比擬的,也是分類法的核心機制:模型能夠預測鄰近的輸入資訊並引發一連串的行動。阿比的機制也完整地展現了每個主題都是互相交織的。主題之間的交織關係讓所有事情都連結在一起,就像是「好鄰居」一樣。[2][2] 這個概念也挑戰了人類文化的傳統分類方法。阿比的方法對深植於藝術中的著作權概念與創意科技技術發展的相互連結,能產生怎麼樣的幫助呢?如果AI也能進入圖書資訊體系(datasets),AI該如何與發展AI技術的人類產生交互關係呢?

  1. 對大部分的人來說,AI的運作過程和篩選機制像是一個「黑盒子」,你們對這樣的說法有什麼看法?你們為什麼會選擇在作品中使用AI?

這件作品的緣起是一部我們在2020年製作的同名短片(連結)[3],當時在搜尋、選擇、編輯影片片段都是手動完成的。這讓我們開始思考如果AI可以取代這些人力,它會選擇什麼樣的影片,創造什麼樣的新穎敘事?之後,裝置版本的LAWKI—Alive就於焉誕生,並且以AI的特性建構「非線性的故事」。儘管我們已盡可能的說明白LAWKI作品中AI的運作機制,進而將AI除魅化,但其中的原理我們還是有一部分無法完全解開到讓人輕易理解,距離我們所期望的大眾理解也還差一步。(編按:藝術家希望開放與揭露AI背後的機制,讓大家不覺得AI是一個無從得知與理解的「黑盒子」。)但在我們看來這並不影響,,因為在這件作品中,我們的重點是在敘事與觀點之上,而AI的角色只是一個觀察者,意即另一個針對人類數位生活的機器人觀察視角,這個機器視角觀點的效度也應同等於人類策展人的觀點效度。就如同我們不會要求人類策展人完整解釋他們所做的每一個選擇(事實上也不太可能達成),我們應該也能以此標準去接納AI對於I人類活動的觀察與定義。以這個角度去看待、理解AI,我們便可發掘AI更多強大的潛能:只有電腦有能力探索、再現、呈現,幾乎接近無限大的現代數位世界,但又同時保持中立性,並得以不受任何個人觀點影響。
                         

[1] Bing, G. 1934. The Warburg Institute. Offprint from: The Library Association Record. p4
[2] Gombrich, E. H. 1986. Aby Warburg: An intellectual biography / with a memoir on the history of the library by F. Saxl. Phaidon: Oxford.
[3] LAWKI-Alive 短片作品連結:https://vimeo.com/462117359
                         

  1. 在你們的作品論述中,你們提到了資訊時代的一些特徵,包含注意力經濟、假新聞的傳播。可以請你們再解釋一,你們作品的藝術語言跟這些概念的關係嗎?

本作品使用的藝術語言可以分成三個層次。在注意力經濟的影響之下,最能代表我們作品概念的美學選擇是我們做了熱門影片的審查。假設一部影片的觀看人次超過百萬,它就會被一種顏色覆蓋,讓影片被屏蔽。這是注意力經濟所產生的反向極端,即是富者恆富的原理,已經擁有流量/金錢的人,會得到更多的流量/金錢,並持續受到矚目。這樣的安排也直接與一般Google或YouTube那種「演算法應該要投餵給使用者他們所預測出的使用者偏好內容」的觀念作對。

另外關於文字語言的層面,在建構作品核心的資料庫時,我們先以假想的使用者汲取搜尋關鍵字,再透過機器翻譯成世界主要語言。針對視覺內容的搜尋,我們也仿照一般人在網路上瀏覽資料的過程,「無意識地」吸收電腦所呈現給我們的一切搜尋結果,而這個結果通常就是現在最被注意到的內容。秉持著同樣的精神,我們並沒有排除掉假新聞。無論是真誠的故事、腳本編排過的vlog、過度誇張的假新聞都會不間斷的呈現在裝置之中,影片之間沒有階層關係,也不受到評判。與其掉進關於演算法陰謀論的無底洞,我們的作品 LAWKI 提供了一個異議空間讓網路上的同溫層/回聲室(echo chambers)可以互相交流。

ARK作品LAWKI—ALIVE於荷蘭艾因荷芬MU美術館展覽照片,影片內容部分被紫色覆蓋。LAWKI—ALIVE, ARK, 2021 (Arran Lyon, Federico Campagna, Louis Braddock Clarke,
Roosje Klap, Senka Milutinovic, Teoniki Rozynek, Valentin Vogelmann & Zuzanna Zgierska),
MU Hybrid Art House, Eindhoven, December 2021 © Hanneke Wetze

  1. 在裝置上顯示的影像,可以回應觀者的移動行徑,並且創造一個體驗式的觀看(embodied viewing),我好奇這個設定跟你們的作品概念有什麼關係?

目前大部分的人的生活常常充斥著螢幕,  並且長期接收過多媒體資訊。雖然因為我們的身體跟螢幕並無物理性上的直接連結,也無法掌控對於螢幕的某種能動性(agency)(編按:意即有主導權或者對螢幕及其背後的內容有影響力,可以掌控),但我們在網路上所看到的內容確實是因為我們與之互動所篩選產生的。在這樣的情況下,螢幕就已經是我們身體的延伸,也同時像一面鏡子一樣,反映了社會現實的樣態。

然而,當我們只是單純地在滑手機時,我們並沒有那麼容易意識到這件事情。為了除去這樣的斷裂性,LAWKI 裝置採用觀眾的動向作為啟動的依據。這個設定能讓觀眾意識到自己也對演算法產生積極的影響,自己的觀看和產生內容間是有因果關聯的。 這件作品中少有被動的觀看方式,LAWKI 以創新的方式與觀眾產生直觀地互動。在體驗裝置作品的的身體經驗中,我們物理性地穿梭於不同敘事並同時啟動影像的播放,這同時提醒著我們:數位世界立基於真實世界之上的。儘管數位世界是虛擬的而非體現的(embodied),但是仍很全面地影響著現實,虛擬世界與實體世界的關係是非常龐雜、真實且複雜的。

  1. 可以解釋你們對於觀者(spectatorship)的看法嗎?你們想要如何跟觀眾溝通?(例如:在電腦前面、手機前面看影片的經驗與在沉浸式裝置中,遊走並觀看影片的經驗有什麼差異性?)

LAWKI 作品的空間設計是希望超越平面用二維的方式體驗螢幕,當觀眾在螢幕之間穿梭,就像是在參與一齣舞作。我們的目標是超越一般的觀者的位置(spectatorship),讓其互動能能夠參與在作品之中。假如觀眾在螢幕前面靜止太久,他們所看到的影像就會被單一顏色淹沒,到最後把一切都遮蔽。因此觀眾只有透過與螢幕進行互動交流。例如:走路、跳舞、移動才能發掘背後驚奇的內容。這樣的方式能夠反映作品敘事如何在數位領域中不斷地被創造,人類與科技終能在此語境之下成為共同的創造者。

ARK作品LAWKI—ALIVE於荷蘭艾因荷芬MU美術館展覽照片,作品的「後端」與「前端」,「背面」與「正面」在概念上同樣重要。LAWKI—ALIVE, ARK, 2021 (Arran Lyon, Federico Campagna, Louis Braddock Clarke, Roosje Klap, Senka Milutinovic, Teoniki Rozynek, Valentin Vogelmann & Zuzanna Zgierska), MU Hybrid Art House, Eindhoven, December 2021 © Hanneke Wetzer

                                      
黃祥昀

臺大哲學系學士,荷蘭萊頓大學媒體研究所碩士,研究聚焦於當代藝術理論:動態影像中的時間哲學、後殖民歷史方法論與網路藝術社會學。文章散見於臺北數位藝術中心、今藝術、空總實驗波、國藝會現象書寫-視覺藝評:「雲的藝評」。近期嘗試將自己的詩作轉化為實驗電影與行為藝術,經營平台 「雲朵影像詩」,推廣以詩為劇本的影像創作。