THE INTEGRATED METHODOLOGY AND RESEARCH OF THE INTERACTIVE
INTERMEDIA ART FOR THE SOUND, VISION AND DYNAMIC MACHINERY
聲音、視覺與動態機械之互動跨媒體表演藝術整合方法研究
摘要
科技的發展提供藝術家新的媒材以及創作方式，
聲音與影像互動的藝術歷年來不斷蓬勃發展，但卻鮮
少將機械運動與聲音及影像結合來創作；本文將介紹
如何使用MAX [6] 整合影音互動藝術創作，並加入雙
軸機構運動控制，來展現更有趣的跨媒體與多媒體表
演藝術。
關鍵字:
聲音與影像互動式藝術、機械運動、MAX 整合
影音互動。
1. 前言
電子影音藝術在西方已被公認為一門成熟的藝
術，從 80 年代起，已有不少其他領域的藝術家，把
電子影音媒材運用到他們的創作中；90 年代末期更出
現許多的風格潮流，以及不同的意識形態觀點，對不
同的美學問題，提出各種思考 [5]。
數位化的影像、聲音、文字全部變為電腦裡的數
據，數據經由演算以及控制等方式，可建構出一個像
現實一般的虛擬實境 (Virtual Reality, VR)，虛擬實境
則是由影像、聲音、以及軌跡動態所構成 [1]，如下
圖 ：
Figure 1. 聲音、影像、軌跡動態在虛擬實境的關係圖
產生互動式多媒體藝術的要素包括：1.人機介面
(Human Machine Interface, HMI)、2.感測器 (Sensor) 、
3.致動器(Actuator)；假設使用電腦讓演員與機器間能
夠以符合的形式對話，或許表演的趨勢不久後將可以
有多形式的表演互動 [1] ；在電腦科學觀點裡，對於
相似的問題有另外一種處理方法；就是互動式資料採
礦 (Interactive Data Mining) [2]，演員使用電腦來做延
伸，形成相似點，在於形成列出一個相似形式內容的
連續改進動作。其使用計算說明以及互動方式，來改
進內容的動作以及他們的形式[3, 4]。
2006 International Workshop on Computer Music and Audio Technology
1
Figure 2. 將虛擬實境運用在舞臺表演的軌跡動態 [1]
電腦不但是藝術家的創作工具，而且透過其本身
數位化的運算也會產生出一些創作者事前無法預料的
效果，藝術家更可以加入人機介面，讓觀者擁有一部
份的主控性，與作品產生互動而了解作品建構的意義
[5]。科技的發展提供藝術家新的媒材以及創作方式，
聲音與影像互動的藝術歷年來不斷蓬勃發展，但卻少
人將機械運動與聲音及影像結合來創作；本文將介紹
如何使用 MAX [6]整合影音互動，並加入雙軸機構運
動控制，來展現更有趣的多媒體表演藝術。
2.聲音控制影像生成以及雙軸機構運動
筆者使用 MAX 來產生音高 (Pitch)，並且利用此
音高控制視覺影像的生成以及雙軸機構運動；雙軸機
構運動在此代表人的肢體表演。
下方為製作流程圖:
接下來為此段程式做說明：
Figure 3. 整段程式介面。
Figure 4. 利用 Table物件創作出音高；橫軸代表時間
軸 (Time Line) ，縱軸代表音高 (Pitch) 。
2006 International Workshop on Computer Music and Audio Technology
2
Figure 5. 音高分佈圖；X軸表示時間，Y軸表示音高
假若我們想要使音高亂數產生，並且指定音 C、
E、G、bB 這四個構成 F 大調屬七和弦的音，可以使
用下列公式來篩選音高：
音高 pitch/12 rc=0 (此音為 C) (1)
音高 pitch/12 rc=4 (此音為 E) (2)
音高 pitch/12 rc=7 (此音為 G) (3)
音高 pitch/12 rc=9 (此音為 bB) (4)
(此處 rc代表 Residue Class) [7]
Figure 6. 製作音色選擇功能。
用 PGMOUT 物件來改變音色 PGMOUT 有兩個輸入
端，左方為音色選擇，在音色選擇之前，加入
UMENU 物件即可製作出樂器音色選單，方便使用者
來運用；右方代表MIDI的 CHANNEL。
使用 SIEVE [7, 10] 的方式制定節奏 (Rhythm) ：
Figure 7. 篩選節奏的程式片段。
公式：
counter/mod=rc (5)
(訊號通過由左下輸出，拍點(beat)產生)
counter/mod≠rc
(訊號不通過，由右邊輸出，不產生拍點)
此處設定計數器 (Counter) 的值為 0-9，計數器為
輸入 1分別去除以 MOD (Modulus, 模數) 的值，若等
於 rc 的值，左方的 BANG 物件就會送出訊號，若不
等於 rc值，訊號則會送到右方，因此可以產生節奏的
變化。
2006 International Workshop on Computer Music and Audio Technology
3
Figure 8. 啟動開關之後，訊號即會傳送到節奏的
SIEVE，透過 SIEVE 篩選的訊號使音高發出聲響，因
此產生節奏。
Figure 9. 影像視窗的程式片段。
此段程式控制影像視窗的開關，WCLOSE代表關
閉影像視窗，OPEN代表開起影像視窗；GRAPHIC
物件的四個引數代表影像視窗左、上、右、下四個邊
的預留像素 [8] 。
音樂控制色塊的變化
Figure 10. 控制色塊變化的程式片段。
演奏的音高、節奏、音量傳送到 poly 物件，此物
件給定不重複的發聲數編號(1-8)到每個發出聲音的音
符上。當同時要發出聲音的音符超過八個，poly 物將
送出第一個發出聲音的音符 note-off 的訊息，以讓更
新的音符發聲。這稱為 voice-stealing 發聲數轉移。第
一個引數定義 poly 物件有幾個發聲數，第二個引數
(如果非 0)指定是否允許發聲數轉移。
音樂的各參數，如音高、節奏、力度等決定繪製
在影像視窗內的方塊格式。發聲數號碼用來將訊息串
連到八個不同的 rect物件。
影像視窗中，圖形以 sprites 方式顯示。也就是說
圖形將會在一個位置出現之後，整個消去，再移動到
另一個位置繪出。每個繪圖物件，如 rect 物件，會控
制一個 sprite，所以如果要同時呈現數個圖案，需要
多個物件。這裏使用了八個 rect 物件，以表示合理情
況下能夠同時發出八個音。 rect 物件由引數指定將圖
形放在哪個影像視窗中。其輸入端點指定四個角落的
相 對於繪圖視窗的左上角的座標位置，順序為左，
上，右，下。同時也有輸入端點指定 sprite 的 pen
mode及顏色。我們使用輸入的 MIDI訊息計算出這些
數值，以繪出圖形。將所有六個輸入端點打包成一個
列表(PACK 物件)，並將發聲數號碼放在列表的最前
項，所以我們可以將此列表中的方格敘述串連到適當
的 rect物件 [8]。
Figure 11. 利用 rect物件所繪出的長條圖。
音樂控制圖片位移
2006 International Workshop on Computer Music and Audio Technology
4
Figure 12. 此段程式可以讓圖片隨著音樂音高、力度、
節奏等參數產生位移。
pict 物件可以載入任何的圖片檔案到影像視窗
中，pict 物件第一個引數是影像視窗的名稱，第二個
則是圖片檔案名，此檔案必須要放在 Max的資料夾路
徑下，否則將會在 Max 視窗中顯示錯誤訊息。
第三個引數則是 sprite 的優先順序，優先順序越
高，會被放在越上層，而疊在優先順序小的 sprite 之
上。預設的 pict優先順序為 0，而 rect的優先順序為
3，所以預設情況下 rect 件會蓋過 pict 物件。現已將
pict 物件設定成 4 為較高的優先順序，所以圖片永遠
會在圖形之上層。
圖片的像素大小由本來的檔案決定，我們只能給予
pict物件兩個座標數值，也就是圖片的左上角座標位
置。非0數值或是bang訊息送入pict物件左輸入接點，
會令圖片顯示在指定的點上。
在此，line 物件用來由左至右連續改變座標位
置，到達指定的目標點。如同方塊的參數計算方式，
橫座標的目的地位置，是由發出聲音的音符計算得
出。圖片與底部的距離由音符的 note-on 的速度值決
定 (1-127)，對應到縱軸的數值(由下而上是 320 到
0)。line 物件移動圖片到指定座標，其中所需時間由
timer 物件決定，此物件量測前一個 note-on經過的時
間。時間解析度為 33ms，令圖片以每秒變換 30次(一
般人視覺暫留的時間 [9])。而實際圖片重繪的速度取
決於個人電腦的速度 [8] 。
音樂控制同心圓色彩變化
Figure 13. 控制同心圓變化之程式片段。
由 counter 輸出的數值用來計算同心圓的顏色及
座標，使用 PaintOval 訊息顯示在 lcd 物件內。此 lcd
物件寬 648像素，高 488像素。由於已知 lcd 物件的
大小為 648x488，我們可以計算出其中心為 80, 60。
所以要做出半徑為 400 的圓，會被座標為-80, -160,
720, 640的方塊給包住。
所以，要在計數器由0算到400的時間內，依序做
出逐漸縮小的同心圓，包住此圓的方塊座標由-80,-
160,720,640(半徑為400 的圓)變成80,60,80,60(半徑為0
的圓)。
計算後的座標值包裝成列表(PACK 物件)，在最
前面加入 PaintOval，將整個訊息由 s tolcd 及 r
tolcd(隱藏在主程式中)送入 lcd物件。
Figure 14. r tolcd物件送入 lcd中。
繪圖顏色是由 color 後接 0-255 的數字訊息所給
定。如果有大於 255 的數值輸入，將自動以求餘數的
方式限制在 255 內。由 counter 的左輸出端點送出的
數值乘上右輸出端點送出的 carry count(計算值到達最
大值的次數)。 以當畫出每個圓形時，lcd 物件的顏色
2006 International Workshop on Computer Music and Audio Technology
5
的跳動間隔會由 1，變成 2，在變成 3，lcd 物件會將
他們對應到正確的範圍內。由於色彩跳動的間隔並非
固定的，所以圓圈的顏色模式也會改變[8] 。
MAX 若使用 JITTER外掛，則可以產生出類似萬
花筒般的碎形或其他分子運動畫面。
Figure 15. Jitter所產生之視訊效果。
音樂各項參數由 Serial Port輸出
由於二軸運動裝置為 RS-232 界面，所以我們必
須讓音樂的各項參數從 Serial Port 輸出。所有參數經
由 spell物件轉換成 ASCII CODE再由 RS232傳輸出
去。Serial a 代表 COM 1，b 代表 COM 2，依此類
推。SEND 物件負責發送訊息，其後面的引數必須是
default，否則會造成發送訊息的錯誤，使得接收端收
到錯誤資訊。
Figure 16. 此段程式使參數由 Serial Port輸出。
(設定 Baud Rate) (設定 Data Bit)
(設定 Parity) (設定 Stop Bit)
3. 二軸機構的運動
Figure 17. 二軸機構控制流程圖。
由 SERIAL PORT 送出的各項參數，經由 C++撰
寫的控制程式轉變為空間座標，來控制二軸機構的運
動。
2006 International Workshop on Computer Music and Audio Technology
6
Figure 18. 二軸機構控制程式編譯。
Figure 19. 二軸機構控制程式人機介面。
Figure 20. 二軸機構矩陣座標轉換圖。
二軸機構的 Azimuth / Elevation命令 可
由機構在慣性座標的姿態，也就是
ELAZCMD /
φ (roll), θ (pitch),
以及ψ (yaw) 透過旋轉矩陣 來完成座標轉換，
如 Figure 20以及公式 (6) 所示。而
33][ xR
φ (roll), θ (pitch),
以及ψ (yaw) 可由 MAX/MSP所產生的音樂參數來控
制二軸機構的運動。
]][][[][ 33/ ψθφxELAZ RCMD = (6)
二軸機構的 ROLL 對應到音樂的 VELOCITY 變
化，音量變化越大，滾轉的角度也會加大。俯仰角
PITCH正好對應到音樂的 PITCH，音越高，機構頭端
的俯仰角則會越高。偏航角 YAW 對應到音樂上
RHYTHM 的變化，可以使機構左右晃動。在這邊方
位角 AZMITH，與上升高度 ELEVATION尚未製作相
對應的音樂參數。
Figure 21. 二軸機構接收到音樂的各項參數後所產生的
運動。
4. 結語：
國人在影音多媒體藝術的創作上，歷年來蓬勃發
展，卻鮮少有人將之結合機械動態來創作，因此筆者
試著結合了二軸機構運動來發展不同的藝術創作。
本文中的影音互動以及二軸機構運動實驗，是一個新
的嘗試，為了減少錯誤的發生，乃使用較少的參數來
做控制；但是我們知道，控制音樂的變化，如音高、
音量、節奏、時值、音色、和弦、演奏法、織度⋯等
非常的多，日後，筆者將再加入更多的參數來控制機
構運動。爾後也可以運用電腦來創作序列化編曲，序
列化的樂曲，就像是一個個的音樂事件，這些事件可
出現為微小的音響"點"，是色彩， 或旋律，或節奏，
以顯然隨意的方式相互交織或交融。當然電腦序列化
作曲並不能完全讓其自動亂數產生，這樣會使得作品
聽起來雜亂無章，好的序列化作品仍需要經過創作者
的巧思以及設計，許多事件的總體呈現一個合乎邏輯
的模式。
音樂可以控制圖像以及二軸機構的動態，反之，
影像或是二軸機構的動態必定也能控制旋律的高低、
快慢、強弱、節奏等變化的產生；日後我們也可以製
作出機器人的機構，讓它登上舞台，使其隨著音樂翩
翩起舞，並結合數位影像的佈景組合，成為新型態的
表演藝術。
North
East
EL AZ
二軸機構致動器
AZ/EL命令
2006 International Workshop on Computer Music and Audio Technology
7
Figure 22. 利用MAX 來製作數位舞台布景[2]。
5.參考書目:
1. Bonardi, Alain & Rousseaux, Francis. (2004) NEW
APPROACHES OF THEATRE AND OPERA
DIRECTLY INSPIRED BY INTERACTIVE
DATA-MINING.
2. Rousseaux, Francis; Bonardi, Alain (2004) Music-
ripping:des pratiques qui provoquent la musicologie,
Musicae Scientiae
3. Donin, Nicolas (2004) Towards Organised
Listening:Some Aspects of the Signed Listening
Project at Ircam, Organised Sound, Cambridge
University Press.
4. Pachet, François (2003) Nom de fichiers: Le nom,
actes du séminaire STP de la MSH Paris.
5. 李道明 (2002) 。回顧歐美電子影音藝術的發展
。美育雙月刊115期，12-21頁。
6. Chris Dobrian, David Zicarelli, Gregory Taylor,
Joshua Kit Clayton, jhno, Richard, Dudas, David
Zicarelli, Gregory Taylor, Jeremy Bernstein, Adam,
Schabtach, Richard Dudas, Luke DuBois, Darwin
Grosse, Ben Nevile, Joshua Kit, Clayton, and David
Zicarelli, Lilli Wessling Hart, Gregory Taylor
(2003-2004) MAX Tutorials and Topics,
Cycling ’74/IRCAM, l’Institut de Recherche et
Coördination Acoustique/Musique.
7. Phil Winsor (1992) Automated Music Composition,
UNIVERSITY OF NORTH TEXAS PRESS.
8. Chris Dobrian, David Zicarelli, Gregory Taylor,
Joshua Kit Clayton, jhno, Richard, Dudas, David
Zicarelli, Gregory Taylor, Jeremy Bernstein, Adam,
Schabtach, Richard Dudas, Luke DuBois, Darwin
Grosse, Ben Nevile, Joshua Kit, Clayton, and David
Zicarelli, Lilli Wessling Hart, Gregory Taylor著，
李岳凌譯 (2005) 。MAX教學課程與專題。
Cycling ’74/IRCAM, l’Institut de Recherche et
Coördination Acoustique/Musique.
9. Zettle, Herbert著，葉春華譯（1999）。錄影製
作：觀念、原理與科技。亞太圖書出版社。
10. Christopher Ariza (2005) The Xenakis Sieve as
Object: A New Model and a Complete
Implementation.
2006 International Workshop on Computer Music and Audio Technology
8
