多模交互中最重要也是最麻烦的是操作对象的切换，因为它有可能意味着任务和上下文发生变化。例如，在空调界面中，用户说“调到25℃”，系统应该将空调温度调到25℃，而不是将音量调到25。
在语音交互中主语或者宾语即是操作对象；触屏GUI中手指触碰的地方即是操作对象，视线追踪、空手势、方向盘按键显示的焦点即是操作对象，在设计过程中我们应该如何考虑操作对象切换的问题呢？操作对象不一定只是控件和组件，它可以是一个页面，甚至是一个任务流程。
GUI和VUI融合的关键是将VUI意图中的主语/宾语和GUI里的控件组件/容器进行绑定，系统通过操作对象的对照就能知道GUI和VUI是否在操作同一个操作对象。以GUI为参照对象的好处是能让操作对象显性化，用户通过焦点的切换就知道自己的交互操作是否被系统正确识别，在多任务/多窗口里也能知道现在哪个任务/窗口被激活。