[30 天打造 RPA 自動化流程]Power Automate Desktop：滑鼠與鍵盤

Oct 4, 2024

一、前言

滑鼠和鍵盤操作是 Power Automate Desktop 中的自動化工具之一。它的使用方式很簡單，主要作用在於模擬人工操作滑鼠和鍵盤，常見的情境會是在應用程式間切換、資料輸入、以及文件處理。在本文中，我們將介紹幾個常用的滑鼠鍵盤功能，幫助你更有效地利用這項簡易又好用的工具。

二、滑鼠與鍵盤操作的特性及常見情境

1. 簡單易用

滑鼠和鍵盤操作是 Power Automate Desktop 最直觀的自動化方式，幾乎不需要額外的技術門檻。用戶可以透過滑鼠點擊來模擬手動操作，如打開應用程式、點擊按鈕或選擇選項。鍵盤操作則能模擬輸入文字、使用快捷鍵等功能，非常適合一些簡單重複的任務。

2. 靈活應用於不同環境

滑鼠和鍵盤操作能在不同的應用程式間靈活應用，無論是桌面應用、瀏覽器，還是文件處理工具。這讓它特別適合處理需要在多個應用程式間進行操作的工作流程。例如，在 Excel 中複製資料，並貼上到某個網站的表單中，這種場景可以輕鬆利用滑鼠和鍵盤來完成。

3. 快速解決無法識別的 UI 元素

在某些情況下，特定應用程式或網頁的 UI 元素可能無法被正確抓取或識別。這時，滑鼠和鍵盤操作提供了一個可行的解決方案，可以透過座標定位和模擬按鍵輸入，來繞過這些限制，實現流程自動化。

在資料處理上，滑鼠與鍵盤操作能輕鬆自動化表單填寫任務。例如，當你需要將某些固定格式的資料填寫到一個網頁表單中時，滑鼠操作可以幫助你點擊每個表單欄位，然後透過鍵盤輸入相應的數據，最後模擬點擊提交按鈕，完成整個表單提交過程。這樣的過程就會比起逐一選擇 UI 元素來得更有效率。

4. 文件管理操作

滑鼠和鍵盤操作也廣泛應用於日常的檔案管理。透過滑鼠點擊來選擇檔案、右鍵選單來執行複製、貼上或刪除，這些日常工作可以輕鬆自動化。例如，利用鍵盤的 Ctrl+C 和 Ctrl+V 快捷鍵，就會比起埋頭苦思如何設定流程腳本、變數或是條件式等，更有效率的批量處理檔案的複製與移動。

三、滑鼠與鍵盤操作的具體實作步驟

1. 傳送滑鼠按一下

在左側動作欄找到「滑鼠和鍵盤」的一系列動作後，選擇此動作後，一般來說「移動滑鼠」的欄位都會是關閉的。這邊我們會需要把這個欄位打開，才能進一步設定滑鼠的相關位置。
打開後會發現有 X 和 Y，代表的是游標在畫面上的位置，當我們鎖定好要使滑鼠點選的位置後，就在游標移到該畫面時，按下 control+shift。
另外還有一些欄位可以設定，分別由上而下是：「要傳送的滑鼠事件」、「等候」、「相對於」和「滑鼠移動樣式」。這些欄位都不難理解，有需要進行特殊設定時，可以將游標移動到該欄位右邊有個！符號的 icon 即會浮現相關說明。

2. 移動滑鼠至影像

這是另一個會滿常使用的滑鼠功能，我們可以先點選這個動作中的「選取影像」，接著會出現一個像素滿低的放大鏡，移動到我們所需的影像按一下左鍵就會抓到該影像了。
不過要注意的是實測下來，對於類似圖示的辨識度不是到非常理想，如果畫面中剛好會有非常雷同的圖示，建議還是透過別的方式抓取 UI 元素會更穩定一些。

3. 傳送按鍵

通常傳送按鍵常會用於一些打開或關閉應用程式的快捷鍵，打開這個動作後，一般需要調整的欄位會是「要傳送的文字」，可以在這邊直接透過輸入指令，又或是透過下方的「插入特殊鍵」和「插入輔助按鍵」的下拉選單找到所需按鍵。
此處示範的是直接輸入鍵盤文字，這邊我們要輸入的是 Control+W，所以我在這欄中填入 {Control}({W}) ，第一個按鍵使用單純的大括號包覆；第二個按鍵則同樣使用大括號包覆，不過在最外層加上了一對小括號。

此次實作的是簡易流程，目標是讓 RPA 可以自動點開記事本，接著移動到資料夾並點選，打開之後透過快捷鍵 Ctrl+W 將資料夾關閉。