Rocket Mouse Proの使い方 画像認識してマウスの動きを自動化して事務作業もイベもリセマラも楽々

ロケットマウスアイキャッチ

マウスの動きを自動化させるために利用されるマウスマクロツール。マクロツールが制御できるのはマウスの動きばかりでなく、高機能なものならキーボードの操作まで再現させることができます。

有名所ではHiMacroEXやAutomatorといったものがあり、マクロを編集で条件を指定することで動作を制御することができます。

参照
HiMacroEXの使い方
(簡単に使えるマウスマクロツール)
その他の自動マウスツール一覧

単純な繰り返し作業をオート化するならこれらのツールで十分ですが、ある画像やボタンが表示された時だけクリックさせるような、条件を指定して動作を変えることはできません。

画像やボタンが表示されたときだけ特定の処理を行わせたいなら、「画像認識」機能のついたマウスマクロツールが必要になります。

画像認識というと難しそうに聞こえますが、ソフトが対応していれば簡単に実行させることができます。

 

画像認識を使えば、この文字が出てきたらこの処理、この画像があったらあの処理といった分岐をさせることができます。

事務作業や繰り返し作業が必要なゲームのイベントも、一度マクロを作成してしまえば、あとは何もしなくても自動で実行されます。

画像認識に利用する画像データもマクロ同様に保存されるので、マクロを一度作ってしまえば好きな時に呼び出して繰り返し作業を行わせることができます。

ネットゲームは外部ツールの使用を禁じられていることもあるので、利用規約を確認の上使って下さい

 

ここでは有料ツールになりますが、画像認識を使ってかんたんに条件を追加できるWindows用ソフト『RocketMouse Pro』を紹介します。

単機能ツールとしては多少高く感じますが、2週間は試用できるので使い勝手を確認することができます。

ゲームだけのために5千円のソフトを買うのは躊躇しますが、仕事で異なるソフト間でのデータのやり取りに使うなら、そんなもんかという額です。

大量のデータならともかく、20件、30件程度のデータのためにフォーマットを変換して読み込ませる、なんて手間は省けるものなら省きたいものです。

ロケットマウスのインストールと利用開始まで

ロケットマウスはVectorで配布されています。ダウンロードページではシェアレジ(有料)となっていますが、ダウンロードすれば2週間は無料で使えます。

ダウンロード先
RocketMouse Pro(Vector)

 

デフォルトの保存場所
 C:\Users\ユーザ名\AppData\Roaming\RocketMouse\

 

インストール後は起動するたびにユーザーIDとパスワードを聞かれますが、 試用(T) を押せば14日間試用できます。

ロケットマウスプロ

 

ロケットマウスの使い方

ロケットマウスの画面は、処理を記入する場所が3つのタブに分かれています。

1番めは初期の処理、3番めは最後の処理。

2番めの繰り返し処理タブでは回数を指定して動作を繰り返させることができます。

もっとも処理の条件で分岐させてしまえば回数指定しなくても繰り返し処理はできるので、特に気にしなくても大丈夫。

マクロを最初のタブだけで完結させても動くので、繰り返しと後処理タブは必要に応じて使うという感じです。

画像認識の設定

記録開始ボタンでマウスの動きを記録すれば、通常のマウスマクロツールと同じように使えます。

今回は画像認識を利用するので、手作業でマクロを編集していきます。

条件文を新たに作ると処理リストに追加されます。順番は条件をドラッグするだけで入れ替えることができます。

 

条件文の追加は、ロケットマウスのメインウインドウにある記録ボタン の右にある   をクリックして条件リスト(コマンドリスト、条件リスト)から行います。

 

   をクリックしたら表示される条件分リストから「画像認識」を選択

ロケットマウスプロ

 

条件編集ウインドウが開くので、電球マークをクリックして画像認識オプションに移動します。

ロケットマウスプロ

条件編集ウインドウは、メインウインドウに表示されている条件をダブルクリックしても表示されます

 

次に認識させたい画像とアクション(実行処理)を登録します。

一番上に表示されているボタン「画像をドラッグ・アンド・ドロップで~」を押すと範囲選択モードになるので、認識させたい画像の範囲を指定します。すると右側に自動的に認識対象とする画像が入力されます。

認識対象の画像は上書きができるので、失敗したら再度「ドラッグアンドドロップで~」をクリックして取得します。取得した画像が条件として有効かどうかは、一番下の「認識テスト」で確認できます。

画像の「認識テスト」に成功したら分岐処理を記入します。

画像が正しく認識されても「精度の問題で判定としては無効」と表示されることがあります。この表示は「それっぽい画像は見つけたけど、厳密に比較すると違う気がする」という意味です。

ようは「同一性を厳しく判定すると違うっぽい」ということなので、「認識判定の精度レベル」を少しずつ甘くしていけば解消します。目的以外の画像に反応しないレベルであれば、大幅に甘くしても問題ありません。

 

画像認識が成功したら、つぎは分岐処理を記入します。画像認識のオプションでは、画像が見つかった場合と、画像が見つからなかった場合で別々の動作を指定することができます。

たとえば指定した画像が見つかったら左クリックをする、目的の画像がなければ最初の処理にジャンプさせるといった分岐が行なえます。

 

画像がないときは先頭行に戻すようにしておけば、画像が見つかった場合のみ左クリックが実行されます。

 

実際の利用

画像認識のやり方はわかった。それでどうやって自動化するんだ?となるとなります。

ここではゲームの友達リストを遡って、最終ページに到達したら最初のページ(1ページ目)に戻るマクロをつくってみます。

サンプルにゲーム画面を利用しているのは、画像認識に使えるいいサンプルがなかったためです。オンラインゲームでマクロツールを利用する際は、ツールの利用が禁止されていないか確認して下さい

サンプル

 

処理の流れ

  1. 画像認識:ページ一番下にあるはずの「リスト編集」が画面内にあるか
    ある → ジャンプ:「③画像認識:ページ移動ボタン>をクリック」
    ない → 最初に戻る
  2. マウスホイール操作:-180(下スクロールならマイナス、上なら符号なし)
  3. ジャンプ:①に戻る
  4. 画像認識:ページ移動ボタン「 」があるか
    ある → 画像をクリック
    ない → ジャンプ「⑥画像認識:最終処理」
  5. ジャンプ:①に戻る
  6. 画像認識:ページ移動ボタン画像「 」があるか(最終処理)
    ある → 画像「<」をクリック
    ない → 何もしない(⑦に移動)
  7. 画像認識:ページ移動ボタン画像「 」があるか
    ある → ⑥に戻る
    ない → 何もしない(終了)

 

画像を下にスクロールさせる ⇒ ページ末尾の印である「リスト編集」があり、かつ次ページ移動ボタン「 」があれば「 」をクリックしてページ移動 ⇒ 「 」がなければ最終ページなので前のページに戻るボタン「 」がある限りクリックし続けて最初のページへ戻る

何か処理を行わせたい場合は①の前に挿入します。ある画像が表示されていたらクリックさせたり、さらに処理を分岐させて別ベージでの操作を行わせる事もできます。

 

最初はとまどいますが、2,3回も練習すれば慣れます。

画像認識は面倒に感じますが、習うより慣れろでいけば、想像以上に簡単に扱えるツールです。興味があったらとりあえずやってみることをお勧めします。