ナレッジベース

AI Computer Vision リリースのお知らせ

はじめに

製品の機能性、サービスの向上、および総合的に優れたユーザーエクスペリエンスの実現を目的として、UiPath によって設計および開発された UiPath RPA プラットフォームの新しいアドオンである UiPath AI Computer Vision アクティビティパッケージを紹介いたします。

 

UiPath AI Computer Vision とは

UiPath AI Computer Vision アクティビティパッケージ(以下、AI Computer Vision)は、従来のコンピュータビジョンを AI 技術により進化させたアクティビティを含むパッケージです。主な機能は、UI 要素を検出し、クリックや文字の入力を行うことです。

AI Computer Vision は、機械学習をベースとする手法により画面イメージから UI 要素を検出するとともにOCRエンジンによりテキストを抽出して、UIを完全に認識しようとします。

アクティビティの詳細はユーザーガイドを参照ください。

https://activities.uipath.com/lang-ja/docs/about-the-ai-computer-vision-activities-pack

 

特徴

AI Computer Vision によりもたらすことを目指している利点のいくつかは次のとおりです。

  • VDI(仮想デスクトップインフラ)画面の自動化能力と信頼性を向上 ~ VDI と非 VDI の間の自動化の移行
  • デスクトップの信頼性を向上
  • 実装スピード
  • 使いやすさ
  • クロスプラットフォーム機能

広範囲の UI 要素の検出に利用できます。特に CitrixVMwareWindows リモートデスクトップ等の仮想化アプリに対して効果的です。また、従来テクニックを駆使して自動化を行ってきたSAPアプリについても、自動化がしやすくなります。

導入にテクニカルスキルは不要です。真の意味でドラッグ&ドロップによる AI エクスペリエンスを実現するパッケージです。

 

利用上の留意点

AI Computer Vision を利用する場合は、UiPath AI Computer Vision Specific Terms(UiPath AI Computer Vision 特定条項)に同意する必要があります。それは、AI Computer Vision が、AI 技術を用いて UI 要素を検出するために、スクリーンショットを UiPath またはその関連会社に送信するためです。したがって、AI Computer Vision によって個人データまたはその他の機密情報を処理しないでください。

 

UiPath Studio での利用(開発環境におけるデザイン時)

開発環境において、UiPath Studio で AI Computer Vision を利用してワークフローをデザインする場合、自動化対象の UI のスクリーンショットがクラウド上にホストされた機械学習サーバーに転送されます。転送されたデータは UI 要素の検出のために使用され、定めのない期間、サーバーに保存されます。UiPath は AI Computer Vision で使用する機械学習モデルの性能向上を目的として保存されたデータを使用します。image01

AI Computer Vision を利用しない場合は、システム管理者(または UiPath RPA プラットフォームにアクセスして操作を制御している他の従業員)に、AI Computer Vision をインストールしないように指示してください。

AI Computer Vision を利用する場合は、すべての従業員および/または UiPath RPA プラットフォームの他のエンドユーザーに AI Computer Vision のインストールの目的と効果を通知し、必要に応じて EULA の下で文書化するようにご連絡ください。

次のスクリーンショットは、AI Computer Vision の「CV 画面スコープ」アクティビティを UiPath Studio のデザインパネルにドラッグ&ドロップしたときにポップアップするダイアログボックスの例です。

image02

意する」 ボタンをクリックすると、「CV 画面スコープ」アクティビティがワークフローに配置されます。AI Computer Vision が提供するアクティビティは「CV 画面スコープ」アクティビティの中に配置する形で使用します。

「同意しない」 ボタンをクリックすると、「CV 画面スコープ」アクティビティはワークフローに配置されません。

 

UiPath Robot での利用(プロダクション環境における運用時)

プロダクション環境において、UiPath Robot が AI Computer Vision を利用して UI 要素の検出を行う場合、自動化対象の UI のスクリーンショットがクラウド上にホストされた機械学習サーバーに転送されます。転送されたデータは UI 要素の検出のために使用されます。UI 要素の検出後、データは保存されません。安全に破棄されます。

image03

クラウド上にホストされた機械学習サーバー

AI Computer Vision が UI 要素の検出をリクエストするクラウド上にホストされた機械学習サーバーは、UiPath が運用および保守します。お客様は無料で利用できます。

 

オンプレミス環境での利用

インターネットアクセスを制限している社内ネットワークを使用されるお客様が AI Computer Vision を利用可能とするため、機械学習サーバーソフトウェアの有償での提供を予定しています。提供時期および提供価格は未定です。

この利用形態では、お客様がサーバーハードウェアの設置およびサーバーソフトウェアの運用および保守を行うことになります。

オンプレミス環境における AI Computer Vision の利用の長所としては、お客様のプライバシーとセキュリティが最大限守られることです。AI Computer Vision は取得したスクリーンショットを社内ネットワークに接続した機械学習サーバーに転送します。社内ネットワークの外にデータが転送されることはありません。(機械学習による検出と組み合わせて使用するOCRエンジンが社外ネットワークにデータを転送しないように設定する必要があります。)

半面、機械学習モデルの改善は行わないため、UI 要素の検出性能は向上しません。

 

製品ステータス

AI Computer Vision は、2019年3月現在プレビュー版としてリリースされています。パッケージはベータフィードから入手可能です。

製品版 AI Computer Vision のリリースは、2019 Fast Track(Enterprise バージョン 19.4)リリースと同時期(2019年4月中旬)に予定しています。

 

使用要件

AI Computer Vision の使用要件としてアクティビティパッケージの依存関係があります。

AI Computer Vision は、UiPath.UIAutomation.Activities パッケージ バージョン 19.2.0 が必要です。

本要件により、AI Computer Vision を利用するワークフローは必然的にバージョン 2018.3 以上の UiPath Studio で開発する必要があります。これは、バージョン 2018.2 とそれ以前の UiPath Studio に同梱される UiPath.Core.Activities アクティビティパッケージが UiPath.UIAutomation.Activities アクティビティパッケージと共存できないためです。

 

インストール方法の詳細

 

プレビュー版のインストール方法

UiPath Studio でプロジェクトを開きます。

デザインパネルのリボンボタンから「パッケージを管理」ウィンドウを開きます。

左側のペインにある「設定」をクリックし、「ユーザーが定義したパッケージソース」ラベルの右側に配置されている「+」ボタンをクリックして新規エントリを追加します。

名前フィールドに適当な名前(例:「ベータフィード」)を入力します。

ソースフィールドに次のURLを入力します。

「追加」ボタンをクリックすると、左側のペインにエントリーが追加されます。

左側のペインで追加したエントリーをクリックします。

「プレリリースを含む」チェックボックスにチェックを入れて「computer vision」を検索します。

中央のペインに表示されるアクティビティから「UiPath.AI.ComputerVision.Activities」を選択してインストールします。

 

注意事項:
現在のプロジェクトでインストールしている UiPath.UIAutomation.Activities パッケージが要件を満たさない場合(バージョン 19.2.0 未満の場合)、事前に要件を満たすように更新(アップグレード)するか、パッケージをアンインストールします。アンインストールした場合、UiPath.AI.ComputerVision.Activities のインストール時に自動的に依存関係が解決されます。
UiPath.UIAutomation.Activities パッケージが要件を満たさないまま UiPath.AI.ComputerVision.Activities パッケージのインストールを試みると、エラーが発生し、インストールに失敗します。

そして「保存」ボタンをクリックします。

次のスクリーンショットは、UiPath.UIAutomation.Activities パッケージをアンインストールした状態で UiPath.AI.ComputerVision.Activities パッケージのインストールを開始した場合にポップアップするダイアログボックスの例です。(UiPath Studio 19.2 の場合)

image04

「同意する」 ボタンをクリックするとインストールが実際に開始されます。

「同意しない」 ボタンをクリックすると「保存」ボタンをクリックする前の状態に戻ります。

 

NuGet パッケージのファイル名

インストールされる UiPath.AI.ComputerVision.Activities パッケージの NuGet パッケージファイルの名前は、

UiPath.ComputerVision.Activities.*.*.*.*.nupkg

(*.*.*.* はバージョン番号)

となっています。(2019年3月現在)