<img src="//trc.taboola.com/1222697/log/3/unip?en=page_view" width="0" height="0" style="display:none">

ナレッジベース

AI Computer Vision リリースのお知らせ

はじめに

製品の機能性、サービスの向上、および総合的に優れたユーザーエクスペリエンスの実現を目的として、UiPath によって設計および開発された UiPath RPA プラットフォームの新しいアドオンである UiPath AI Computer Vision アクティビティパッケージを紹介いたします。

 

UiPath AI Computer Vision とは

UiPath AI Computer Vision アクティビティパッケージ(以下、AI Computer Vision)は、従来のコンピュータビジョンを AI 技術により進化させたアクティビティを含むパッケージです。主な機能は、UI 要素を検出し、クリックや文字の入力を行うことです。

 

AI Computer Vision は、機械学習をベースとする手法により画面イメージから UI 要素を検出するとともにOCRエンジンによりテキストを抽出して、UIを完全に認識しようとします。

 

アクティビティの詳細はユーザーガイドを参照ください。

https://activities.uipath.com/lang-ja/docs/about-the-ai-computer-vision-activities-pack

 

特徴

AI Computer Vision によりもたらすことを目指している利点のいくつかは次のとおりです。

  • VDI(仮想デスクトップインフラ)画面の自動化能力と信頼性を向上 ~ VDI と非 VDI の間の自動化の移行
  • デスクトップの信頼性を向上
  • 実装スピード
  • 使いやすさ
  • クロスプラットフォーム機能

広範囲の UI 要素の検出に利用できます。特に CitrixVMwareWindows リモートデスクトップ等の仮想化アプリに対して効果的です。また、従来テクニックを駆使して自動化を行ってきたSAPアプリについても、自動化がしやすくなります。

 

導入にテクニカルスキルは不要です。真の意味でドラッグ&ドロップによる AI エクスペリエンスを実現するパッケージです。

 

利用上の留意点

AI Computer Vision を利用する場合は、UiPath AI Computer Vision Specific Terms(UiPath AI Computer Vision 特定条項)に同意する必要があります。それは、AI Computer Vision が、AI 技術を用いて UI 要素を検出するために、スクリーンショットを UiPath またはその関連会社に送信するためです。したがって、AI Computer Vision によって個人データまたはその他の機密情報を処理しないでください。

 

UiPath Studio での利用(開発環境におけるデザイン時)

開発環境において、UiPath Studio で AI Computer Vision を利用してワークフローをデザインする場合、自動化対象の UI のスクリーンショットがクラウド上にホストされた機械学習サーバーに転送されます。転送されたデータは UI 要素の検出のために使用され、定めのない期間、サーバーに保存されます。UiPath は AI Computer Vision で使用する機械学習モデルの性能向上を目的として保存されたデータを使用します。

AI Computer Vision を利用しない場合は、システム管理者(または UiPath RPA プラットフォームにアクセスして操作を制御している他の従業員)に、AI Computer Vision をインストールしないように指示してください。

 

AI Computer Vision を利用する場合は、すべての従業員および/または UiPath RPA プラットフォームの他のエンドユーザーに AI Computer Vision のインストールの目的と効果を通知し、必要に応じて EULA の下で文書化するようにご連絡ください。

 

次のスクリーンショットは、AI Computer Vision の「CV 画面スコープ」アクティビティを UiPath Studio のデザインパネルにドラッグ&ドロップしたときにポップアップするダイアログボックスの例です。

「同意する」 ボタンをクリックすると、「CV 画面スコープ」アクティビティがワークフローに配置されます。AI Computer Vision が提供するアクティビティは「CV 画面スコープ」アクティビティの中に配置する形で使用します。

「同意しない」 ボタンをクリックすると、「CV 画面スコープ」アクティビティはワークフローに配置されません。

 

UiPath Robot での利用(プロダクション環境における運用時)

プロダクション環境において、UiPath Robot が AI Computer Vision を利用して UI 要素の検出を行う場合、自動化対象の UI のスクリーンショットがクラウド上にホストされた機械学習サーバーに転送されます。転送されたデータは UI 要素の検出のために使用されます。UI 要素の検出後、データは保存されません。安全に破棄されます。

 

クラウド上にホストされた機械学習サーバー

AI Computer Vision が UI 要素の検出をリクエストするクラウド上にホストされた機械学習サーバーは、UiPath が運用および保守します。お客様は無料で利用できます。

 

オンプレミス環境での利用

インターネットアクセスを制限している社内ネットワークを使用されるお客様が AI Computer Vision を利用可能とするため、機械学習サーバーソフトウェアを無償で提供しています。

 

この利用形態では、お客様がサーバーハードウェアの設置およびサーバーソフトウェアの運用および保守を行うことになります。

 

オンプレミス環境における AI Computer Vision の利用の長所としては、お客様のプライバシーとセキュリティが最大限守られることです。AI Computer Vision は取得したスクリーンショットを社内ネットワークに接続した機械学習サーバーに転送します。社内ネットワークの外にデータが転送されることはありません。(機械学習による検出と組み合わせて使用するOCRエンジンが社外ネットワークにデータを転送しないように設定する必要があります。)

 

半面、機械学習モデルの改善は行わないため、UI 要素の検出性能は向上しません。

当該ソフトウェアの入手方法等、詳しくは営業担当者までお問合せください。

 

製品ステータス

製品版 AI Computer Vision アクティビティは、2019 Fast Track(Enterprise バージョン 19.4)リリースと同時期(2019年4月)にリリースされました。

2019年7月、バージョン 2.0 のアクティビティパッケージがリリースされました。

 

使用要件

AI Computer Vision の使用要件としてアクティビティパッケージの依存関係があります。

 

AI Computer Vision バージョン 1.0 については、UiPath.UIAutomation.Activities パッケージ バージョン 19.6.0 以下である必要があります。

 

そのほかの詳しい依存関係については、パッケージの管理ウィンドウあるいはプロジェクトパネルの依存関係のノードからご確認ください。

詳しくは リリースノート(英語)を参照ください。

 

インストール方法の詳細

UiPath Studio でプロジェクトを開きます。

 

デザインパネルのリボンボタンから「パッケージを管理」ウィンドウを開きます。

 

左側のペインで「オフィシャル」をクリックします。

 

computer vision」を検索します。

 

中央のペインに表示されるアクティビティから「UiPath.AI.ComputerVision.Activities」を選択してインストールします。

 

次のスクリーンショットは、UiPath.UIAutomation.Activities パッケージをアンインストールした状態で UiPath.AI.ComputerVision.Activities パッケージのインストールを開始した場合にポップアップするダイアログボックスの例です。

「同意する」 ボタンをクリックするとインストールが実際に開始されます。

「同意しない」 ボタンをクリックすると「保存」ボタンをクリックする前の状態に戻ります。

 

NuGet パッケージのファイル名

インストールされる UiPath.AI.ComputerVision.Activities パッケージの NuGet パッケージファイルの名前は、

UiPath.ComputerVision.Activities.*.*.*.nupkg

(*.*.* はバージョン番号)

となっています。(2019年7月現在)

 

API キー

UiPath がホストするクラウド上の機械学習サーバーを使用する場合、API キーが必要になりました。API キーは、UiPath Cloud Platform から取得可能です。詳しくは こちら(英語)を参照ください。なお、機械学習サーバーをオンプレミス環境に配置する場合は、API キーは不要です。