视覚ー制御理论

視覚フィードバックによるロボット制御理平成13年度 北陸地区学生による研究発表会特別講演2002年3月9日金沢大学

藤田政之1980年代産業用ロボット自動車産業メカトロニクス産業2000年代ロボット競技ペットロボット・レスキューロボット介護用ロボット

などロボットの役割の移り変わり2ロボット空想上の人造人間

カレル・チャペック（チェコ，1890-1938）作品「R.U.R.（ロッサムの万能ロボット）」ではじめて登場（1920年）

語源はチェコ語のrobotnik

（農奴）人造の労働者たちの呼び名として使われたカレル・チャペックロボットの語源3日本が貢献した様々な技術スカラ型ロボットダイレクトドライブアーム（DDアーム）ハーモニックドライブ減速機産業用ロボットの技術4スカラ型ロボット２関節リンクの先端に, 垂直方向の❹進と手首の回転の自由度を加えた

４自由度のアーム

上方向からの組みつけ, 部品挿入締めつけなどの作業に適している1981年に日本の２社から発売

国際ロボット連盟（IFR）が定めた

６つ産業用ロボットのうちのひとつスカラ型ロボット5産業用ロボット直交座標ロボット円筒座標ロボット極座標ロボット多関節ロボット❹列リンクロボット6

減速機がない直接電動モータで駆動する直接駆動アーム

1980年に概念が確立され,

1981年に試作機が開発された．1984年にアジプトテクノロジー社（米国）から発売が開始SICE-DDアーム

ロボットの最大速度および繰り返し精度が従来の減速機つき産業用ロボットよりも１桁よいダイレクトドライブアーム7

発明家マッサー（米国）によって考案．ハーモニック・ドライブ・システムズ（日本）が1964年以来,

アイデアを発展させ販売学術的および一般名称は「波動歯車装置」

高減速比（1/30～1/320）, 小さなバックラッシュ, 高位置精度, 小型軽量で大トルク容量で小型軽量な駆動系が必須のロボットに適しているハーモニックドライブ減速ハーモニックドライブ減速機8産業界以外でみられるロボットコミュニケーションロボット２足歩行ロボットペットロボットロボット競技ロボットコンテストロボカップレスキューロボットコンテスト新世代ロボット9HOAP-1（富士通研究所）ASIMO（本田技研工業）SDR-3X（SONY）PINO（科学技術振興事業団）

10２足歩行ロボットAIBO（SONY）ペットロボット11

ロボットの各関節のアクチュエータは通常PID制御によって目標角度に追従するように制御されているが,システムが安定であるかどうかは不明であった定置制御の場合にPID制御則がシステムを安定にすることを,

リアプノフの安定理論を用いることによって示した（有本ら, 1981年）PID制御則の安定性に理論的な保証を与えたことは技術者に安心感を与えたロボット技術とロボット制御理論（学術的貢献）12・理論的な保証による安心感制御則の発展新しい研究分野の開拓（例えば移動ロボット）ロボット制御理論の果たす役割13ロボット制御理論の研究分野14力制御, 位置と力の動的ハイブリッド制御ロボット動特性の動的パラメータに関する線形関数表現と動特性同定法可操作性冗長ロボットの制御, 特異点ロバストな運動学的解繰り返し試行による学習制御フレキシブルアーム（柔軟関節）のモデリングと制御視覚情報を用いた視覚フィードバック制御視覚は外部情報の87%を占めるといわれており,

知的な情報を獲得するための最も重要な感覚器視覚フィードバック制御とは？ロボット制御

＋

視覚情報視覚情報が加わることで,

より知的なロボットとなる．実現するためにはより高度な制御が必要となり, 理論的なアプローチが重要となる視覚フィードバックシステムの例視覚フィードバック制御15軌道計画ロボット制御器ロボットタスクの実行作業現在位置ジョイントサーボ特徴理解 特徴抽出

カメラ静的な視覚フィードバック制御（初期の制御法）画像入力, 特徴抽出, 特徴理解, 軌道計画は動作開始前一度しか実行されない静的な視覚フィードバック制御16静的な視覚フィードバック制御（初期の制御法）動的な視覚フィードバック制御（現在の制御法）ビジョンセンサをフィードバックループの中に組み込んだ制御法．目標値入力の違いによって位置ベース法特徴（画像）ベース法の２つに大別される動的な視覚フィードバック制御17視覚情報から観測対象とロボットの手先との３次元で相対的な位置と姿勢を推定することによりロボットを制御する方法ロボット制御器ロボット特徴理解タスクの実行ジョイントサーボ特徴抽出

カメラ目標

＋位置ー現在位置位置ベース法18画像面での特徴量（領域の面積や中心位置など）をフィードバックしてロボットを制御する方法特徴ベース制御器ロボットカメラ特徴抽出タスクの実行目標特徴量現在特徴量ー＋特徴（画像）ベース法19視覚フィードバックシステム画像ベース法（観測対象の中心位置を画像面の中心にあわせる）アイインハンド構造（ロボットの手先にカメラが取り付けれた構造）２自由度マニピュレータ視覚フィードバックによるロボット制御理論20補助ベクトル：(3)制御入力：速度項画像面での位置の項PD制御(4)視覚フィードバック制御(1/2)(1)ロボットダイナミクス：カメラモデル：(2)21定理１ゲイン が正で

が正定行列ならば閉ループ系（5）（6）は漸近安定な平衡点

をもつ視覚フィードバック制御(2/2)安定性はリアプノフの安定定理に基づいて証明される閉ループ系：(5)(6)22安定性解析リアプノフの安定定理平衡点（原点）を通り, 時間微分が負となる正定関数

Vが存在すれば,

システムの平衡点は漸近安定である23リアプノフ関数SICE-DDアームでの実験例(1/3)アイインハンド構造のロボット：SICE-DDアームの

手先にCCDカメラを取り付けてあるCCDカメラ：PULNiX社のTM-7EX図:視覚フィードバックシステムの24カメラSICE-DD

アームでの実験例

(2/3)画像入力ボード：Leutron

Vision社のPicPort-Stereo-H4D観測対象の重心位置計算：MVTec社のHalcon（ソフトウェア）ホストPC：CPU

(Pentium

III

500MHz)Memory

(256MB)DSP：TMS320C40を搭載DSP

のサンプリング周期

1ms視覚情報のサンプリング周期約33ms図4:Halcon25SICE-DDアームでの実験例(3/3)26視覚フィードバック制御の実験例(東京大学)27産業用ロボット実用的人の代わりに働くエンターテイメントロボット人とのコミュニケーション実用性は？医療用ロボット 介護用ロボット実用的人とのコミュニケーションこれからのロボット28Zeus（Computer

Motion社）医療用ロボット29da

Vinci（Intuitive

Surgical社）医療用ロボット30Raptor

Wheelchair

Robot

System下肢運動療法装置TEM（安川電機）医療福祉ロボット31産業用ロボット実用的人の代わりに働くエンターテイメントロボット人とのコミュニケーション実用性は？介護用ロボット医療用ロボット実用的人とのコミュニケーション理論的な保証による安心感ロボットの高性能化のための制御則の発展新しい研究分野の開拓これらを達成するために発展が期待される研究分3野2これからのロボット制御理論付録33アウトライン視覚フィードバックシステムのモデルロボットダイナミクスカメラモデル視覚フィードバック制御制御則の提案安定性解析SICE-DDアームによる実験例34慣性行列遠心力・

重力項コリオリ力項関節変数

入力トルク性質１：の正定性性質２：の歪対称性(1)ロボットダイナミクス任意のベクトルx

に対してが成り立つ35観測対象カメラモデル(1/4)図：カメラ座標系基本座標系から見た視覚情報f

を求めたい36回転行列基本座標系カメラ座標系観測対象軸周りに回転平面カメラモデル(2/4)37図：カメラ座標系観測対象スケーリングパラメー[タpixels/m]カメラモデル(3/4)38カメラモデル(4/4)特徴量

f

の時間微分を変形すると次のカメラモデルが導出される（安定性解析において重要な役割をはたす）カメラモデル：特徴量：性質３：の歪対称性39補助ベクトル：(3)制御入力：速度項画像面での位置の項PD制御閉ループ系：(4)(5)(6)視覚フィードバック制御40(1/2)定理１ゲイン が正で

が正定行列ならば閉ループ系（5）（6）は漸近安定な平衡点

をもつ視覚フィードバック制御(2/2)閉ループ系：(5)(6)安定性はリアプノフの安定定理に基づいて証明される41安定性解析

(1/4)リアプノフの安定定理平衡点（原点）を通り, 時間微分が負となる正定関数

Vが存在すれば,

システムの平衡点は漸近安定である42リアプノフ関数（略証）リアプノフ関数候補：運動エネルギー画像パラメータポテンシャル閉ループ系の解軌道に沿って時間微分安定性解析43(2/4)（略証）

（続き）式より式より安定性解析

(3/4)44（略証）

（続き）性質３：歪対称性性質２：歪対称性正定∴ 平衡点は漸近安定である正定

正安定性解析

(4/4)45３次元視覚フィードバック制御（画像ベース法）制御入力：ロボットダイナミクス：画像ヤコビアン：(7)46(8)(9)閉ループ系：定理ゲイ