日本IBM労組はAIを利用した人事評価・賃金決定について団体交渉に応じないのは不当な団交拒否に当たるとして、東京都労働委員会に救済を申し立てた。

こんにちは、丸山満彦です。

表題の通りなんですが、、、問題は、AIの利用そのものというよりも、人事評価の要素をAIがどのように判断するのかの説明を求めたが、開示する前提にないとして団体交渉を拒否したことから、申し立てに至ったということのようですね。。。

● 弁護士ドットコム

・2020.04.03「まさにブラックボックス」AIによる人事評価　情報開示求め、日本IBM労組が申し立て

-----

組合は繰り返し、団体交渉を通じて、AIの学習データや、AIが評価者である上司に向けて表示するアウトプットの開示を求めたほか、日本IBMが人事評価の要素として就業規則に定める「職務内容」「執務態度」などをAIがどのように判断するか説明を求めてきた。

その求めに対して、同社はAIが上司に示す情報は社員に開示することを前提としていないなどと主張し、団体交渉を拒否した。

-----

人間の評価もブラックボックスであるような。。。ただ、ブラックボックスではないかのようにそれなりの説明はするので、AIのワトソンさんだけで決めたのではなく、ワトソンさんのコメントも含めて上司が評価をしているのであれば、その上司が説明をすれば良いようにも思ったりします。。。

人事評価というのは、評価者と被評価者が事前に評価の仕方について了解をとっていないと揉めることが多いようにも思いますので、それらを含めて全体的に考えることが重要なような気もしますが、特徴的な話ということで取り上げました。。。

【参考】

● HAIシンポジウム2020

・2020.03.07 G-13: 人はロボットの選好を読めるか

・[PDF][Download - g13.pdf]

-----

...人はロボットの選好を推定することが可能であることが分かった．

-----

AI 倫理指針の動向とパーソナル AI エージェント by 中川裕志先生 AI 原則は機能するか？―非拘束的原則から普遍的原則への道筋 by 新保史生先生

こんにちは、丸山満彦です。

「学術雑誌『情報通信政策研究』第3巻第2号」に中川裕志先生の寄稿論文「AI 倫理指針の動向とパーソナル AI エージェント」が掲載されています。全体感を理解する上で参考になると思います。

また、新保史生先生の「AI 原則は機能するか？―非拘束的原則から普遍的原則への道筋」 も掲載されています。

● 総務省 - 情報通信政策研究所

・2020.03.30 情報通信政策研究 - 第3巻第2号

・[PDF] AI倫理指針の動向とパーソナルAIエージェント 著者：中川裕志（理化学研究所・革新知能統合研究センターPI）

・[PDF] AI原則は機能するか？ ―非拘束的原則から普遍的原則への道筋 著者：新保史生（慶應義塾大学総合政策学部教授）

同じ号に板倉先生の論文も掲載されていますね。

・[PDF] プライバシーに関する契約についての考察（問答編） 著者：板倉　陽一郎（ひかり総合法律事務所パートナー弁護士）

これはこれで興味深いので別途記載するつもりです。。。

Continue reading "AI 倫理指針の動向とパーソナル AI エージェント by 中川裕志先生　　 AI 原則は機能するか？―非拘束的原則から普遍的原則への道筋 by 新保史生先生"

EU Ethics Guidelines for Trustworthy AI

こんにちは、丸山満彦です。

タイムリーな話題というわけではないのですが、EUのEthics Guidelines for Trustworthy AIのウェブページ。。。

●European Commission > Futurium

・Ethics Guidelines for Trustworthy AI

・[PDF] Guidelines

EXECUTIVE SUMMARY
A. INTRODUCTION
B. A FRAMEWORK FOR TRUSTWORTHY AI
 I. Chapter I: Foundations of Trustworthy AI
 II. Chapter II: Realising Trustworthy AI
  1. Requirements of Trustworthy AI
  2. Technical and non-technical methods to realise Trustworthy AI
 III. Chapter III: Assessing Trustworthy AI
C. EXAMPLES OF OPPORTUNITIES AND CRITICAL CONCERNS RAISED BY AI
D. CONCLUSION
GLOSSARY

Continue reading "EU Ethics Guidelines for Trustworthy AI"

JVNVU#99619336 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

こんにちは、丸山満彦です。

JVNが「JVNVU#99619336　勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題」を公表していますね。。。

もともとは、CERT Coordination Center (@ Software Engineering Institute in Carnegie Mellon University) の Vulnerability Note VU#425163 Machine learning classifiers trained via gradient descent are vulnerable to arbitrary misclassification attackですね。。。

● JVN

・2020.03.25 JVNVU#99619336　勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

詳細情報

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能です。これは、Kumar et al. による攻撃分類では、perturbation attacks や adversarial examples in the physical domain に該当します。
攻撃対象のシステムに対して、攻撃者がデータの入力や出力の確認などを行うことができる余地が大きいほど、攻撃が成功する可能性は大きくなります。
また、学習プロセスに関する情報（教師データ、学習結果、学習モデル、テストデータなど）があれば、攻撃はより容易に行えるようになります。
現状では、数秒で攻撃できるものから何週間も必要になるものまで様々な事例が知られています。

想定される影響

本件はアルゴリズムの脆弱性であり、攻撃対象となるシステムにおいて機械学習の仕組みがどのように使われているかによって影響は異なります。
以下に、現在知られている中から典型的な事例を3つ挙げます。

• 音声からテキストへの自動変換システムに対し、任意の結果に誤変換させることが可能であることを実証
• 写真データを使った顔認識システムに対し、照明操作、眼鏡着用、写真データ加工などによって意図的に誤認識させることが可能であることを実証
• 2019年3月に発表された論文では、車線認識機能を持つ Tesla Autopilot に対し、実験用走行環境ではあるが、路面に貼られたステッカーによって意図的に車線変更させる実験に成功。また、2020年1月に発表された論文では、同様の手法がドローンなどによる路面への投影によっても可能であることを実証

Continue reading "JVNVU#99619336 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題"

ENISAがAI+Cybersecurityの専門家を探していますね。。。

こんにちは、丸山満彦です。

ENISAがAI+Cybersecurityの専門家を探していますね。

● ENISA

・2020.03.24 Call for Expression of Interest: Experts Group in Artificial Intelligence Cybersecurity

求めている情報というのは、

AI cybersecurity	AIのサイバーセキュリティ
AI explainability and trustworthiness	AIの説明力と信頼性
AI risk management	AIのリスク管理
Sectorial AI expertise	分野別のAIの専門知識
Algorithmic security	アルゴリズムのセキュリティ
Data security in relation to AI	AIに関連したデータセキュリティ

主要なトピックは、

• advising ENISA on developing an asset taxonomy and threat landscape for Artificial Intelligence using risk management methodology;
• advising on mitigating AI risks, including advice on specific use cases and application scenarios in the field;
• reviewing of related ENISA deliverables;
• advising ENISA on related security measures and recommendations;
• providing general  advice to ENISA in carrying out its tasks in relation to Artificial Intelligence cybersecurity.

ということのようです。

AIとセキュリティに関する論文２つ＜＝日本セキュリティ・マネジメント学会誌

こんにちは、丸山満彦です。

日本セキュリティ・マネジメント学会でAIとセキュリティに関する論文が２つ掲載されていますね。。。

●日本セキュリティ・マネジメント学会誌 - 2019 年 33 巻 3 号

・機械学習とオフェンシブセキュリティ (森 達哉 )

 ・[PDF]

抄録

機械学習とセキュリティは異なる分野で独立に発展してきた技術である．各技術の有用性と社会的重要性が高まるにつれ，両者を融合したクロスオーバーの領域が盛んに研究されるようになった．それらの研究は(A) 「機械学習を用いた防御技術」，(B) 「機械学習を用いた攻撃技術」，(C) 「機械学習アルゴリズムに対する攻撃・防御技術」の3 つのテーマに大別することができる．(A) は比較的古くから研究がなされてきているが，(B) と (C) は比較的新しい研究領域であり，攻撃技術を対象とすることに大きな特徴がある．本稿では特に (B) と (C)，すなわち機械学習と「オフェンシブセキュリティ」に関わる研究領域に焦点を当て，各領域の概略と具体的な研究事例を解説する

・金融サービスにおけるAI のセキュリティ・ マネジメント（宇根 正志 ）

　・[PDF]

抄録

近年，金融分野においては，AI（artificial intelligence），とりわけ，機械学習を金融サービスや金融機関の業務に活用する動きが活発となっている．金融サービスでの利用としては，例えば，顧客応答，信用度評価等が代表的なものとして挙げられる．こうした機械学習の活用にあたっては，機械学習を実装する情報システムにおけるセキュリティ上のリスクを適切に評価し，それが許容できるレベルを上回っていると判断される場合には，リスクを低減するための対応を検討することが必要である．機械学習を実装するシステムは通常の情報システムの1 つとしてリスクの評価や対応を検討することになるが，機械学習特有の脆弱性によるリスクにも留意することが求められる．例えば，判定・予測エンジンの大量の入出力から訓練用のデータを推定しうるほか，人間の目では検知困難なノイズが付加された判定・予測用のデータに関して，判定・予測結果が有意に変化しうるなどの事例が報告されている．本稿では，こうした脆弱性に焦点を当てつつ，金融サービスに活用するAI のシステム，特に，機械学習を実装するシステムのモデル例を取り上げ，そのセキュリティ・マネジメントの方針や課題について解説する．

「2020年、改めてロボット・AI社会の知的財産制度を考える」

丸山満彦です。

骨董通り法律事務所の井出先生が、「2020年、改めてロボット・AI社会の知的財産制度を考える」を書いておりますが、参考になります！

●骨董通り法律事務所 For the Arts

・2020.02.28 「2020年、改めてロボット・AI社会の知的財産制度を考える」

US Navy robot submarine would be able to kill without human

こんにちは、丸山満彦です。

科学技術の進歩というものは兵器を通じて進歩するものなのかもしれませんが、そうでない世界になってほしいと思います。。。

●NewScientist

・2020.03.08 US Navy robot submarine would be able to kill without human control

AIについての倫理と言っても兵器開発の話になると無力感でますよね。AIに関わらず、技術開発一般の話なわけですが、、、

AIで手塚治虫作品をつくる？

こんにちは丸山満彦です。

AIを使って手塚治虫作品を作ってみようとした取り組みが紹介されていますね。

●AINOW

・2020.03.06 手塚治虫の新作漫画に挑んだ裏側 ーAIを活用したあらすじ＆キャラクター生成

ある人物の、絵画、漫画、小説、声、歌声、譜面、動画、などをベースにその人物が作ったものと同じようなものが誰でも、手軽に作れるようになったときの社会で起こりうる課題については、あらかじめ議論し、その負の面を適切に対応しておかないと、かえって普及が阻害されます。

一定の社会的なルール、例えば法規制が必要となるでしょうね。。。

AIが権利能力の主体となるのであれば、それは法人ですね。。。

こんにちは、丸山満彦です。

機械学習、深層学習等のAIによる意思決定の結果が人間の意思決定の結果よりも適切であることが多くなってくるとAIを権利能力の主体として考えたくなることが出てくるかもしれません。AIが権利能力の主体となるということは、法的に権利能力を与えるということになると思うので、そのようなAIは法人と考えることができますね。。。

そうすると、権利能力の主体を持ったAIに関わる法規制というのは、いわば現在の民法、商法、会社法をはじめとする様々な法規制の考え方を活用すれば良いのかもしれません。

例えば、会社というのは、まず目的を持って設立されます。それが定款となるわけですが、権利能力の主体となるAIも定款のようなものを持って作製されることになり、定款外の行為をすれば違法ということにすれば良いのかもしれませんね。

また、AIは代表取締役のような具体的な人間が代表権を持つことが求められるかもしれません。具体的にはどのようにすれば良いのか、詳細にわたり検討する必要があるとは思いますが、既存の枠組みを参考に制度設計をすることが、社会への普及を促進する上でも良いのかもしれませんね。。。