ロシア 科学技術センター 大規模言語モデル：認知的な視点

こんにちは、丸山満彦です。

ロシア連邦の科学技術センターによる大規模言語モデルについての、記事がありました。。。参照されているMIT他の研究者が書いた文献が興味深いです。。。

⚫︎ Научно-технический центр ФГУП "ГРЧЦ" (НТЦ) 

・2023.04.21 Большие языковые модели. Перспективы когнитивного развития

Большие языковые модели. Перспективы когнитивного развития	大規模言語モデル：認知的な視点
За последние несколько лет системы искусственного интеллекта превзошли человека в решении таких задач как распознавание изображений и речи, тяжелых заболеваний и в сложных играх.	ここ数年、画像や音声の認識、深刻な病気や複雑なゲームなどのタスクにおいて、人工知能システムが人間を凌駕している。
Этот прорыв основан на инновационных алгоритмах глубокого обучения, удешевлении вычислительных технологий и огромных объемах данных для обучения. В частности, большие языковые модели (LLM) открывают новые возможности для изучения человеческого языка и когнитивистики. Это требует понимания разницы между формой, коммуникативным намерением, значением и пониманием. Так, в статье «Восхождение к нейролингвистическому пониманию: о значении, форме и понимании в эпоху больших данных» предлагается лингвистическая концепция, согласно которой значение невозможно узнать по форме. То есть, большие языковые модели, такие как BERT, не изучают значение. Они изучают некоторое отражение значения в лингвистической форме. В статье    «Разделение языка и мышления в больших языковых моделях: когнитивная перспектива» объясняется взаимосвязь между изучением языка, системами познавательных функций, нейрофизиологии и потенциальными возможностями больших языковых моделей и чат-ботов. Способность больших языковых моделей генерировать связанные, грамматически значимые абзацы текста привела к предположению, что скоро эти системы станут мыслящими машинами, которые обладают абстрактными знаниями и способны к рассуждению. То есть, возможности LLM рассматриваются с точки зрения их эффективности в двух различных аспектах использования языка: формальная языковая компетенция (знание правил и моделей определенного языка) и функциональная языковая компетенция (множество когнитивных способностей, включая понимание и использование в реальном мире). В частности, авторы отмечают тесную связь между языком и мышлением. Это означает, что при восприятии или чтении предложения человек предполагает, что оно составлено другим рациональным человеком на основе его знаний реального мира, критического мышления и способности рассуждать. То есть, утверждения других людей рассматриваются нами не только как отражение языковых навыков, но и как окно в их разум.	この躍進は、革新的な深層学習アルゴリズム、より安価な計算技術、膨大な学習用データに基づいている。特に、大規模言語モデル（LLM）は、人間の言語学習と認知科学に新たな可能性をもたらしている。そのためには、形式、伝達意図、意味、理解の違いを理解することが必要である。そこで、論文「神経言語学的理解への上昇：ビッグデータ時代の意味、形式、理解について」は、形式によって意味を認識することはできないという言語概念を提唱する。つまり、BERTのようなビッグデータ言語モデルは、意味を研究していない。言語形式における意味の反映を研究している。論文「大規模言語モデルにおける言語と思考の分離：認知的視点」は、言語研究、認知システム、神経生理学と大規模言語モデルやチャットボットの可能性の関係を説明している。大規模言語モデルが、つながった文法的に意味のある段落のテキストを生成できることから、これらのシステムは近い将来、抽象的な知識を持ち、推論が可能な思考マシンになるという仮説が立てられている。すなわち、LLMの能力は、言語使用の2つの異なる側面、すなわち形式的言語能力（特定の言語のルールやモデルに関する知識）と機能的言語能力（現実世界での理解や使用を含む多数の認知能力）において有効であるという観点から検討される。特に著者は、言語と思考の密接な関係を指摘している。つまり、人は文章を知覚したり読んだりするとき、それが現実世界に関する知識、批判的思考、推論能力に基づいて、他の合理的な人によって構成されたものであると仮定するのである。つまり、私たちは他人の文章を、その言語能力の反映としてだけでなく、その人の心の中を覗く窓として見ているのである。
Таким образом, можно говорить о двух ключевых заблуждениях в отношении языка и мышления, связанных с LLM:	したがって、LLMに関連して、言語と推論に関する2つの重要な誤解を語ることができる：
способность к изучению языков => способности к мышлению;	言語を学ぶ能力⇒考える能力；
отсутствие способности мыслить => отсутствие способности к изучению языков.	思考力の欠如⇒言語学習能力の欠如。
Из этого следует, например, что ChatGPT генерирует язык, который может конкурировать с выводами человека и может развиваться в направлении человекоподобного ИИ. Это заблуждение поддерживается опытом языкового взаимодействия исключительно между людьми и готовностью наделять LLM человеческими свойствами.	例えば、ChatGPTは人間の出力に対抗できる言語を生成し、ヒューマノイドAIに向けて進化することができる、ということになる。この誤解は、人間同士だけの言語対話の経験や、LLMに人間のような性質を持たせようとする姿勢に支えられている。
В основе этих заблуждений лежит смешение понятий языка и мышления, то есть, формальной и функциональной компетенций. Авторы полагают, что различие между этими компетенциями основано на понимании функциональной архитектуры мозга. То есть, механизмы человеческого мозга для обработки речи отделены от механизмов, ответственных за память, мышление и социальные навыки. Таким образом, современные LLM представляют научные модели одной части когнитивного инструментария человека – формальной обработке языка.	これらの誤解の根底には、言語と思考、すなわち形式的能力と機能的能力の概念の混同がある。著者らは、これらの能力の区別は、脳の機能的アーキテクチャの理解に基づいていることを示唆している。つまり、言語処理に関する人間の脳のメカニズムは、記憶、思考、社会的スキルを担うメカニズムとは別のものである。このように、現代のLLMは、人間の認知ツールキットの一部である形式的言語処理に関する科学的モデルを提示している。
Формальная языковая компетенция – это набор основных конкретных способностей, необходимых для создания и понимания данного языка. К ним относятся наличие словарного запаса, знание грамматических правил формирования правильных предложений, а также множества исключений из этих правил и идиосинкразических языковых конструкций. В результате человек обладает способностью понимать и воспроизводить язык, а также выносить суждения о том, какие высказывания приемлемы и неприемлемы в языке. В человеческом мозге обработка языка (понимание, воспроизведение устной, письменной или жестовой речи) происходит в левом полушарии только в определенных областях мозга, которые никогда не отвечают за решение неязыковых когнитивных задач (выполнение арифметических действий, прослушивание музыки, распознавание выражения лица и пр.). Сегодня LLM генерируют связанные грамматические тексты, способны выводить лингвистические концепции, включая иерархические структуры и некоторые абстрактные категории из своих входных данных. Это свидетельствует, по мнению авторов, о возможности LLM к приобретению формальной языковой компетенции.	形式的言語能力とは、ある言語を生産し理解するために必要な、基本的な特定の能力のセットである。これには、語彙力、正しい文章を形成するための文法的ルール、そしてこれらのルールに対する多くの例外や特異な言語構成に関する知識などが含まれる。その結果、人間は言語を理解し再現する能力を持ち、言語においてどの発話が許容され、どの発話が許容されないかについて判断することができる。人間の脳では、言語処理（話し言葉、書き言葉、手話の理解、再現）は左半球の特定の領域のみで行われ、言語以外の認知作業（算数演算の実行、音楽の聴取、顔の表情認識など）は決して担当しない。現在、LLMは関連する文法的な文章を生成し、その入力から階層構造やいくつかの抽象的なカテゴリーを含む言語的な概念を導き出すことが可能である。このことは、LLMが形式的言語能力を獲得する能力を示していると著者らは述べている。
Функциональная языковая компетенция – это набор неспецифических для языка когнитивных функций при его использовании в реальных обстоятельствах. Например, это может быть формальное рассуждение, количественное мышление, логический анализ, знание о принципах работы, включая факты и идеи, предположения о человеческом поведении, понимание социального контекста и моделирование ситуации. То есть, использование языка в реальной жизни требует его интеграции в более широкую когнитивную структуру. По мнению авторов, это означает, что когнитивные функции, необходимые для понимания и воспроизведения языка не являются специфическими для языка, и поддерживаются другими нейронными связями, которые в свою очередь отличаются от тех, которые необходимы для прослушивания, чтения и создания предположений. Это означает, что модели, которые обладают значительным словарным запасом и знанием грамматических правил не смогут использовать язык по-человечески. То есть, они не могут приобрести всестороннее и последовательное знание мира, отслеживать отношения и события в наборах входных данных, делать выводы о коммуникативных намерениях на основе языкового ввода.	機能的言語能力とは、現実の状況で使用される際の、ある言語に対する非特異的な認知機能の集合である。例えば、形式的推論、定量的推論、論理的分析、事実や考え方を含む動作原理の知識、人間の行動に関する仮定、社会的文脈の理解、状況のモデリングなどである。つまり、実生活における言語の使用には、より広範な認知的枠組みへの統合が必要なのである。著者らによれば、これは、言語を理解し再現するために必要な認知機能は、言語に特有ではなく、他の神経接続によって支えられており、ひいては、聞く、読む、仮定するために必要な認知機能とは異なることを意味するという。つまり、相当な語彙力と文法ルールの知識を持つモデルは、人間的な方法で言語を使うことができないのである。つまり、世界に関する包括的で一貫した知識を獲得したり、入力データセットの関係や事象を追跡したり、言語入力からコミュニケーション上の意図を推測したりすることはできない。
Таким образом, большие языковые модели могут рассматриваться как хороший инструмент обработки языка. Если рассматривать языковые модели с точки зрения их возможности перерасти в сильный (общий) искусственный интеллект (AGI), то авторы полагают целесообразным сосредоточиться на разработке модульных архитектур, которые интегрируют языковую обработку с	したがって、大規模な言語モデルは、優れた言語処理ツールであると見なすことができる。言語モデルを強力な（一般的な）人工知能（AGI）に成長する可能性という観点から考えるならば、言語処理を統合したモジュール型アーキテクチャの開発に注力することが適切であると著者は考えている。

・2023.02.17 Институционально-политические и философские проблемы этики для систем ИИ

Институционально-политические и философские проблемы этики для систем ИИ	AIシステムの制度的、政治的、哲学的な倫理問題
Вопросы этики в искусственном интеллекте находятся в приоритете среди государств и наднациональных институтов, при этом последние выступают в качестве движущей силы по применению этических принципов.	人工知能における倫理的な問題は、国家や超国家機関にとって優先事項であり、後者は倫理原則を適用するための原動力として機能している。
Это связано с возможностями использования понятия «надежности» ИИ, как источника силы в международном контексте и рычага влияния на международные экономические отношения, соблюдения интересов частного капитала.	これは、AIの「信頼性」という概念を、国際的な文脈における力の源泉として、また、民間資本の利益を尊重しつつ国際経済関係に影響を与えるテコとして利用できる可能性があるからである。
Первые руководящие принципы этики ИИ были разработаны в ОЭСР и дополнили стандарты в области конфиденциальности, ответственного ведения бизнеса и управления рисками цифровой безопасности. G20 также приняла принципы ИИ, ориентированного на человека на основе принципов ОЭСР, Европарламент разработал кодекс добровольных этических норм для инженеров по ИИ и робототехнике, Группа экспертов высокого уровня ЕК по ИИ разработала предложения «Надежный ИИ». Однако стремление к лидерству в области разработки этих принципов открывает ряд фундаментальных проблем:	最初のAI倫理ガイドラインはOECDで作成され、プライバシー、責任ある企業行動、デジタルセキュリティのリスク管理の分野の基準を補完するものであった。 また、G20はOECDの原則に基づく人間中心のAI原則を採択し、欧州議会はAIとロボット技術者の自主的な倫理規定を策定し、ECのAIに関するハイレベル専門家グループは「信頼できるAI」の提言を作成した。しかし、これらの原則の策定におけるリーダーシップの追求は、多くの根本的な問題を孕んでいる：
этика ИИ рассматривается в рамках либеральной политической мысли и сосредоточена на конфиденциальности, прозрачности и недискриминации. Это приводит к возникновению рисков при переходе к практическому применению этих принципов от «что» к «как». Так, в исследовании «Этика этичности ИИ: исследование руководящих принципов» автор доказывает отсутствие применимости на практике большинства из более чем 100 этических принципов ИИ, принятых за последнее десятилетие. То есть, основная задача при разработках в области этики ИИ состоит в обеспечении возможности перехода от абстрактных принципов к экономическому и этическому инструментарию, не ограниченному идеями либерализма. Это изменит видение этики ИИ как технологической проблемы с технологическими решениями в сторону интеграции принципов в проектирование, разработку и использование;	AIの倫理は、リベラルな政治思想の枠組みで捉えられ、プライバシー、透明性、無差別に焦点が当てられている。これは、これらの原則を「何を」から「どのように」実践するかに移行する際のリスクにつながる。例えば、「AI倫理学：指導原則の研究」という研究では、過去10年間に採択された100以上のAI倫理原則のほとんどが、実際には適用できないことを論じている。つまり、AI倫理の発展における主な課題は、抽象的な原則から、リベラリズムの考え方にとらわれない経済的・倫理的ツールキットへの移行が可能であることを確認することである。これにより、AI倫理を技術的な解決策を伴う技術的な問題として捉える見方を、設計、開発、使用における原則の統合へと変えていくことになる；
проблема предвзятости на разных уровнях. В частности, по мнению авторов статьи «Надежному ИИ необходимы беспристрастные диктаторы», решения ИИ подвержены искажениям в большей степени, чем любой другой тип решений. Например, взаимодействие дизайнеров, разработчиков и исполнителей не может учитывать все группы пользователей. Это порождает необъективность. Кроме этого, система оценки надежности ИИ в рамках Группы экспертов высокого уровня по ИИ при Еврокомиссии в рамках голосования поддается регулированию. Таким образом, политика некоторых наднациональных органов направлена на формирование рынка ИИ с привлечением одних компаний и исключением других и «покупке цифровой этики». Это означает возможность злоупотребления выбором (адаптации, взвешивания, сопоставления) этических принципов, руководств, кодексов, структур и других подобных стандартов (особенно, но не только в этике ИИ) из множества доступных предложений с целью модификации моделей поведения и их апостериорного оправдания. Такая позиция позволяет использовать правила как международно-правовой инструмент дискриминации по отношению к другим странам;	さまざまなレベルでのバイアスの問題。特に、"Robust AI needs impartial dictators "の著者によると、AIソリューションは他のどのタイプのソリューションよりもバイアスが生じやすいという。例えば、設計者、開発者、実装者の間の相互作用は、すべてのユーザーグループを説明することはできない。これがバイアスを生むのである。さらに、欧州委員会のAI信頼性評価システムに関するハイレベル専門家グループは、投票プロセスの一部として規制を行うことに適している。このように、一部の超国家機関の方針は、一部の企業を引き付け、他の企業を排除することでAI市場を形成し、「デジタルの倫理観を買い取る」ことにある。つまり、行動パターンを修正し、事後的に正当化するために、利用可能な多くの提案から倫理原則、ガイドライン、コード、構造、その他類似の基準（特にAI倫理に限らない）を選択（適応、計量、比較）することを悪用することが可能であるということである。この立場は、他国を差別するための国際的な法的ツールとしてルールを使用することを可能にする；
проблема инфляционизма ИИ заключается в придании ИИ технологической исключительности. Это провоцирует появление спекулятивных тенденций на разных уровнях и деградацию этических стандартов. Кроме этого, это способствует продвижению этических инициатив, которые поощряют предвзятость капитала и не имеют правоприменительной силы. В частности, Microsoft Fairlearn, AIFairness (IBM), Google Inclusive ML.	AIインフレ主義の問題は、AIに技術的独占性を与えることである。これは、さまざまなレベルでの投機的な傾向を誘発し、倫理的な基準の劣化を招く。さらに、資本バイアスを助長し、強制力のない倫理的イニシアチブを促進するものである。特にMicrosoft Fairlearn、AIFairness（IBM）、Google Inclusive ML。
Кроме этого, существует ряд проблем второго уровня, среди которых отклонение от кодексов и стандартов и отсутствие правовых последствий; соответствие приложения ИИ этическим требованиям не гарантирует соблюдение этических принципов при использовании в неправильном контексте или при разработках с неэтичными намерениями; этика ИИ широко используется в целях торможения процесса создания обязательных норм.	さらに、第2レベルの問題も多く、中でも規範や基準からの逸脱と法的影響の欠如、AIアプリケーションが倫理的要件に準拠していても、誤った文脈で使用されたり、非倫理的な意図で開発されたりすると倫理原則の遵守を保証しない、AI倫理は拘束力のある規範の作成を阻害するために広く使用されている、などがある。
Характер поставленных проблем обусловлен философскими и институционально-политическими факторами.	提起された問題の本質は、哲学的および制度的・政治的な要因によるものである。
Философская составляющая, связанная с этикой ИИ основана на стремлении объединить теоретические подходы западноевропейской этики. То есть, сосредоточена на формировании правил и принципов – деонтологический подход, оценке рисков и возможностей – консеквенционалистский подход, введение идеалов – этика добродетели. Несмотря на то, что эти подходы не являются взаимоисключающими, они не учитывают другие моральные традиции и формируют упрощение сложных решений в ИИ с помощью логической операции «или/или». Как следствие, поднимается вопрос о формировании перечня проблем, которые могут и должны решаться с помощью автоматизации. Если в решении отсутствует альтернатива операции или/или, то под вопрос должно ставится решение этой проблемы с помощью ИИ. Кроме этого, происходит замещение субъектности человека на субъекты данных, то есть наборы данных без субъектов.	AI倫理に関連する哲学的要素は、西欧の倫理学の理論的アプローチを統一する試みに基づいている。すなわち、ルールと原則の形成-脱存在論的 (ontological) アプローチ、リスクと機会の評価-結果主義的 (consequentialist) アプローチ、理想の導入-仮想倫理 (virtue ethics) に焦点を当てている。これらのアプローチは相互に排他的なものではないが、他の道徳的伝統を考慮せず、AIにおける複雑な判断を「どちらか一方」という論理演算によって単純化することを形成している。結果として、自動化によって解決できる問題、解決すべき問題のリストを形成するという問題を提起している。もし、その解決策の中に、どちらか一方という操作に代わるものがなければ、その問題に対するAIによる解決は疑問視されなければならない。さらに、人間の主観をデータ主体に置き換える、つまり主体なきデータセットが存在する。
Институционально-политическая составляющая фундаментальных проблем заключается в смещении ответственности в сфере применения ИИ с государственных институтов на частный сектор. Здесь открывается проблема представительства общественных интересов коммерческими организациями. Саморегулирование в области этики ИИ позволяет технологическим компаниям выбирать способы внедрения технологий и формировать представления об этике ИИ для всего мира. Параллельно, для максимизации отдачи от инвестиций в этику ИИ, компании оказывают давление на акционеров. Таким образом, этика становится вторична по отношению к прибыли.	根本的な問題の制度的・政治的な要素は、AIの適用における責任が公的機関から民間へ移行することにある。ここで、営利団体による公益代表の問題が幕を開ける。AI倫理の自主規制により、テクノロジー企業は技術の実装方法を選択し、世界に対するAIの倫理に関するアイデアを形成することができる。それと並行して、AI倫理への投資収益を最大化するために、企業は株主にプレッシャーをかける。こうして、倫理は利益のために二の次になる。
С отраслевой точки зрения ИИ в отличие от медицины, образования и пр. не имеет формальной профессиональной структуры управления. В частности, согласно положениям Группы экспертов высокого уровне ЕК по ИИ, этическая ответственность возлагается на отдельных сотрудников, а не на корпоративное управление, государствам предлагается поощрять технологические компании в следовании этическим принципам вместо контроля государственными учреждениями введения и соблюдения этических принципов. Это свидетельствует о снижении роли государства и подрывает основы демократического управления в Европе.	産業界から見ると、AIは医療や教育などとは異なり、正式な専門家のガバナンス構造がない。特に、ECのAIに関するハイレベル専門家グループによると、倫理的責任は企業経営者ではなく個々の従業員に割り当てられ、国家は倫理原則の導入と遵守を管理する政府機関の代わりに、技術企業に倫理原則を遵守するよう奨励するよう奨励されている。これは、国家の役割の低下を示すものであり、欧州における民主的ガバナンスの基盤を損なうものである。
Выводы	結論
В целях формирования национальных/региональных этических норм для систем ИИ необходимо учитывать и исследовать опыт и ошибки в подходах к созданию этичного ИИ. Для этого необходимо определить концепцию этики ИИ в рамках отечественной философской мысли и понятийного инструментария, который включает этику, мораль и нравственность. Также предлагается разработать:	AIシステムの国内/地域別倫理基準を確立するためには、倫理的なAIを作るためのアプローチにおける経験や落とし穴を考慮し、調査する必要がある。そのためには、国内の哲学思想の中でAI倫理の概念を定義し、倫理、道徳、モラルを含む概念的なツールキットを作成する必要がある。また、開発することが提案されている：
критерии социального воздействия технологий и программы исследований;  методы оценки этических аспектов ИИ; методы оценки развития систем ИИ; классификацию систем ИИ; методы отчетности по соблюдению этических норм в системах ИИ, произвести систематизацию этических рисков.	技術や研究プログラムの社会的影響に関する基準、AIの倫理的側面の評価方法、AIシステムの開発評価方法、AIシステムの分類、AIシステムにおける倫理基準の報告方法、倫理的リスクを体系化するための方法。

⚫︎ Cornell University - arXiv

・2023.01.16 [PDF] DISSOCIATING LANGUAGE AND THOUGHT IN LARGE LANGUAGE MODELS: A COGNITIVE PERSPECTIVE

本文

・[DOCX] 仮対訳