« 英国 ICO データ保護監査フレームワーク | Main | 英国 ICO これからの技術:量子技術 »

2024.10.11

米国 商務省 人工知能安全研究所 ケムバイオAIモデルの責任ある開発と使用に関する情報提供要請 (2024.10.04)

こんにちは、丸山満彦です。

商務省NIST人工知能安全研究所(AISI) が、化学・生物(ケムバイオ)AIモデルの責任ある開発と使用について情報提供要請を出していますね...

こういう検討を国民(企業)を巻き込んですぐにできるところもすごいですね...

 

NIST

・2024.10.04 U.S. AI Safety Institute Issues Request for Information Related to Responsible Development and Use of Chem-Bio AI Models

U.S. AI Safety Institute Issues Request for Information Related to Responsible Development and Use of Chem-Bio AI Model 米国人工知能安全研究所がケムバイオAIモデルの責任ある開発と使用に関する情報提供要請を発表
The U.S. Artificial Intelligence Safety Institute (U.S. AISI), housed within the U.S. Department of Commerce’s National Institute of Standards and Technology (NIST), released a Request for Information seeking insight from stakeholders regarding the responsible development and use of chemical and biological (chem-bio) AI models. 米国商務省国立標準技術研究所(NIST)内の米国人工知能安全研究所(U.S. Artificial Intelligence Safety Institute: U.S. AISI)は、化学・生物(ケムバイオ)AIモデルの責任ある開発と使用に関する関係者の見識を求める情報提供要請書を発表した。
Input from a broad range of experts in this field will help the U.S. AISI to develop well-informed approaches to assess and mitigate the potential risks of chem-bio AI models, while enabling safe and responsible innovation. この分野の広範な専門家からのアセスメントは、米国AISIがケムバイオAIモデルの潜在的リスクを評価・軽減し、安全で責任あるイノベーションを可能にするための十分な情報に基づいたアプローチを開発するのに役立つ。

 

Federal Register

・2024.10.04 Safety Considerations for Chemical and/or Biological AI Models

 

Safety Considerations for Chemical and/or Biological AI Models 化学的および/または生物学的AIモデルの安全性に関する考察
Published Document: 2024-22974 (89 FR 80886) 公開文書:2024-22974 (89 FR 80886)
... ...
AGENCY: 行政機関:
U.S. Artificial Intelligence Safety Institute (AISI), National Institute of Standards and Technology (NIST), U.S. Department of Commerce. 米国商務省、国立標準技術研究所(NIST)、米国人工知能安全研究所(AISI)。
ACTION: アクション:
Notice; Request for Information (RFI). 通知;情報提供要請(RFI)。
SUMMARY: 要約:
The U.S. Artificial Intelligence Safety Institute (AISI), housed within the National Institute of Standards and Technology (NIST) at the Department of Commerce, is seeking information and insights from stakeholders on current and future practices and methodologies for the responsible development and use of chemical and biological (chem-bio) AI models. Chem-bio AI models are AI models that can aid in the analysis, prediction, or generation of novel chemical or biological sequences, structures, or functions. We encourage respondents to provide concrete examples, best practices, case studies, and actionable recommendations where possible. Responses may inform AISI's overall approach to biosecurity evaluations and mitigations. 米国商務省国立標準技術研究所(NIST)内の米国人工知能安全研究所(AISI)は、化学・生物(ケムバイオ) AI モデルの責任ある開発と使用のための現在および将来の慣行と方法論について、関係者からの情報と洞察を求めている。ケムバイオAIモデルとは、新規の化学的・生物学的配列、構造、機能の分析、予測、生成的AIモデルである。回答者には、可能な限り具体例、ベストプラクティス、ケーススタディ、実行可能な推奨事項を提供することを推奨する。回答は、バイオセキュリティの評価と低減に対する AISI の全体的なアプローチに反映される可能性がある。
SUPPLEMENTARY INFORMATION: 補足情報:
The rapid advancement of the use of AI in the chemical and biological sciences has led to the development of increasingly powerful chemical and biological (chem-bio) AI models. By reducing the time and resources required for experimental testing and validation, chem-bio AI models can accelerate progress in areas such as drug discovery, medical countermeasure development, and precision medicine. However, as with other AI models, there is a need to understand and mitigate potential risks associated with misuse of chem-bio AI models. Examples of chem-bio AI models include but are not limited to foundation models trained using chemical and/or biological data, protein design tools, small biomolecule design tools, viral vector design tools, genome assembly tools, experimental simulation tools, and autonomous experimental platforms. The dual use nature of these tools presents unique challenges—while they can significantly advance beneficial research and development, they could also potentially be misused to cause harm, such as through the design of more virulent or toxic pathogens and toxins or biological agents that can evade existing biosecurity measures. The concept of dual use biological research is defined in the 2024 United States Government Policy for Oversight of Dual Use Research of Concern and Pathogens with Enhanced Pandemic Potential (USG DURC/PEPP Policy, [PDF]). 化学・生物科学における AI 利用の急速な進歩により、ますます強力な化学・生物(ケムバイオ) AI モデルの開発が進んでいる。実験的試験と妥当性確認に必要な時間と資源を削減することで、ケムバイオAIモデルは、創薬、医療対策開発、精密医療などの分野での進歩を加速することができる。しかし、他のAIモデルと同様に、ケムバイオAIモデルの誤用に伴う潜在的リスクを理解し、軽減する必要がある。ケムバイオAIモデルの例としては、化学的・生物学的データを用いて学習させた基礎モデル、タンパク質設計ツール、低分子生体分子設計ツール、ウイルスベクター設計ツール、ゲノムアセンブリーツール、実験シミュレーションツール、自律型実験プラットフォームなどが挙げられるが、これらに限定されるものではない。これらのツールの二重利用という性質は、有益な研究開発を大きく前進させることができる一方で、より強毒性や毒性の強い病原体や毒素、あるいは既存のバイオセキュリティ対策を回避できる生物製剤の設計など、危害をもたらすために悪用される可能性もあるという、ユニークな課題を提起している。生物学的デュアルユース研究の概念は、「懸念されるデュアルユース研究およびパンデミックの可能性が高まった病原体の監視に関する米国政府方針(2024年)」(USG DURC/PEPP Policy, [PDF])で定義されている。
As chem-bio AI models become more capable and accessible, it is important to proactively address safety and security considerations. The scientific community has taken steps to address these issues, as demonstrated by a recent community statement outlining values and guiding principles for the responsible development of AI technologies for protein design. This statement articulated several voluntary commitments in support of such values and principles that were adopted by agreement by more than one hundred individual signatories [web] ケムバイオAIモデルがより高性能になり、利用しやすくなるにつれて、安全性とセキュリティへの配慮に積極的に取り組むことが重要になる。科学界は、タンパク質設計のためのAI技術を責任を持って開発するための価値観と指導原則を概説した最近のコミュニティ声明で示されたように、これらの問題に対処するためのステップを踏んできた。この声明は、このような価値観と原則を支持するいくつかの自発的なコミットメントを明確にしたもので、100人以上の署名者の合意によって採択された[web]
The following questions are not intended to limit the topics that may be addressed. Responses may include any topic believed to have implications for the responsible development and use of chem-bio AI models. Respondents need not address all statements in this RFI. All relevant responses that comply with the requirements listed in the DATES and ADDRESSES sections of this RFI and set forth below will be considered. 以下の質問は、取り上げるトピックを限定することを意図したものではない。回答には、ケムバイオAIモデルの責任ある開発および使用に影響すると思われるあらゆるトピックを含めることができる。対応者は本RFIのすべての記述に対応する必要はない。本RFIの「日付」と「住所」のセクションに記載され、以下に示す要件に準拠する関連する回答はすべて考慮される。
For your organization, or those you assist, represent, or are familiar with, please provide information on the topics below as specifically as possible. NIST has provided this non-exhaustive list of topics and accompanying questions to guide commenters, and the submission of any relevant information germane to the responsible development and use of chem-bio AI models, but that is not included in the list of topics below, is also encouraged. 貴組織、または貴組織が支援、代表者、もしくは貴組織と親交のある者については、以下のトピックについて可能な限り具体的に情報を提供していただきたい。NISTは、コメント提出者の指針となるよう、この非網羅的なトピックとそれに付随する質問のリストをプロバイダとして提供しており、以下のトピックリストに含まれていないものであっても、ケムバイオAIモデルの責任ある開発と使用に有益な関連情報の提出も奨励する。
1. Current and/or Possible Future Approaches for Assessing Dual-Use Capabilities and Risks of Chem-Bio AI Models 1. ケムバイオAIモデルのデュアルユース能力とリスクをアセスメントするための現在及び/又は将来 の可能性のあるアプローチ
a. What current and possible future evaluation methodologies, evaluation tools, and benchmarks exist for assessing the dual-use capabilities and risks of chem-bio AI models? a. ケムバイオAIモデルのデュアルユース能力とリスクをアセスメントするために、現在及び将来 の可能性のある評価方法論、評価ツール、ベンチマークにはどのようなものがあるか?
b. How might existing AI safety evaluation methodologies ( e.g., benchmarking, automated evaluations, and red teaming) be applied to chem-bio AI models? How can these approaches be adapted to potentially specialized architectures of chem-bio AI models? What are the strengths and limitations of these approaches in this specific area? b. 既存のAI安全性評価方法論(ベンチマーク、自動評価、レッドチームなど)をケムバイオAIモデル にどのように適用できるか?これらのアプローチは、ケムバイオAIモデルの潜在的に特殊なアーキテクチャにどのように適合させることができるか?
c. What new or emerging evaluation methodologies could be developed for evaluating chem-bio AI models that are intended for legitimate purposes but may output potentially harmful designs? c. 合法的な目的であるが、潜在的に有害な設計を出力する可能性のあるケムバイオAIモデルを評価するために、どのような新しい評価方法論や新たな評価方法論が開発されうるか?
d. To what extent is it possible to have generalizable evaluation methodologies that apply across different types of chem-bio AI models? To what extent do evaluations have to be tailored to specific types of chem-bio AI models? d. さまざまな種類のケムバイオAIモデルに適用できる一般化可能な評価方法論はどの程度可能か?評価はどの程度まで特定のタイプのケムバイオAIモデルに合わせる必要があるのか?
e. What are the most significant challenges in developing better evaluations for chem-bio AI models? How might these challenges be addressed? e. ケムバイオAIモデルのより良い評価を開発する上で、最も重要な課題は何か?これらの課題にどのように対処できるだろうか?
f. How would you include stakeholders or experts in the risk assessment process? What feedback mechanisms would you employ for stakeholders to contribute to the assessment and ensure transparency in the assessment process? f. リスクアセスメントプロセスに利害関係者や専門家をどのように参加させるか?利害関係者がアセスメントに貢献し、アセスメントプロセスの透明性を確保するために、どのようなフィードバックの仕組みを採用するか?
2. Current and/or Possible Future Approaches To Mitigate Risk of Misuse of Chem-Bio AI Models 2. ケムバイオAIモデルの誤用リスクを低減するための現在及び/又は将来の可能なアプローチ
a. What are current and possible future approaches to mitigating the risk of misuse of chem-bio AI models? How do these strategies address both intentional and unintentional misuse? a. ケムバイオAIモデルの誤用リスクを低減するために、現在、そして将来可能性のあるアプローチは何か?これらの戦略は、意図的・非意図的な誤用の両方にどのように対処するのか?
b. What mitigations related to the risk of misuse of chem-bio AI models are currently used or could be applied throughout the AI lifecycle ( e.g., managing training data, securing model weights, setting distribution channels such as APIs, applying context window and output filters, etc.)? b. ケムバイオAIモデルの誤用リスクに関して、現在どのような低減策が用いられているか、あるいはAIのライフサイクル全体を通じて適用されうるか?(例えば、学習データのマネジメント、モデルの重みの確保、APIなどの配布経路の設定、コンテキストウィンドウや出力フィルターの適用など)
c. How might safety mitigation approaches for other categories of AI models, or for other capabilities and risks, be applied to chem-bio AI models? What are the strengths and limitations of these approaches? c. 他のカテゴリーのAIモデル、あるいは他の能力やリスクに対する安全性低減アプローチを、ケムバイオAIモデルにどのように適用できるか?
d. What new or emerging safety mitigations are being developed that could be used to mitigate the risk of misuse of chem-bio AI models? To what extent do mitigations have to be tailored to specific types of chem-bio AI models? d. ケムバイオAIモデルの誤用リスクを軽減するために、どのような新しい安全低減策が開発されているか?低減策はどの程度まで特定のタイプのケムバイオAIモデルに合わせる必要があるのか?
e. How might the research community approach the development and use of public and/or proprietary chem-bio datasets that could enhance the potential harms of chem-bio AI models through fine tuning or other post-deployment adaptations? What types of datasets might pose the greatest dual use risks? What mechanisms exist to ensure the safe and responsible use of these kinds of datasets? e. ケムバイオAIモデルの潜在的危害を微調整やその他の展開後の適応によって強化する可能性のある公開データセットや専有データセットの開発・利用について、研究コミュニティはどのように取り組むべきか。どのような種類のデータセットが最も大きな二重使用のリスクをもたらす可能性があるか?このようなデータセットを安全かつ責任を持って利用するために、どのようなメカニズムがあるのか?
3. Safety and Security Considerations When Chem-Bio AI Models Interact With One Another or Other AI Models 3. ケムバイオAIモデルが互いに、あるいは他のAIモデルと相互作用する際の安全性とセキュリティに関する考察
a. What areas of research are needed to better understand the risks associated with the interaction of multiple chem-bio AI models or a chem-bio AI model and other AI model into an end-to-end workflow or automated laboratory environments for synthesizing chem-bio materials independent of human intervention? ( e.g., research involving a large language model's use of a specialized chem-bio AI model or tool, research into the use of multiple chem-bio AI models or tools acting in concert, etc.)? a. 複数のケムバイオAIモデル、あるいはケムバイオAIモデルと他のAIモデルが、人の介在なしにケムバイオ材料を合成するためのエンドツーエンドのワークフローや自動化された実験室環境の中で相互作用する際のリスクをよりよく理解するためには、どのような分野の研究が必要か?(例えば、大規模な言語モデルによる専門的なケムバイオAIモデルやツールの使用を含む研究、複数のケムバイオAIモデルやツールの協調的な使用に関する研究など)
b. What benefits are associated with such interactions among AI models? b. AIモデル間のこのような相互作用にはどのような利点があるか?
c. What strategies exist to identify, assess, and mitigate risks associated with such interactions among AI models while maintaining the beneficial uses? c. 有益な用途を維持しながら、このようなAIモデル間の相互作用に?連するリスクを特定、アセスメント、緩和するためにどのような戦略があるか?
4. Impact of Chem-Bio AI Models on Existing Biodefense and Biosecurity Measures 4. ケムバイオAIモデルが既存のバイオディフェンス及びバイオセキュリティ対策に与える影響
a. How might chem-bio AI models strengthen and/or weaken existing biodefense and biosecurity measures, such as nucleic acid synthesis screening? a. ケムバイオAIモデルは、核酸合成スクリーニングのような既存のバイオディフェンス及びバイオセキュリティ対策をどのように強化及び/又は弱体化する可能性があるか?
b. What work has your organization done or is your organization currently conducting in this area to strengthen these existing measures? How can chem-bio AI models be used to strengthen these measures? b. これらの既存の対策を強化するために、貴組織はこの分野でどのような研究を行ってきたか、又は現在行っているか?これらの対策を強化するために、ケムバイオAIモデルをどのように利用できるか?
c. What future research efforts toward enhancing, strengthening, refining, and/or developing new biodefense and biosecurity measures seem most important in the context of chem-bio AI models? c. ケムバイオAIモデルの文脈において、バイオディフェンスおよびバイオセキュリティ対策の強化、強化、改良、および/または新たなバイオセキュリティ対策の開発に向けて、今後どのような研究努力が最も重要と思われるか?
5. Future Safety and Security of Chem-Bio AI Models 5. ケムバイオAIモデルの今後の安全性とセキュリティ
a. What are the specific areas where further research to enhance the safety and security of chem-bio AI models is most urgent? a. ケムバイオAIモデルの安全性とセキュリティを強化するためのさらなる研究が最も急がれる具体的な分野は何か?
b. How should academia, industry, civil society, and government cooperate on the topic of safety and security of chem-bio AI models? b. ケムバイオAIモデルの安全性とセキュリティというテーマについて、学界、産業界、市民社会、政府はどのように協力すべきか?
c. What are the primary ways in which the chem-bio AI model community currently cooperates on capabilities evaluation of chem-bio AI models and/or mitigation of safety and security risks of chem-bio AI models? How can these organizational structures play a role in ongoing efforts to further the responsible development and use of chem-bio AI models? c. ケムバイオAIモデルの能力評価、および/またはケムバイオAIモデルの安全性とセキュリティリスクの低減について、ケムバイオAIモデルコミュニティが現在協力している主な方法は何か?これらの組織構造は、ケムバイオAIモデルの責任ある開発と利用を促進するための継続的な取り組みにおいて、どのような役割を果たすことができるのか?
d. What makes it challenging to develop and deploy chem-bio AI models safely and what collaborative approaches could make it easier? d. ケムバイオAIモデルを安全に開発・展開することが困難な理由は何か。また、どのような協力的アプローチがそれを容易にするのか?
e. What opportunities exist for national AI safety institutes to advance safety and security of chem-bio AI models? e. ケムバイオAIモデルの安全・安心を促進するために、国のAI安全機構にはどのような機会が存在するのか?
f. What opportunities exist for national AI safety institutes to create and diffuse best practices and “norms” related to AI safety in chemical and biological research and discovery? f. 各国のAI安全機構が、化学・生物学研究および発見におけるAIの安全性に関するベストプラクティスや「規範」を作成し、普及させる機会にはどのようなものがあるか?
Alicia Chambers, Alicia Chambers,
NIST Executive Secretariat. NIST Executive Secretariat.
[FR Doc. 2024-22974 Filed 10-3-24; 8:45 am] [FR Doc. 2024-22974 Filed 10-3-24; 8:45 am]
BILLING CODE 3510-13-P BILLING CODE 3510-13-P

 

1_20241011011401

 

 

|

« 英国 ICO データ保護監査フレームワーク | Main | 英国 ICO これからの技術:量子技術 »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



« 英国 ICO データ保護監査フレームワーク | Main | 英国 ICO これからの技術:量子技術 »