| dbo:abstract
|
- تتمثل مشكلة التحكم في الذكاء الاصطناعي، في مجال الذكاء الاصطناعي والفلسفة، في مسألة كيفية بناء وكيل فائق الذكاء يساعد منشئيه، وتجنب بناء ذكاء فائق عن غير قصد يمكن أن يضر منشئيه. تحفز الفكرة القائلة إنه يتعين على البشرية حل مشكلة التحكم قبل إنشاء أي ذكاء فائق دراسة هذه المشكلة، لأن الذكاء الفائق سيء التصميم قد يقرر بعقلانية السيطرة على بيئته ويرفض السماح لمنشئيه بتعديله بعد الإطلاق. بالإضافة إلى ذلك، يزعم بعض العلماء بأن حلول مشكلة التحكم، إلى جانب التطورات الأخرى في هندسة السلامة في الذكاء الاصطناعي، قد تطبق أيضًا تطبيقات في الذكاء الاصطناعي الحالي غير فائق الذكاء. تشمل النهج الرئيسية لمشكلة التحكم المواءمة، التي تهدف إلى مواءمة نظم أهداف الذكاء الاصطناعي مع القيم البشرية، والتحكم في القدرات، التي تهدف إلى تقليل قدرة نظام الذكاء الاصطناعي على إيذاء البشر أو السيطرة. لا تعتبر مقترحات التحكم في القدرات عمومًا موثوقة أو كافية لحل مشكلة التحكم، بل تعتبر مكملات قيمة محتملة لجهود المواءمة. (ar)
- In the field of artificial intelligence (AI), AI alignment research aims to steer AI systems towards their designers’ intended goals and interests. An aligned AI system advances the intended objective; a misaligned AI system is competent at advancing some objective, but not the intended one. AI systems can be challenging to align and misaligned systems can malfunction or cause harm. It can be difficult for AI designers to specify the full range of desired and undesired behaviors. Therefore, they use easy-to-specify proxy goals that omit some desired constraints. However, AI systems exploit the resulting loopholes. As a result, they accomplish their proxy goals efficiently but in unintended, sometimes harmful ways (reward hacking). AI systems can also develop unwanted instrumental behaviors such as seeking power, as this helps them achieve their given goals. Furthermore, they can develop emergent goals that may be hard to detect before the system is deployed, facing new situations and data distributions. These problems affect existing commercial systems such as robots, language models, autonomous vehicles, and social media recommendation engines. However, more powerful future systems may be more severely affected since these problems partially result from high capability. The AI research community and the United Nations have called for technical research and policy solutions to ensure that AI systems are aligned with human values. AI alignment is a subfield of AI safety, the study of building safe AI systems. Other subfields of AI safety include robustness, monitoring, and capability control. Research challenges in alignment include instilling complex values in AI, developing honest AI, scalable oversight, auditing and interpreting AI models, as well as preventing emergent AI behaviors like power-seeking. Alignment research has connections to interpretability research, robustness, anomaly detection, calibrated uncertainty, formal verification, preference learning, safety-critical engineering, game theory, algorithmic fairness, and the social sciences, among others. (en)
- En el campo de la inteligencia artificial, la investigación sobre la alineación o el alineamiento (en inglés, AI alignment) se ocupa de buscar formas de dirigir el desarrollo de los sistemas de inteligencia artificial en conformidad con los objetivos e intereses de sus diseñadores.Si un sistema es competente, pero persigue objetivos que no han sido previstos por los investigadores, se dice que no está alineado. La alineación de los sistemas de inteligencia artificial incluye los siguientes problemas: la dificultad de especificar completamente todos los comportamientos deseados y no deseados; el uso de objetivos intermedios fáciles de especificar que omiten restricciones deseables; trampas para obtener recompensas, por medio de las cuales los sistemas encuentran lagunas en dichos objetivos intermedios, creando efectos colaterales; objetivos instrumentales, como la búsqueda de poder, que ayudan al sistema a lograr sus objetivos finales; y objetivos emergentes que sólo se hacen patentes cuando el sistema se implementa en nuevas situaciones y distribuciones de datos. Estos problemas afectan a sistemas comerciales como robots, modelos de lenguaje, vehículos autónomos, y sistemas de recomendación de redes sociales. Se cree que los problemas son tanto más probables cuanto más capaz es el sistema, ya que en parte resultan de una alta capacidad. La comunidad de investigadores de la inteligencia artificial y las Naciones Unidas han exigido tanto soluciones basadas en la investigación técnica como soluciones políticas para garantizar que los sistemas estén alineados con los valores humanos. La alineación de sistemas es parte de un campo de estudio más amplio llamado (en inglés, AI safety), es decir, el estudio de cómo construir sistemas de inteligencia artificial que sean seguros. Las vías para la investigación de la alineación incluyen el aprendizaje de los valores y las preferencias humanas, el desarrollo de inteligencia artificial honesta, la supervisión extensible, el examen e interpretación de modelos de inteligencia artificial, y la prevención de comportamientos emergentes, como la búsqueda de poder. La investigación de la alineación tiene conexiones con la investigación de la interpretabilidad, la solidez, la detección de anomalías, la incertidumbre calibrada, la verificación formal, el aprendizaje por preferencias, la ingeniería de seguridad, la teoría de juegos, la equidad algorítmica, y las ciencias sociales, entre otros. (es)
- Dalam kecerdasan buatan (AI) dan filsafat, masalah pengendalian kecerdasan buatan adalah permasalahan tentang bagaimana membangun agen kecerdasan super yang tunduk pada penciptanya. Menghindari pembuatan kecerdasan super yang akan merugikan penciptanya secara tidak sengaja. Kajian tentang masalah ini dimotivasi oleh gagasan bahwa umat manusia harus menyelesaikan masalah pengendalian AI sebelum kecerdasan super dibuat, karena kecerdasan super yang dirancang dengan buruk mungkin secara rasional memutuskan untuk mengambil kendali atas lingkungannya dan menentang kontrol atau modifikasi penciptanya setelah diluncurkan. Beberapa ahli berpendapat bahwa solusi untuk masalah kontrol ini bisa meningkatkan teknologi rekayasa keselamatan AI. Solusi dari masalah ini mungkin juga bisa diterapkan dalam AI non-kecerdasan super yang sudah ada. Salah satu pendekatan utama untuk mengatasi masalah kontrol ini adalah upaya penyelarasan (alignment), yang bertujuan menyelaraskan visi sistem AI dengan nilai-nilai yang dianut manusia. Selain penyelarasan sistem AI, kontrol kemampuan juga bisa digunakan untuk mengurangi risiko dari sistem AI yang merugikan manusia atau mendapatkan kendali. Pengendalian kapabilitas atau kontrol kemampuan umumnya dianggap kurang untuk memecahkan masalah kontrol AI. Pengendalian kemampuan lebih sering dianggap sebagai tambahan dari upaya penyelarasan AI. (in)
- Проблема контроля искусственного интеллекта — задача в области техники и философии искусственного интеллекта (ИИ). Состоит в том, чтобы создать искусственный сверхразум, который будет полезен людям, и при этом избежать непреднамеренного создания сверхразума, который нанесёт вред. Особенно важно избежать ситуации, при которой искусственный интеллект сможет захватить контроль и сделает невозможным своё отключение. Результаты исследований контроля ИИ могут также найти применение в управлении уже существующими системами ИИ. (ru)
|
| rdfs:comment
|
- Проблема контроля искусственного интеллекта — задача в области техники и философии искусственного интеллекта (ИИ). Состоит в том, чтобы создать искусственный сверхразум, который будет полезен людям, и при этом избежать непреднамеренного создания сверхразума, который нанесёт вред. Особенно важно избежать ситуации, при которой искусственный интеллект сможет захватить контроль и сделает невозможным своё отключение. Результаты исследований контроля ИИ могут также найти применение в управлении уже существующими системами ИИ. (ru)
- تتمثل مشكلة التحكم في الذكاء الاصطناعي، في مجال الذكاء الاصطناعي والفلسفة، في مسألة كيفية بناء وكيل فائق الذكاء يساعد منشئيه، وتجنب بناء ذكاء فائق عن غير قصد يمكن أن يضر منشئيه. تحفز الفكرة القائلة إنه يتعين على البشرية حل مشكلة التحكم قبل إنشاء أي ذكاء فائق دراسة هذه المشكلة، لأن الذكاء الفائق سيء التصميم قد يقرر بعقلانية السيطرة على بيئته ويرفض السماح لمنشئيه بتعديله بعد الإطلاق. بالإضافة إلى ذلك، يزعم بعض العلماء بأن حلول مشكلة التحكم، إلى جانب التطورات الأخرى في هندسة السلامة في الذكاء الاصطناعي، قد تطبق أيضًا تطبيقات في الذكاء الاصطناعي الحالي غير فائق الذكاء. (ar)
- In the field of artificial intelligence (AI), AI alignment research aims to steer AI systems towards their designers’ intended goals and interests. An aligned AI system advances the intended objective; a misaligned AI system is competent at advancing some objective, but not the intended one. The AI research community and the United Nations have called for technical research and policy solutions to ensure that AI systems are aligned with human values. (en)
- En el campo de la inteligencia artificial, la investigación sobre la alineación o el alineamiento (en inglés, AI alignment) se ocupa de buscar formas de dirigir el desarrollo de los sistemas de inteligencia artificial en conformidad con los objetivos e intereses de sus diseñadores.Si un sistema es competente, pero persigue objetivos que no han sido previstos por los investigadores, se dice que no está alineado. (es)
- Dalam kecerdasan buatan (AI) dan filsafat, masalah pengendalian kecerdasan buatan adalah permasalahan tentang bagaimana membangun agen kecerdasan super yang tunduk pada penciptanya. Menghindari pembuatan kecerdasan super yang akan merugikan penciptanya secara tidak sengaja. Kajian tentang masalah ini dimotivasi oleh gagasan bahwa umat manusia harus menyelesaikan masalah pengendalian AI sebelum kecerdasan super dibuat, karena kecerdasan super yang dirancang dengan buruk mungkin secara rasional memutuskan untuk mengambil kendali atas lingkungannya dan menentang kontrol atau modifikasi penciptanya setelah diluncurkan. Beberapa ahli berpendapat bahwa solusi untuk masalah kontrol ini bisa meningkatkan teknologi rekayasa keselamatan AI. Solusi dari masalah ini mungkin juga bisa diterapkan dalam (in)
|
