Anthropic didirikan oleh mantan eksekutif dari OpenAI yang didukung Microsoft Corp untuk fokus pada pembuatan sistem AI yang aman.
Seperti dilansir PortalLebak.com dari Reuters, sistem itu misalnya, memberi tahu pengguna cara membuat senjata atau menggunakan bahasa yang bias rasial.
Salah satu pendiri Dario Amodei adalah salah satu dari beberapa eksekutif AI yang bertemu dengan Joe Biden minggu lalu untuk membahas potensi bahaya AI.
Baca Juga: Satu Menit Bersama Jennifer Lopez dan tim: Induk Dari 'The Mother' Bahas Soal Sang Ibu 'Badass'
Nilai Moral Dalam Chatbot AI
Sebagian besar sistem chatbot AI mengandalkan umpan balik dari manusia nyata selama pelatihan mereka untuk memutuskan tanggapan apa yang mungkin berbahaya atau menyinggung.
Tetapi sistem tersebut mengalami kesulitan mengantisipasi segala sesuatu yang mungkin ditanyakan orang.
Sehingga sistem tersebut cenderung menghindari beberapa topik yang berpotensi menimbulkan perdebatan seperti politik dan ras sama sekali, membuatnya kurang berguna.
Anthropic mengambil pendekatan yang berbeda, memberikan pesaing Open AI-nya Claude seperangkat nilai moral tertulis untuk dibaca dan dipelajari saat membuat keputusan tentang cara menjawab pertanyaan.