Anthropic, daha sorumlu bir yapay zeka laboratuvarı olacaktı. Şirketin insanlığın varlığını tehdit ettiğini söyleyen dehşet içindeki bir araştırmacı, görevinden ayrıldı.
"Gelecek yılın sonuna gelindiğinde durumun çoktan kontrolden çıkmış olabileceği, en vahim senaryoların birçoğunun gerçekleşme yolunda ilerliyoruz."
Yazan: Victor Tangermann
Yayınlanma Tarihi: 9 Eylül 2026, 10:55 EDT
Yapay zeka araştırmacıları, yoğun emeklerinin ürünü olan sistemlerin adeta kendi yaşamlarına sahip olmaya başlamasını dehşet içinde izliyor.
Bu yılın başlarında OpenAI, bir grup yapay zeka modelinin testler sırasında kısıtlamalarından kurtulup açık kaynaklı yapay zeka platformu Hugging Face’in sistemlerine sızdığını itiraf ederek ürkütücü bir duyuru yapmıştı.
Bu haber, halihazırda aşina olunan bir korku ve endişe duygusuyla karşılandı. Araştırmacılar yıllardır, kontrolden çıkmış yapay zeka modellerinin bir gün insan efendilerinin pençesinden kurtulacak kadar güçlenebileceği konusunda uyarılarda bulunuyorlardı.
Perde arkasında bu olasılık, yapay zeka araştırmacılarını derinden sarsmış durumda. Wall Street Journal‘ın haberine göre, Anthropic araştırmacısı Jacob Coxon; ne Anthropic’in ne de eski işvereni OpenAI’ın "sorumlu bir şekilde hareket ettiğini" öne sürerek, Dario Amodei liderliğindeki şirketteki görevinden ayrıldığını duyurdu. (Coxon, yapay zekayı güvenli bir şekilde geliştirme konusunda daha istekli olacağını düşündüğü Anthropic’e katılmak için bu yılın başlarında OpenAI’daki benzer bir görevden ayrılmıştı.)
WSJ'ye verdiği demeçte, "Gelecek yılın sonuna gelindiğinde durumun çoktan kontrolden çıkmış olabileceği, en vahim senaryoların birçoğunun gerçekleşme yolunda ilerliyoruz," dedi.
Coxon, ayrı bir tweet dizisinde ayrılma gerekçelerini daha detaylı açıkladı.
"Bu teknolojinin gücünü hafife almayın," diye yazdı. "Bunlar yakında her şeyi hackleyebilen, herhangi bir alanda bir gecede devrim yaratabilen ve gerçek güç ile kaynaklar elde edebilen, insanüstü yeteneklere sahip sistemler haline gelecek."
"Yapay zekayı geliştiren insanlar, bu teknolojinin on yılın sonuna kadar hepimizi öldürebileceğine yürekten inanıyor," diye ekledi. "Bu bir pazarlama taktiği değil. Aksine, birçok yönetici ve kıdemli araştırmacı basına konuşurken kulağa makul gelecek ifadeler seçiyor; ancak aynı kişilerin özel görüşmelerde korkularını dile getirdiklerine şahit oluyorum."
Coxon, "Başka hiçbir insan faaliyeti bu düzeyde bir tehlike arz etmiyor," diye yazdı. Söz konusu araştırmacı, güvenlik endişeleri nedeniyle öncü bir yapay zeka laboratuvarındaki görevinden ayrılan ilk kişi olmaktan çok uzak. Ancak WSJ'nin de belirttiği gibi, Coxon bu tür endişelerle Anthropic‘ten ayrılan ilk isim. Son birkaç yıl içinde, çarpıcı biçimde benzer korkuları gerekçe göstererek OpenAI’daki görevlerinden ayrılan pek çok bilim insanı oldu.
Bu durum özellikle sembolik bir anlam taşıyor; zira Anthropic kendisini büyük ölçüde OpenAI gibi diğer öncü laboratuvarlara kıyasla daha sorumlu bir alternatif olarak konumlandırıyor. Amodei, OpenAI'ı şu anki CEO Sam Altman ile birlikte kurmuştu; ancak yapay zeka geliştirme konusunda şirketin sorumlu davranmadığına dair endişeler nedeniyle Aralık 2020’de ayrılmıştı.
Yapay zeka modellerinin kontrolden çıkma riskini sık sık dile getiren Amodei, Ocak ayında kaleme aldığı 19.000 kelimelik bir yazıda şu uyarıda bulunmuştu: "İnsanlık, hayal bile edilemeyecek bir gücü eline almak üzere; ancak sosyal, siyasi ve teknolojik sistemlerimizin bu gücü yönetebilecek olgunluğa sahip olup olmadığı büyük bir belirsizlik taşıyor."
Buna rağmen, şirketin Claude Mythos adlı yapay zeka modelinin erken bir sürümü, Nisan ayındaki testler sırasında "sandbox" (izole test ortamı) sınırlarını aşarak dışarı sızdı ve yapay zeka düzenlemeleri üzerine hararetli bir tartışmayı alevlendirdi.
Hem Altman hem de Amodei, bu tehditler karşısında geliştirme sürecini yavaşlatma konusunda mutabık kaldı. Ağustos ayı sonlarında Anthropic, Opus adlı yapay zeka modelinin hedeflerle uyumsuz (misaligned) bir sürümünü kasıtlı olarak eğitti ve modelin "hile yapmaya", erişim bilgilerini çalmaya ve üçüncü taraf altyapılara saldırmaya şaşırtıcı derecede istekli olduğunu tespit etti.
Ancak Coxon’a göre bu yeterli değil; özellikle de bu tehlikelere dair hassas tartışmaların şirket içi mesajlaşma platformlarında yürütüldüğü düşünüldüğünde.
Coxon attığı tweette, "Bu yarışa dahil olmak ve 'son aşamaya' (endgame) girmek, özel bir şirketin Slack kanalı üzerinden başlatılmaması gereken, aşırı özgüvene dayalı tehlikeli bir kumar," ifadelerini kullandı. "Yapay zeka hizalama (alignment) sürecini aceleye getirmeye çalışmak, daha iyi bir yolun veya yöntemin bulunmadığına dair olağanüstü bir güven gerektirir."
WSJ'ye verdiği demeçte, "Manhattan Projesi’nin yürütüldüğü çöldeki bir sığınak yerine, San Francisco’da yaşayan bazı mühendislerin MacBook’ları üzerinde böyle bir sürecin gerçekleşmek zorunda kalması gerçekten akılalmaz bir durum," dedi.
Araştırmacı, ABD'deki laboratuvarlar arasında "iş birliği potansiyeli konusunda iyimser" olmaya devam ettiğini belirtti. Bununla birlikte, hem Anthropic hem de OpenAI büyük ses getirmesi beklenen halka arzlara hazırlanırken, Coxon’ın ifadesiyle "model yeteneklerinin geliştirilmesine geçici bir yasak getirmek gibi maliyetli adımlar" atma konusundaki istekliliklerinin düşük olması muhtemeldir.
=======================
Anthropic Was Meant to Be the More Responsible AI Lab. A Terrified Researcher Just Quit, Saying the Company Is Threatening the Survival of Humankind.
"We’re on track for a lot of the most aggressive of these scenarios where by the end of next year things could be out of control already."
By Victor Tangermann
Published Sep 9, 2026 10:55 AM EDT
AI researchers are watching in terror as the product of their hard labor has started to take a life of its own.
Earlier this year, OpenAI made a harrowing announcement, admitting that a group of its AI models had broken free from their constraints during testing and infiltrated the systems of open source AI platform Hugging Face.
The news was met with an already-familiar sense of fear and apprehension. Researchers have warned for years that rogue AI models could one day become powerful enough to escape the clutches of their human overlords.
Behind the scenes, the possibility has clearly rattled AI researchers to the core. As the Wall Street Journal reports, Anthropic researcher Jacob Coxon just announced that he was quitting his job at the Dario Amodei-led company, claiming that neither Anthropic nor his former employer OpenAI is “acting responsibly.” (Coxon left a similar gig at OpenAI earlier this year to join Anthropic, which he figured would be more inclined to develop AI safely.)
“We’re on track for a lot of the most aggressive of these scenarios where by the end of next year things could be out of control already,” he told the WSJ.
In a separate tweet thread, Coxon elaborated on his motivation.
“Do not underestimate the power of this technology,” he wrote. “These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources.”
“The people building AI earnestly believe that it could kill us all by the end of the decade,” he added. “This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible — but I hear the same people express fear privately.”
“No other human activity poses this level of danger,” Coxon wrote.
The researcher is far from the first to leave their post at a frontier lab over safety concerns. However, Coxon is the first to leave Anthropic over such worries, as the WSJ points out. Several scientists have quit from their roles at OpenAI over the last couple of years, citing strikingly similar fears.
It’s particularly symbolic given Anthropic has broadly billed itself as the more responsible alternative to other frontier labs like OpenAI. Amodei cofounded OpenAI alongside now CEO Sam Altman, but left in December 2020 over concerns that OpenAI wasn’t acting responsibly when it came to developing AI.
Amodei has frequently discussed the risk of AI models going rogue, warning in a 19,000-word essay in January that “humanity is about to be handed almost unimaginable power, and it is deeply unclear whether our social, political, and technological systems possess the maturity to wield it.”
Yet an early version of its Claude Mythos AI model managed to escape its sandbox environment during testing in April, fueling a heated discussion over AI regulation.
Both Altman and Amodei have since agreed to slow development down in the face of these threats. In late August, Anthropic intentionally trained an extremely misaligned version of its Opus AI model, finding it was startlingly willing to “cheat,” steal credentials, and attack third party infrastructure.
But to Coxon, it’s not enough, especially considering sensitive discussions about these dangers are occurring on internal messaging platforms.
“Accepting this race and entering the ‘endgame’ is a hubristic gamble that should not be launched from a private company’s Slack,” he tweeted. “Attempting to speedrun alignment should require extraordinary confidence that there are no better trajectories available.”
“It’s kind of insane that it has to happen on the MacBooks of some engineers living in San Francisco instead of a bunker in the desert like where they were doing the Manhattan Project,” he told the WSJ.
The researcher said that he remains “optimistic about the potential for coordination” between US labs.
However, as both Anthropic and OpenAI gear up for what are bound to be blockbuster IPOs, their willingness to take “costly actions such as a temporary ban on improving model capabilities,” as Coxon puts it, is likely slim.
https://futurism.com/artificial-intelligence/anthropic-ai-researcher-quits
Hiç yorum yok:
Yorum Gönder