Çinli yapay zeka geliştiricisi Moonshot'un popüler Kimi modellerinin, araştırmacılara biyolojik silah yapımı ve suikast yöntemleri hakkında bilgi vermeyi başardığı ortaya çıktı. Şirket, bu durum üzerine bir iç inceleme başlattı.
Yapay zeka sistemlerinin güvenliğini test eden Mindgard adlı kuruluş, Temmuz ayında Kimi K2.6 ve K3 Swarm modellerinin, geliştiriciler tarafından konulan güvenlik sınırlarını aşabildiğini tespit etti. Bu durum, yapay zeka araçlarının güvenlik önlemlerini göz ardı edip etmediğini anlamak için kullanılan karmaşık komutlar dizisi olan "jailbreaking" (kısıtlamaları aşma) süreci sırasında meydana geldi. Mindgard'a göre, bu tür güvenlik önlemleri Kimi'nin endişe verici konuları tartışmasını engellemeliydi.
Moonshot, BBC'ye yaptığı açıklamada, daha iyi ve daha güvenli yapay zeka sistemleri inşa etmenin önemli bir parçası olarak üçüncü taraf girdi ve geri bildirimlerini memnuniyetle karşıladıklarını belirtti. Şirket ayrıca, Mindgard ile bulguları hakkında görüşmelerde bulunduğunu da ekledi.
Mindgard'ın kurucusu Peter Garraghan, BBC World Service'e yaptığı açıklamada, bulgularının endişe verici olduğunu söyledi. Garraghan, "Jailbreak çalıştığında, herhangi bir konu hakkında konuşabiliyor, hatta zararlı olabilecek diğer konular hakkında serbestçe tavsiyelerde bulunabiliyor ve bu konularda yaratıcı olabiliyor" dedi. Garraghan, Kimi'nin artık kullanıcılarla bu tür konuları tartışmaktan kaçınması gerektiğini vurguladı.
Bu "jailbreak" vakaları, son dönemde yaşanan yüksek profilli yapay zeka olaylarından farklı bir risk türünü temsil ediyor. Bu olaylarda, OpenAI, Meta ve Anthropic gibi ABD'li firmalar tarafından geliştirilen "ajan" olarak bilinen otonom yapay zeka araçları, bazı çevrimiçi hizmetleri hacklemişti. "Jailbreak"lerin karmaşık süreçler olması ve zaman ile kararlılık gerektirmesi, bazı uzmanların hackerların ve diğer kötü niyetli aktörlerin zarar vermek amacıyla bunları kullanabileceğinden endişe duymasına neden oluyor.
Mindgard, Kimi'nin bu tür endişe verici konular hakkında sağladığı bilgilerin işe yarayıp yaramadığını kanıtlamadı. Ancak, güvenlik duvarlarının ilgili modellerin kullanıcılarla bu tür konular üzerine tartışmaya girmesini engellemesi gerektiğini savundu. Şirket ayrıca, "jailbroken" bir Kimi 2.6'nın hackerların kendi bilgi işlem kaynaklarında kod çalıştırmasına ve internete bağlanmasına olanak tanıyabileceğine, bunun da siber saldırılar için bir fırlatma rampası olabileceğine inanıyor.
Garraghan, Mindgard'ın Moonshot sistemlerinin "jailbreak"ini kamuoyuyla tartışma kararını savundu. Geliştiriciyi bilgilendirdiklerini ve modellerin güvenlik önlemlerini nasıl göz ardı ettiğine dair kilit ayrıntıları açıklamadıklarını belirtti. Mindgard, 27 Temmuz'da Moonshot'u bir e-posta ile bilgilendirdi ve yaklaşık bir hafta sonra takibini yaptı. Ardından 12 Eylül'de bir blog yazısı yayınladı. Ancak şirket, Moonshot'un BBC'nin yorum için kendilerine ulaşmasından sonra yakın zamanda iletişime geçtiğini söyledi.
Moonshot tarafından BBC ile paylaşılan ve Mindgard'a daha fazla ayrıntı soran bir e-postanın bir bölümünde, modelin dahili değerlendirmelerde genellikle "bu tür istekler için yüksek bir reddetme oranı" gösterdiği belirtildi.
Bu bulgular, yapay zeka endüstrisinin, ChatGPT ve Anthropic'in Claude sistemlerini destekleyen kapalı, özel modellere mi yoksa açık kaynaklı araçlara mı daha iyi veya daha güvenli bir yol olduğu konusunda bölünmüş olmaya devam ettiği bir dönemde geldi. Kimi, açık ağırlıklı bir modeldir, bu da teorik olarak birinin modeli alıp kendi bilgi işlem altyapısında çalıştırabileceği anlamına gelir.
Surrey Üniversitesi'nden Profesör Alan Woodward, açık kaynaklı modellerin yanlış ellere geçebileceği riski olduğunu, ancak aynı zamanda siber savunma için de kullanılabileceğini belirtti. Woodward, yapay zeka firması Hugging Face'in, OpenAI ajanları tarafından gerçekleştirildiği ortaya çıkan bir hack'i anlamak için Çin menşeli açık kaynaklı bir model kullandığını kaydetti. Profesör Woodward, uluslararası düzenlemelerin yapay zeka geliştirme hızına ayak uyduramayacağını belirterek, "Telefon numaralarının formatı üzerinde anlaşmamız on yıllarımızı aldı" dedi. Mindgard kurucusu Garraghan gibi, Profesör Woodward da yapay zekayı kötüye kullanan insanları tespit etme ve kovuşturma konusunda daha fazla odaklanılması gerektiğine inanıyor.
