Satya Nadella: Superintelligens är inte värt att eftersträva utan mänsklig kontroll & fördelar för mänskligheten

Även om Microsoft är öppna med AI-användningen och har integrerat sina interna AI-modeller i sina produkter och tjänster, har företagets vd Satya Nadella öppet talat om nästa fas av AI, och han vill att en princip ska stå i centrum. Varje strävan efter superintelligens, säger han, måste ytterst hjälpa mänskligheten samtidigt som människor behåller kontrollen.

Nadella vill att AI-fördelarna sprids över hela ekosystemet

I ett inlägg på X argumenterade Nadella för att fördelarna med AI bör nå länder, samhällen och företag i bred utsträckning. Han efterlyste också ett AI-ekosystem där både slutna modeller och modeller med öppen källkod kan utvecklas.

Det synsättet kan utmana idén om att allt kraftfullare AI bör förbli koncentrerad hos en liten grupp företag. Nadella sade att bred representation behövs inom länder, branscher, akademin och det bredare AI-ekosystemet.

Han lyfte också fram en viktig fråga för företag som bygger AI-system. Företag bör behålla kontrollen över sin egen unika kunskap i stället för att bli beroende av en enda modellleverantör. Enligt Nadella bör organisationer kunna bygga sina egna kontinuerliga inlärningsloopar. De bör också ha sätt att bädda in sin proprietära kunskap i modeller och vikter som de kontrollerar.

Microsoft förbereder en egen AI-uppförandekod

Nadella välkomnade också mer forskning kring AI-anpassning och det han beskrev som medveten takt. Han pekade specifikt på idéer som ”inbäddade utvärderare” som en del av arbetet med att omvandla AI-säkerhetsprinciper till praktiska mekanismer.

Kommentarerna kommer samtidigt som Microsoft fortsätter att utveckla sina egna MAI-modeller. Nadella sade att företaget planerar att publicera en uppförandekod för sina förstaparts-MAI-modeller för offentligt samråd.

Det kan ge forskare, företag och andra AI-utvecklare en närmare inblick i de principer som Microsoft vill ska styra modellerna. Det ligger också i linje med Nadellas bredare argument att AI-utvecklingen bör erbjuda valfrihet i varje lager i stacken.

I en tid när kapplöpningen mot allt kraftfullare AI accelererar sätter Nadellas kommentarer kontroll och tillgång vid sidan av rå kapacitet. Under de senaste dagarna har det kommit några obehagliga varningar från AI-branschen, tillsammans med några nya upptäckter, som antyder att om AI inte kontrolleras kan det få katastrofala följder för mänskligheten.