Yapay Zekâ Çağında Deney: Hacim Değil, Sinyal

Yapay zekâ test etmeyi ucuzlattı - sonuçlara güvenmeyi değil. Bir çeyrekte 41 test çalıştıran ama gerçek bir kararı değiştiren tek bir testi bile zor hatırlayan ekibin bir hacim sorunu yoktur. Bir öğrenme sorunu vardır.

Pahalı kısım olduğu yerde kaldı. Ucuzlayan şey bir testi kurmak ve yayına almaktır. Pahalı kalan şey, sonucun bir anlam taşıyıp taşımadığını bilmek - ve kaybeden bir testi bütçeyi tüketmeden durdurma cesaretidir.

Daha az bahisle başlamak. Bir model istendiğinde 200 fikir verir. Sıralanmamış 200 fikir strateji değildir. Her fikir, canlı bir testten önce üç soruya göre puanlanır:

• Potansiyel kazanç ne kadar büyük? Sonuç iş açısından anlamlı bir sayıyı mı değiştiriyor, yoksa yalnızca bir gösteriş metriğini mi?
• Baştan ne kadar eminiz? Gerekçelendirilmiş bir hipotez mi var, yoksa tahmin mi yürütüyoruz?
• Çalıştırma maliyeti ne kadar? Başka yerde daha çok iş görecek zaman, trafik ve bütçe.

Disiplin, iyi görünen bir fikri üç haftayı yemeden önce eleyebilmektir.

Temiz bir test bir soruyu yanıtlar. Tek bir değişkeni değiştirir, gerçek bir kontrol grubuna karşı ölçer ve önceden belirlenmiş bir örneklem büyüklüğüne kadar çalışır. Örneklem büyüklüğünü ancak veriye baktıktan sonra belirleyen kişi artık ölçmüyordur - doğrulama arıyordur. Yapay zekâ test süresini hesaplayabilir, sonuçları simüle edebilir ve karıştırıcı değişkenleri ortaya çıkarabilir. Metrik seçimini her zaman insan yapar.