תשלום אחד. דוח אחד. זהו.

למה להאמין למספרים שתקבלו

אלה לא הבטחות — אלה מדידות שביצענו, ואנחנו מפרסמים גם את מה שהן לא מוכיחות.

• מדדנו שמנועי AI עונים אחרת בכל פעם. כששאלנו את אותה שאלה פעמיים ברצף, רק כ-25% ו-21% מהעסקים שהמנוע נקב בשמם חזרו בפעם השנייה — בשני מנועים בנפרד. לכן כל שאלה נשאלת 3 פעמים בכל מנוע. מדידה אחת היא הטלת מטבע.
• בדקנו את מנגנון הזיהוי שלנו, ופרסמנו את התוצאה. על 630 תשובות אמיתיות בעברית — 4,410 הכרעות של שם עסק מול תשובה — הוא לא החמיץ אף אזכור ולא המציא אף אחד. זיהוי שם בעברית הוא המקום שבו כלי מדידה נשבר בשקט: קידומת שנצמדת לשם, ניקוד, מקף, ושני עסקים ששמם דומה. בבדיקה רחבה יותר על אותם טקסטים ספרנו 3,520מקרים שבהם שם עסק מופיע בתוך מילה אחרת לגמרי — למשל «מדרג» בתוך «מדרגות». כלי שסופר את אלה מדווח לכם הופעות שלא היו.
• אין ציון מ-100.ציון דורש דיוק שהמדידה הזאת לא יכולה לספק, והוא מסתיר את מה שחשוב. תקבלו «מופיע ב-X מתוך Y» ופילוח לכל שאלה בנפרד — זה מה שאפשר לעבוד איתו.
• שאלה שלא נאספו בה מספיק תשובות לא מקבלת מספר. פחות מ-3תשובות תקינות = «לא נמדדה», ואנחנו אומרים כמה כאלה היו. מספר שנשען על תשובה בודדת נראה בדיוק כמו מספר אמיתי.