อัลกอริทึมการโน้มน้าวใจด้วย AI เขยิบ

การตรวจสอบข้อเท็จจริงสามารถลดการแพร่กระจายของข่าวที่ไม่น่าเชื่อถือ นอกจากนี้ยังสามารถทำตรงข้าม

(โพสต์นี้ปรากฏบน civilservant.io)

ผู้อ่านของ r / worldnews บน reddit มักจะรายงานข่าวแท็บลอยด์ไปยังผู้ดูแลอาสาสมัครขอให้พวกเขาห้ามแท็บลอยด์สำหรับบทความที่น่าตื่นเต้น เรื่องราวที่ประดับประดาเหล่านี้ดึงดูดสายตาผู้คนดึงดูดความขัดแย้งและสังเกตโดยอัลกอริทึมการจัดอันดับของเรดดิทซึ่งแพร่กระจายไปไกลกว่านั้น

การแบนข่าวแท็บลอยด์อาจทำให้วงข้อเสนอแนะสิ้นสุดลง แต่ผู้ดำเนินการของชุมชนจะไม่เห็นด้วยกับการห้ามผ้าห่ม ในการแก้ปริศนานี้ผู้ดำเนินรายการจำเป็นต้องตอบคำถามที่เป็นหัวใจของการอภิปรายเกี่ยวกับสิ่งที่เรียกว่า "ข่าวปลอม": เราจะรักษาเสรีภาพของผู้มีส่วนร่วมได้อย่างไรในขณะเดียวกันก็มีอิทธิพลต่อพฤติกรรมร่วมกันของผู้คนและอัลกอริทึม

ฤดูหนาวนี้ผู้ดูแลทำงานร่วมกับ CivilServant เพื่อทดสอบแนวคิด: อะไรคือผลของการตรวจสอบข้อเท็จจริงที่กระตุ้นให้เกิดการตอบสนองต่อข่าวที่ไม่น่าเชื่อถือ? เราต้องการดูว่าชุมชน r / worldnews จะตอบสนองอย่างไร เรายังสังเกตเห็นผลกระทบที่มีต่อการจัดอันดับของ Reddit หากอัลกอริทึมของ Reddit ตีความการตรวจสอบข้อเท็จจริงเป็นความนิยมบทความที่ไม่น่าเชื่อถืออาจแพร่กระจายไปได้อีก

ข่าวแท็บลอยด์ประมาณ 2.3% ของการส่งทั้งหมดไปยังชุมชนสมาชิก 15 ล้านคนที่กล่าวถึงข่าวนอกสหรัฐอเมริกา ใน r / worldnews ผู้ตรวจสอบ 70 รายจะตรวจทานบทความประมาณ 450 บทความต่อวันและอนุญาตให้บทความเหล่านี้เหลือ 68% เนื่องจากเป็น subreddit เริ่มต้นผู้อ่าน reddit ส่วนใหญ่จึงได้รับข่าวสารโลกผ่านชุมชนนี้ ในขณะที่การเข้าถึงของชุมชนนั้นถูกแคระโดย Facebook แต่ r / worldnews อาจเป็นกลุ่มเดียวที่ใหญ่ที่สุดสำหรับพูดคุยเกี่ยวกับข่าวโลกทุกที่ในอินเทอร์เน็ตที่ใช้ภาษาอังกฤษ แม้แต่เอฟเฟกต์เล็ก ๆ ในชุมชนนี้ก็สามารถสร้างความแตกต่างได้อย่างมากในการที่ผู้คนนับล้านให้ความสำคัญกับข้อมูลที่ไม่น่าเชื่อถือเกี่ยวกับโลก

ในการศึกษาของเราตั้งแต่ 27 พ.ย. ถึง 20 ม.ค. เรา A / B ทดสอบข้อความสนับสนุนให้ชุมชนตรวจสอบข้อเท็จจริงและออกเสียงลงคะแนนข่าวแท็บลอยด์ นี่คือสิ่งที่เราพบ:

ผลของการส่งเสริมการตรวจสอบข้อเท็จจริงต่อพฤติกรรมชุมชน

ภายในการอภิปรายของการส่งแท็บลอยด์ใน r / worldnews การตรวจสอบข้อเท็จจริงสนับสนุนให้เพิ่มอัตราการเกิดของความคิดเห็นที่มีลิงค์โดยเฉลี่ย 2 เท่าและการตรวจสอบข้อเท็จจริง + การโหวตมีผลคล้ายกัน

ผลของการส่งเสริมการตรวจสอบข้อเท็จจริงตามอัลกอริทึมของ Reddit

จากการสังเกตตลอด 24 ชั่วโมงเราพบว่าโดยเฉลี่ยแล้วความคิดเห็นที่เหนียวแน่นที่สนับสนุนการตรวจสอบข้อเท็จจริงทำให้คะแนน reddit ลดลง 2 เท่าจากการส่งแท็บลอยด์ซึ่งเป็นผลกระทบที่มีนัยสำคัญทางสถิติซึ่งมีอิทธิพลต่ออันดับใน subreddit เมื่อเราสนับสนุนให้ผู้อ่านโหวตผลนี้ก็หายไป

AI Nudges: การชักชวนอัลกอริทึมในขณะที่รักษาเสรีภาพ

คำถามเกี่ยวกับข่าวแท็บลอยด์ของเราได้เพิ่มมิติอัลกอริธึมให้กับคำถามการกำกับดูแลแบบคลาสสิก: คนที่มีอำนาจสามารถทำงานเพื่อประโยชน์ที่ดีโดยทั่วไปได้อย่างไร

เราสามารถชักชวนอัลกอริทึมในการทำงานที่แตกต่างกันโดยการโน้มน้าวผู้คนให้ทำงานแตกต่างกัน

ข้ามอินเทอร์เน็ตผู้คนเรียนรู้ที่จะอยู่กับระบบ AI ที่พวกเขาไม่สามารถควบคุมได้ ตัวอย่างเช่นผู้ขับขี่ Uber ปรับแต่งการขับขี่เพื่อเพิ่มรายได้ พฤติกรรมโดยรวมของเรามีอิทธิพลต่อระบบ AI ตลอดเวลา แต่จนถึงขณะนี้สาธารณะยังขาดข้อมูลเกี่ยวกับสิ่งที่มีอิทธิพลจริง ผลลัพธ์ที่ทึบแสงเหล่านี้อาจเป็นปัญหาเมื่ออัลกอริธึมมีบทบาทสำคัญในสังคมเช่นสุขภาพความปลอดภัยและความยุติธรรม เพื่อแก้ปัญหานี้นักวิจัยบางคนกำลังออกแบบระบบ“ สังคมแบบ in-the-the-loop” [4] คนอื่นกำลังพัฒนาวิธีการตรวจสอบอัลกอริธึม [5] [6] แต่ก็ไม่มีวิธีการใดที่เสนอวิธีการจัดการพฤติกรรมประจำวันของระบบที่เราไม่สามารถควบคุมโค้ดได้ การศึกษาของเรากับ r / worldnews เสนอทิศทางที่สาม; เราสามารถชักชวนอัลกอริทึมในการทำงานที่แตกต่างกันโดยการโน้มน้าวผู้คนให้ทำงานแตกต่างกัน

บางคนอาจสงสัยว่าการทดลองนี้เป็นการลงคะแนนแบบโกงหรือไม่ซึ่งเป็นไปตามนโยบายของเรดดิท โน้ตที่ติดหนึบของเราจะไม่ละเมิดกฎใด ๆ ของ Reddit เพื่อผลประโยชน์ส่วนตัว (เราไม่ได้สร้างบัญชีปลอมบอกผู้คนถึงวิธีลงคะแนนหรือจัดระเบียบกลุ่มโหวต) แต่เราแสดงให้เห็นว่าการกระตุ้นให้ผู้คนตรวจสอบข้อเท็จจริงมีผลต่อระบบของอัลกอริทึมของ Reddit

แนวคิดของ“ AI nudges” ทำให้เรามีวิธีคิดเกี่ยวกับความพยายามในเชิงสังคมเพื่อมีอิทธิพลต่อพฤติกรรมของมนุษย์และเครื่องจักรขณะเดียวกันก็รักษาเสรีภาพส่วนบุคคล Richard Thaler และ Cass Sunstein เสนอ "nudges" เป็นครั้งแรกเพื่อให้สถาบันต่างๆใช้อำนาจของพวกเขาขณะเดียวกันก็รักษาเสรีภาพส่วนบุคคลไว้ [7] เมื่อเทียบกับการห้ามข่าวแท็บลอยด์ AI ที่ผลักดันให้มีการตรวจสอบข้อเท็จจริงคือการดำเนินการแบบสัมผัสที่เบาที่สุดที่ผู้ดำเนินรายการสามารถทำได้ ไม่มีความสามารถของบุคคลใดในการแบ่งปันข่าวความคิดเห็นหรือการลงคะแนนถูกนำออกไป แต่การผลักดัน AI ยังคงเป็นอุปสรรคต่อการแพร่กระจายของข่าวที่ไม่น่าเชื่อถือ

ดังที่ Sunstein และ Thaler ชี้ให้เห็นจึงไม่ชัดเจนเสมอไปหากการแทรกแซงแบบสัมผัสแสงเหล่านี้จะได้ผลลัพธ์ที่ต้องการ นั่นคือเหตุผลที่เราควรทดสอบผลกระทบของพวกเขาอย่างเป็นระบบโดยเฉพาะอย่างยิ่งเนื่องจากระบบที่ยังไม่ทดลองสามารถมีผลลัพธ์ที่ไม่คาดคิด

ธรรมาภิบาลและจริยธรรมของ AI Nudges

การผลักดันจากรัฐบาลและการทดลองทางสังคมโดยแพลตฟอร์มออนไลน์มักดึงดูดการวิจารณ์ที่คล้ายกัน ฉันคิดว่าผู้คนมีสิทธิ์ที่จะคาดหวังความรับผิดชอบจากผู้ที่มีอำนาจดื้อดึง ด้วยการทำงานร่วมกับผู้ดูแลอาสาสมัครฉันสามารถทำงานกับระดับความโปร่งใสและความรับผิดชอบที่มากขึ้นกว่าปกติในการคำนวณทางสังคม การศึกษา CivilServant ทั้งหมดได้รับการออกแบบโดยและโดยทีมงานกลั่นกรองและผลลัพธ์ทั้งหมดจะถูกเปิดเผยเป็นครั้งแรกต่อชุมชนในการซักถามย่อย การออกแบบการศึกษาของเราได้รับการจดทะเบียนใน Open Science Framework ก่อนที่เราจะเริ่มและรหัสทั้งหมดของเราเป็นโอเพนซอร์ส รายละเอียดการวิเคราะห์ยังเป็นแบบสาธารณะดังนั้นทุกคนสามารถตรวจสอบข้อสรุปของเรา สิ่งเดียวที่เราระงับคือข้อมูลจริงเนื่องจากเราเคารพความเป็นส่วนตัวของทุกคนที่เกี่ยวข้อง

โดยรวมแล้วฉันหวังว่า AI นัดโดยเฉพาะอย่างยิ่งเมื่อนำโดยชุมชนนำเสนอทิศทางที่น่าตื่นเต้นสำหรับประชาชนในการจัดการบทบาทของอัลกอริทึมในสังคมในขณะที่ยังรักษาเสรีภาพส่วนบุคคล

การศึกษาทำงานอย่างไร

สำหรับการทดสอบนี้ผู้ดูแลเริ่มต้นด้วยรายการแหล่งข่าวที่มักได้รับการร้องเรียน ตั้งแต่วันที่ 27 พฤศจิกายนถึง 20 มกราคมเราสุ่มกำหนดลิงก์แท็บลอยด์แต่ละรายการให้กับหนึ่งในสามเงื่อนไข: (ก) ไม่มีความคิดเห็นปักหมุด (ข) ความคิดเห็นที่ติดหนึบที่กระตุ้นให้เกิดความสงสัย (c) ความคิดเห็นเหนียว )

เราโพสต์ข้อความนี้ไปที่ด้านบนของการอภิปรายข่าวแท็บลอยด์

ข้อที่สองสนับสนุนให้ผู้คนตรวจสอบข้อเท็จจริงและพิจารณาลดการเชื่อมโยงหากพวกเขาไม่สามารถหาหลักฐานสนับสนุนการอ้างสิทธิ์ได้:

ข้อความที่สองนี้สนับสนุนให้ผู้คนพิจารณาการลงคะแนนเสียง

พฤติกรรมการตรวจสอบข้อเท็จจริงมีอิทธิพลต่ออัลกอริทึมของ reddit ดูข่าวที่ไม่น่าเชื่อถือได้อย่างไร

ในขณะที่เรามั่นใจว่าผู้อ่าน r / worldnews จะช่วยถ้าผู้ดูแลถามเราก็ยังสงสัยว่า: ถ้าเราเพิ่มความคิดเห็นในข่าวแท็บลอยด์เราอาจทำให้อัลกอริทึมของ reddit เพื่อโปรโมตลิงค์แท็บลอยด์เหล่านั้นโดยบังเอิญ?

หากการตรวจสอบข้อเท็จจริงเพิ่มความนิยมของแหล่งข่าวที่ไม่น่าเชื่อถือชุมชนอาจต้องคิดใหม่ว่าจะพยายามที่ไหน นั่นเป็นสาเหตุที่ผู้ดำเนินรายการทดสอบความคิดเห็นที่สองซึ่งเป็นข้อเสนอแนะที่กระตุ้นให้ผู้อ่านพิจารณา downvoting

เพื่อทดสอบผลกระทบของความคิดเห็นที่ติดขัดเกี่ยวกับอัลกอริทึมของ Reddit ซอฟต์แวร์ CivilServant รวบรวมข้อมูลคะแนนโพสต์ทุกสี่นาที แพลตฟอร์มไม่เผยแพร่สิ่งที่ตรงกับคะแนนหรือวิธีการจัดอันดับ (ฉันถาม) อย่างไรก็ตามเราสามารถคาดการณ์การจัดอันดับหน้าร้อนแรงของ subreddit ของโพสต์จากอายุและคะแนน (รายละเอียดทั้งหมดที่นี่) โดยทั่วไปหากการตรวจสอบข้อเท็จจริงมีผลอย่างมากต่อคะแนนของบทความแสดงว่าอาจมีผลต่อการจัดอันดับของบทความในช่วงเวลาหนึ่งในหน้าแรกของ subreddit ฉันทดสอบสองวิธีนี้: โดยการเปรียบเทียบคะแนนหลังจาก 24 ชั่วโมงและโดยการสร้างแบบจำลองการเปลี่ยนแปลงของคะแนนในช่วงเวลาหนึ่ง

ฉันใช้แบบจำลองทวินามลบเพื่อทดสอบผลกระทบกับคะแนนหลังจากผ่านไป 24 ชั่วโมง เนื่องจากอัลกอริทึมของ Reddit ยืนอยู่ระหว่างการทดสอบของเราการกระตุ้นให้เกิดการตรวจสอบข้อเท็จจริงทำให้การส่งข้อความแท็บลอยด์ได้รับคะแนนการส่ง 49.1% (2.04x ต่ำกว่า) โดยไม่มีความคิดเห็นที่เหนียวเหนอะหลังจาก 24 ชั่วโมงโดยเฉลี่ยใน r / worldnews ผลกระทบมีนัยสำคัญทางสถิติ ในรูปแบบนี้ฉันล้มเหลวในการหาผลกระทบจากความคิดเห็นที่ติดหนึบที่สนับสนุนให้ผู้อ่านพิจารณา downvoting

ฉันยังทดสอบผลของการตรวจสอบข้อเท็จจริงเกี่ยวกับอัตราการเติบโตของคะแนนโพสต์เมื่อเวลาผ่านไป หากต้องการถามคำถามนี้ฉันพอดีกับโมเดลการถดถอยเชิงเส้นแบบสุ่มในคะแนนบันทึกการแปลงสำหรับการโพสต์ทุกสี่นาที ฉันพบว่าการสนับสนุนการตรวจสอบข้อเท็จจริงทำให้อัตราการเติบโตของคะแนนลดลง ที่นี่ฉันพบว่าการให้กำลังใจการลงคะแนนมีผลในเชิงบวกเล็กน้อยต่ออัตราการเติบโตของคะแนนเมื่อเวลาผ่านไปโดยเฉลี่ย เนื่องจากเรากำลังทำการทดลองในระหว่างการเปลี่ยนแปลงอัลกอริทึมของ Reddit ในช่วงต้นเดือนธันวาคม 2559 ฉันก็พบว่าผลของความคิดเห็นที่ติดหนึบเหล่านี้ต่ออัลกอริทึมของ Reddit อาจเปลี่ยนไปหลังจากที่ Reddit ปรับอัลกอริทึม (รายละเอียด)

ใครช่วยตรวจสอบข้อเท็จจริงบทความข่าว

จากความคิดเห็นที่ไม่ใช่บอท 930 พร้อมลิงก์ที่ผู้ดูแลอนุญาตให้ยังคงมีอยู่ 737 บัญชีผู้ใช้มีส่วนเชื่อมโยงกับหลักฐานเพิ่มเติม จากทั้งหมดนี้ 133 บัญชีสร้างความคิดเห็นมากกว่าหนึ่งรายการพร้อมลิงก์ หลายคนตรวจสอบข้อเท็จจริงที่ส่งมาด้วยตัวเองโดยมีผู้ส่งโพสต์ความคิดเห็น 81 ถึงข้อมูลเพิ่มเติม

เราไม่ทราบอะไรจากการศึกษานี้?

การทดสอบนี้จะดูผลลัพธ์ภายในการอภิปรายแทนที่จะเป็นบัญชีบุคคลดังนั้นเราจึงไม่สามารถทราบได้ว่าคนแต่ละคนมีความเชื่อมั่นมากขึ้นหรือไม่หรือหากความคิดเห็นที่ติดหนึบนั้นทำให้คนที่ไม่เชื่อนั้นตรวจสอบและแบ่งปัน ฉันยังไม่มีหลักฐานใด ๆ เกี่ยวกับผลของการตรวจสอบข้อเท็จจริงกับผู้อ่านถึงแม้ว่างานวิจัยอื่น ๆ ชี้ให้เห็นว่าการตรวจสอบข้อเท็จจริงมีอิทธิพลต่อความเชื่อของผู้อ่าน [2] [3]

การศึกษานี้ไม่สามารถบอกเราได้มากนักว่าทำไมเราถึงเห็นการเปลี่ยนแปลงครั้งใหญ่ในเอฟเฟกต์อัลกอริทึมเมื่อเราแก้ไขข้อความโดยกระตุ้นให้ผู้อ่านพิจารณา downvoting ความแตกต่างนี้อาจเป็นตัวอย่างของสิ่งที่นักจิตวิทยาเรียกว่า "ปฏิกิริยารีแอกแตนซ์" การต่อต้านข้อเสนอแนะจากผู้มีอำนาจ หรือหากผู้ส่งข่าวกังวลว่าลิงก์ของพวกเขาอาจถูกลดระดับลงพวกเขาอาจขอความช่วยเหลือซึ่งทำให้พฤติกรรมของผู้อ่านมีความสมดุล

สิ่งนี้จะใช้ได้กับลิงค์ประเภทอื่นใน subreddits อื่น ๆ หรือในเว็บไซต์อื่น ๆ หรือไม่? การศึกษานี้ จำกัด เฉพาะชุมชนและรายการไซต์ ในขณะที่ฉันสงสัยว่าชุมชนออนไลน์ขนาดใหญ่จำนวนมากของผู้อ่านจะช่วยเชื่อมโยงตรวจสอบข้อเท็จจริงหากผู้ดูแลถามคำถามที่เราพบเกี่ยวกับอัลกอริทึม Reddit ตั้งอยู่มากขึ้น

เราสามารถตอบคำถามเหล่านี้ได้หาก subreddits เพิ่มเติมลองทดลองที่คล้ายกัน หากคุณสนใจโปรดติดต่อฉันที่ reddit เพื่อหารือเกี่ยวกับการดำเนินการทดสอบที่คล้ายกันและลงทะเบียนเพื่อรับการปรับปรุงทางอีเมล

เรียนรู้เพิ่มเติมเกี่ยวกับการทดลองนี้

ปริญญาเอกของฉันเกี่ยวข้องกับการสนับสนุนชุมชนในการทดสอบผลกระทบของการดำเนินการกลั่นกรองของตนเอง ฉันออกแบบการทดลองนี้พร้อมกับผู้ควบคุม r / worldnews และได้รับการอนุมัติจากคณะกรรมการ MIT เกี่ยวกับการใช้มนุษย์เป็นวิชาทดลอง หากคุณมีคำถามหรือข้อสงสัยกรุณาติดต่อ natematias บน redditmail

การทดลองนี้เช่นเดียวกับการวิจัยทั้งหมดของฉันเกี่ยวกับ Reddit จนถึงขณะนี้ได้ดำเนินการอย่างเป็นอิสระจากแพลตฟอร์ม Reddit ที่ไม่มีบทบาทในการวางแผนหรือการออกแบบการทดลอง การทดสอบยังไม่ได้รับการตรวจสอบโดยเพื่อน ผลลัพธ์ทั้งหมดจาก CivilServant จะโพสต์แบบสาธารณะกลับสู่ชุมชนที่เกี่ยวข้องทันทีที่ผลลัพธ์พร้อมแล้วโดยมีสิ่งพิมพ์ทางวิชาการออกมาในภายหลัง

รายละเอียดทั้งหมดของการทดลองถูกเผยแพร่ล่วงหน้าในแผนการวิเคราะห์ล่วงหน้าที่ osf.io/hmq5m/ หากคุณมีความสนใจในสถิติฉันได้เผยแพร่รายละเอียดของการวิเคราะห์

อ้างอิง

[1] Salganik, M. J. , & Watts, D. J. (2008) ผู้นำฝูงหลงทาง: การศึกษาทดลองของคำทำนายการตอบสนองด้วยตนเองในตลาดวัฒนธรรมประดิษฐ์ จิตวิทยาสังคมรายไตรมาส 71 (4), 338–355

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz และ John Cook ข้อมูลที่ผิดและการแก้ไขมีอิทธิพลอย่างต่อเนื่องและการหักล้างที่ประสบความสำเร็จ วิทยาศาสตร์ทางจิตวิทยาเพื่อสาธารณประโยชน์, 13 (3): 106–131, ธันวาคม 2555

[3] Thomas Wood และ Ethan Porter ผลกระทบย้อนกลับที่เข้าใจยาก: ทัศนคติของผู้คนยึดมั่นในการยึดมั่นในความเป็นจริง SSRN Scholarly Paper ID 2819073, เครือข่ายการวิจัยทางสังคมศาสตร์, Rochester, NY, สิงหาคม 2016

[4] Rahwan, Iyad (2016) Society-in-the-Loop: การเขียนโปรแกรมสัญญาทางสังคมอัลกอริทึม กลาง

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios และ Cedric Langbort 2014. อัลกอริทึมการตรวจสอบ: วิธีการวิจัยในการตรวจสอบการเลือกปฏิบัติบนแพลตฟอร์มอินเทอร์เน็ต ข้อมูลและการเลือกปฏิบัติ: การแปลงความกังวลที่สำคัญไปสู่การสอบสวนที่มีประสิทธิผลการประชุมประจำปีของสมาคมสื่อสารระหว่างประเทศ 2014

[6] Diakopoulos, N. , & Koliska, M. (2016) ความโปร่งใสของอัลกอริทึมในสื่อข่าว วารสารศาสตร์ดิจิตอล, 1–20

[7] Thaler, R. H. , & Sunstein, C. R. (2003) เสรีนิยมพ่อ การทบทวนเศรษฐกิจอเมริกัน 93 (2), 175–179