ทำไมการปรับปรุงโมเดลขนาดเล็กถึงสร้างการเปลี่ยนแปลงครั้งใหญ่

การแข่งขันเพื่อสร้างโมเดลปัญญาประดิษฐ์ (AI) ที่ใหญ่ที่สุดกำลังเผชิญกับขีดจำกัดของผลตอบแทนที่ลดลง แม้ว่าข่าวพาดหัวมักจะเน้นไปที่ระบบขนาดมหึมาที่มีพารามิเตอร์นับล้านล้านตัว แต่ความก้าวหน้าที่แท้จริงกลับเกิดขึ้นในจุดเล็กๆ การปรับปรุงเพียงเล็กน้อยในวิธีที่โมเดลเหล่านี้ประมวลผลข้อมูลกำลังสร้างการเปลี่ยนแปลงครั้งใหญ่ในสิ่งที่ซอฟต์แวร์สามารถทำได้ในชีวิตประจำวัน เรากำลังก้าวออกจากยุคที่ขนาดดิบๆ เป็นตัวชี้วัดเดียวที่สำคัญ วันนี้เรามุ่งเน้นไปที่การอัดฉีดความฉลาดลงในพื้นที่ที่เล็กลง ซึ่งทำให้เทคโนโลยีเข้าถึงได้ง่ายและรวดเร็วขึ้นสำหรับทุกคน มันไม่ใช่เรื่องของการสร้างสมองที่ใหญ่ขึ้นอีกต่อไป แต่เป็นการทำให้สมองที่มีอยู่ทำงานได้อย่าง มีประสิทธิภาพ มากขึ้น เมื่อโมเดลมีขนาดเล็กลงสิบเปอร์เซ็นต์แต่ยังคงความแม่นยำไว้ได้ มันไม่ได้ช่วยแค่ประหยัดค่าใช้จ่ายเซิร์ฟเวอร์เท่านั้น แต่ยังเปิดโอกาสให้เกิดแอปพลิเคชันประเภทใหม่ๆ ที่เคยเป็นไปไม่ได้เนื่องจากข้อจำกัดด้านฮาร์ดแวร์ การเปลี่ยนแปลงนี้เป็นแนวโน้มที่สำคัญที่สุดในภาคเทคโนโลยีตอนนี้ เพราะมันเปลี่ยนพลังของการคำนวณขั้นสูงจากศูนย์ข้อมูลขนาดใหญ่มาไว้ในมือของคุณ

จุดจบของยุคที่ยิ่งใหญ่กว่าคือดีกว่า

เพื่อให้เข้าใจว่าทำไมการปรับแต่งเล็กน้อยเหล่านี้ถึงสำคัญ เราต้องดูว่ามันคืออะไรกันแน่ ความก้าวหน้าส่วนใหญ่มาจากสามด้าน ได้แก่ การคัดสรรข้อมูล (data curation), การควอนไทซ์ (quantization) และการปรับแต่งสถาปัตยกรรม เป็นเวลานานที่นักวิจัยเชื่อว่าข้อมูลที่มากขึ้นนั้นดีกว่าเสมอ พวกเขาขูดข้อมูลจากทั่วทั้งอินเทอร์เน็ตและป้อนเข้าสู่เครื่องจักร ตอนนี้เรารู้แล้วว่าข้อมูลคุณภาพสูงมีค่ามากกว่าปริมาณมหาศาล การทำความสะอาดชุดข้อมูลและการลบข้อมูลที่ซ้ำซ้อนช่วยให้วิศวกรสามารถฝึกฝนโมเดลขนาดเล็กที่ทำงานได้ดีกว่ารุ่นก่อนหน้าที่ใหญ่กว่า ซึ่งมักถูกเรียกว่าข้อมูลคุณภาพระดับตำราเรียน อีกปัจจัยสำคัญคือการควอนไทซ์ ซึ่งเป็นกระบวนการลดความแม่นยำของตัวเลขที่โมเดลใช้ในการคำนวณ แทนที่จะใช้ทศนิยมที่มีความละเอียดสูง โมเดลอาจใช้จำนวนเต็มง่ายๆ ฟังดูเหมือนจะทำให้ผลลัพธ์แย่ลง แต่คณิตศาสตร์ที่ชาญฉลาดช่วยให้โมเดลยังคงฉลาดเกือบเท่าเดิมในขณะที่ใช้หน่วยความจำเพียงเสี้ยวเดียว คุณสามารถอ่านเพิ่มเติมเกี่ยวกับการเปลี่ยนแปลงทางเทคนิคเหล่านี้ได้ใน งานวิจัยล่าสุดเกี่ยวกับ QLoRA และการบีบอัดโมเดล

สุดท้ายคือการเปลี่ยนแปลงทางสถาปัตยกรรม เช่น กลไกความสนใจ (attention mechanisms) ที่เน้นส่วนที่เกี่ยวข้องที่สุดของประโยค สิ่งเหล่านี้ไม่ใช่การยกเครื่องครั้งใหญ่ แต่เป็นการปรับแต่งทางคณิตศาสตร์เล็กน้อยที่ช่วยให้ระบบเพิกเฉยต่อสัญญาณรบกวน เมื่อคุณรวมปัจจัยเหล่านี้เข้าด้วยกัน คุณจะได้โมเดลที่ใส่ลงในแล็ปท็อปมาตรฐานได้แทนที่จะต้องใช้ห้องที่เต็มไปด้วยชิปเฉพาะทาง ผู้คนมักประเมินความจำเป็นของโมเดลขนาดใหญ่เกินไปสำหรับงานง่ายๆ และประเมินค่าความฉลาดที่สามารถอัดแน่นลงในพารามิเตอร์เพียงไม่กี่พันล้านตัวต่ำเกินไป เรากำลังเห็นแนวโน้มที่ความ “ดีพอ” กลายเป็นมาตรฐานสำหรับผลิตภัณฑ์ผู้บริโภคส่วนใหญ่ ซึ่งช่วยให้นักพัฒนาสามารถรวมฟีเจอร์อัจฉริยะเข้ากับแอปได้โดยไม่ต้องเรียกเก็บค่าสมัครสมาชิกเพื่อครอบคลุมค่าใช้จ่ายคลาวด์ที่สูง นี่เป็นการเปลี่ยนแปลงพื้นฐานในวิธีที่ซอฟต์แวร์ถูกสร้างและแจกจ่าย

ทำไมความฉลาดในเครื่องถึงสำคัญกว่าพลังคลาวด์

ผลกระทบระดับโลกของการปรับปรุงเล็กน้อยเหล่านี้ยากที่จะกล่าวเกินจริง คนส่วนใหญ่ในโลกไม่มีสิทธิ์เข้าถึงอินเทอร์เน็ตความเร็วสูงที่จำเป็นสำหรับการโต้ตอบกับโมเดลคลาวด์ขนาดใหญ่ เมื่อความฉลาดต้องการการเชื่อมต่อกับเซิร์ฟเวอร์ในเวอร์จิเนียหรือดับลินตลอดเวลา มันก็ยังคงเป็นความหรูหราสำหรับคนรวย การปรับปรุงโมเดลขนาดเล็กเปลี่ยนสิ่งนี้โดยอนุญาตให้ซอฟต์แวร์ทำงานในเครื่องบนฮาร์ดแวร์ระดับกลางได้ ซึ่งหมายความว่านักเรียนในพื้นที่ห่างไกลหรือคนทำงานในตลาดเกิดใหม่สามารถเข้าถึงความช่วยเหลือในระดับเดียวกับคนที่อยู่ในศูนย์กลางเทคโนโลยี มันสร้างความเท่าเทียมในแบบที่การขยายขนาดดิบๆ ไม่เคยทำได้ ต้นทุนของความฉลาดกำลังลดลงสู่ศูนย์ สิ่งนี้สำคัญอย่างยิ่งสำหรับความเป็นส่วนตัวและความปลอดภัย เมื่อข้อมูลไม่จำเป็นต้องออกจากอุปกรณ์ ความเสี่ยงของการรั่วไหลจะต่ำลงอย่างมาก รัฐบาลและผู้ให้บริการด้านสุขภาพกำลังมองหาโมเดลที่มีประสิทธิภาพเหล่านี้เป็นวิธีในการให้บริการโดยไม่กระทบต่อข้อมูลของพลเมือง

การเปลี่ยนแปลงนี้ยังส่งผลกระทบต่อสิ่งแวดล้อม การฝึกฝนโมเดลขนาดใหญ่ใช้ไฟฟ้าและน้ำจำนวนมหาศาลในการระบายความร้อน การมุ่งเน้นไปที่ประสิทธิภาพช่วยให้อุตสาหกรรมสามารถลดการปล่อยคาร์บอนในขณะที่ยังคงส่งมอบผลิตภัณฑ์ที่ดีขึ้น วารสารวิทยาศาสตร์อย่าง Nature ได้เน้นย้ำว่า AI ที่มีประสิทธิภาพสามารถลดผลกระทบต่อสิ่งแวดล้อมของอุตสาหกรรมได้อย่างไร นี่คือวิธีที่การเปลี่ยนแปลงระดับโลกนี้กำลังปรากฏให้เห็น:

• บริการแปลภาษาในเครื่องที่ทำงานได้โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต
• เครื่องมือวินิจฉัยทางการแพทย์ที่ทำงานบนแท็บเล็ตพกพาในคลินิกห่างไกล
• ซอฟต์แวร์การศึกษาที่ปรับให้เข้ากับความต้องการของนักเรียนบนฮาร์ดแวร์ราคาประหยัด
• การกรองความเป็นส่วนตัวแบบเรียลไทม์สำหรับการสนทนาทางวิดีโอที่เกิดขึ้นบนอุปกรณ์ทั้งหมด
• การตรวจสอบพืชผลอัตโนมัติสำหรับเกษตรกรโดยใช้โดรนราคาไม่แพงและการประมวลผลในพื้นที่

นี่ไม่ใช่แค่เรื่องของการทำให้เร็วขึ้น แต่เป็นเรื่องของการทำให้เป็นสากล เมื่อความต้องการฮาร์ดแวร์ลดลง ฐานผู้ใช้ที่มีศักยภาพจะเพิ่มขึ้นอีกหลายพันล้านคน แนวโน้มนี้เชื่อมโยงอย่างใกล้ชิดกับ แนวโน้มล่าสุดในการพัฒนา AI ที่ให้ความสำคัญกับการเข้าถึงได้มากกว่าพลังดิบ

วันอังคารกับผู้ช่วยออฟไลน์

ลองพิจารณาวันหนึ่งในชีวิตของวิศวกรภาคสนามชื่อมาร์คัส เขาทำงานกับกังหันลมในทะเลที่ไม่มีอินเทอร์เน็ต ในอดีตหากมาร์คัสพบข้อผิดพลาดทางกลที่เขาไม่รู้จัก เขาต้องถ่ายรูป รอจนกว่าจะกลับเข้าฝั่ง และปรึกษาคู่มือหรือเพื่อนร่วมงานอาวุโส ซึ่งอาจทำให้การซ่อมแซมล่าช้าไปหลายวัน ตอนนี้เขาพกแท็บเล็ตที่ทนทานพร้อมโมเดลในเครื่องที่ปรับให้เหมาะสมที่สุด เขาชี้กล้องไปที่ส่วนประกอบของกังหันและโมเดลจะระบุปัญหาแบบเรียลไทม์ มันให้คู่มือการซ่อมทีละขั้นตอนตามหมายเลขซีเรียลเฉพาะของเครื่อง โมเดลที่มาร์คัสใช้ไม่ใช่ยักษ์ใหญ่ที่มีพารามิเตอร์ล้านล้านตัว แต่เป็นเวอร์ชันขนาดเล็กที่เชี่ยวชาญซึ่งได้รับการปรับแต่งให้เข้าใจวิศวกรรมเครื่องกล นี่เป็นตัวอย่างที่เป็นรูปธรรมว่าการปรับปรุงประสิทธิภาพโมเดลเพียงเล็กน้อยสร้างการเปลี่ยนแปลงครั้งใหญ่ในด้านผลผลิตได้อย่างไร

ต่อมาในวันนั้น มาร์คัสใช้เครื่องมือเดียวกันเพื่อแปลเอกสารทางเทคนิคจากซัพพลายเออร์ต่างชาติ การแปลนั้นเกือบจะสมบูรณ์แบบเพราะโมเดลได้รับการฝึกฝนบนชุดข้อความวิศวกรรมขนาดเล็กแต่มีคุณภาพสูง เขาไม่เคยต้องอัปโหลดไฟล์เดียวไปยังคลาวด์เลย ความน่าเชื่อถือ นี้คือสิ่งที่ทำให้เทคโนโลยีมีประโยชน์ในโลกแห่งความเป็นจริง หลายคนสันนิษฐานว่า AI ต้องเป็นผู้รอบรู้ถึงจะมีประโยชน์ แต่มาร์คัสพิสูจน์ให้เห็นว่าระบบขนาดเล็กที่เชี่ยวชาญมักจะเหนือกว่าสำหรับงานระดับมืออาชีพ ธรรมชาติขนาดเล็กของโมเดลเป็นฟีเจอร์ ไม่ใช่บั๊ก มันหมายความว่าระบบเร็วขึ้น เป็นส่วนตัวมากขึ้น และใช้งานได้ถูกกว่า มาร์คัสได้รับการอัปเดตล่าสุดเมื่อสัปดาห์ที่แล้ว และความแตกต่างของความเร็วก็สังเกตเห็นได้ทันที

ความย้อนแย้งที่นี่คือในขณะที่โมเดลมีขนาดเล็กลง งานที่ทำกลับใหญ่ขึ้น เรากำลังเห็นการย้ายจากการแชทกับบอทไปสู่การรวมเครื่องมือเข้ากับเวิร์กโฟลว์ ผู้คนมักประเมินความสำคัญของโมเดลที่สามารถเขียนบทกวีสูงเกินไป และประเมินค่าของโมเดลที่สามารถดึงข้อมูลจากใบแจ้งหนี้ที่เบลอหรือระบุรอยร้าวบนคานเหล็กต่ำเกินไป นี่คืองานที่ขับเคลื่อนเศรษฐกิจโลก เมื่อการปรับปรุงเล็กน้อยเหล่านี้ดำเนินต่อไป เส้นแบ่งระหว่างซอฟต์แวร์อัจฉริยะและซอฟต์แวร์ปกติจะหายไป ทุกอย่างจะทำงานได้ดีขึ้น นี่คือความเป็นจริงของสภาพแวดล้อมทางเทคโนโลยีในปัจจุบัน

คำถามยากๆ เกี่ยวกับการแลกเปลี่ยนประสิทธิภาพ

อย่างไรก็ตาม เราต้องใช้ความสงสัยแบบโสเครตีสกับแนวโน้มนี้ หากเรากำลังมุ่งไปสู่โมเดลที่เล็กลงและปรับให้เหมาะสมยิ่งขึ้น เรากำลังทิ้งอะไรไว้เบื้องหลัง? คำถามที่ยากข้อหนึ่งคือการมุ่งเน้นไปที่ประสิทธิภาพนำไปสู่ที่ราบสูงของความ “ดีพอ” หรือไม่? หากโมเดลถูกปรับให้เหมาะสมเพื่อความรวดเร็ว มันจะสูญเสียความสามารถในการจัดการกรณีขอบเขต (edge cases) ที่โมเดลขนาดใหญ่อาจตรวจพบหรือไม่? เราต้องถามว่าการเร่งรีบเพื่อย่อขนาดโมเดลกำลังสร้างอคติรูปแบบใหม่หรือไม่? หากเราใช้เฉพาะข้อมูลคุณภาพสูงในการฝึกระบบเหล่านี้ ใครเป็นผู้กำหนดว่าคุณภาพคืออะไร? เราอาจกรองเสียงและมุมมองของกลุ่มคนชายขอบออกโดยไม่ได้ตั้งใจเพราะข้อมูลของพวกเขาไม่ตรงตามมาตรฐานตำราเรียน

มีเรื่องราว, เครื่องมือ, เทรนด์ หรือคำถามเกี่ยวกับ AI ที่คุณคิดว่าเราควรนำเสนอหรือไม่? ส่งแนวคิดบทความของคุณมาให้เรา — เรายินดีรับฟัง

นอกจากนี้ยังมีคำถามเกี่ยวกับต้นทุนแฝง แม้ว่าการรันโมเดลขนาดเล็กจะมีราคาถูก แต่การวิจัยและพัฒนาที่จำเป็นในการย่อโมเดลขนาดใหญ่นั้นมีราคาแพงอย่างไม่น่าเชื่อ เรากำลังเพียงแค่ย้ายการใช้พลังงานจากระยะการอนุมาน (inference phase) ไปสู่ระยะการฝึกฝนและการปรับให้เหมาะสมหรือไม่? นอกจากนี้ เมื่อโมเดลเหล่านี้กลายเป็นเรื่องปกติบนอุปกรณ์ส่วนตัว ความเป็นส่วนตัวของเราจะเป็นอย่างไร? แม้ว่าโมเดลจะทำงานในเครื่อง แต่เมทาดาตาเกี่ยวกับวิธีที่เราใช้งานอาจยังถูกเก็บเกี่ยวได้ เราต้องถามว่าความสะดวกสบายของความฉลาดในเครื่องนั้นคุ้มค่ากับศักยภาพในการติดตามที่รุกล้ำมากขึ้นหรือไม่? หากทุกแอปบนโทรศัพท์ของคุณมีสมองขนาดเล็กของตัวเอง ใครเป็นผู้ตรวจสอบว่าสมองเหล่านั้นกำลังเรียนรู้อะไรเกี่ยวกับคุณ? เรายังต้องพิจารณาถึงอายุการใช้งานของฮาร์ดแวร์ หากซอฟต์แวร์มีประสิทธิภาพมากขึ้นเรื่อยๆ บริษัทต่างๆ จะยังคงผลักดันให้เราอัปเกรดอุปกรณ์ทุกๆ [ปี] หรือไม่? หรือสิ่งนี้จะนำไปสู่ยุคที่ยั่งยืนซึ่งโทรศัพท์อายุห้าปีก็ยังคงสามารถรันเครื่องมือล่าสุดได้อย่างสมบูรณ์? นี่คือความย้อนแย้งที่เราต้องเผชิญเมื่อเทคโนโลยีพัฒนาไป

วิศวกรรมเบื้องหลังการบีบอัด

สำหรับผู้ใช้ระดับสูงและนักพัฒนา การเปลี่ยนไปใช้โมเดลขนาดเล็กเป็นเรื่องของรายละเอียดทางเทคนิค ตัวชี้วัดที่สำคัญที่สุดไม่ใช่จำนวนพารามิเตอร์อีกต่อไป แต่คือจำนวนบิตต่อพารามิเตอร์ เรากำลังเห็นการย้ายจากน้ำหนักจุดลอยตัว 16 บิต (16-bit floating point) ไปสู่การควอนไทซ์ 8 บิตและแม้แต่ 4 บิต สิ่งนี้ช่วยให้โมเดลที่ปกติจะต้องใช้ VRAM 40 กิกะไบต์สามารถใส่ลงในพื้นที่น้อยกว่า 10 กิกะไบต์ได้ นี่เป็นการเปลี่ยนแปลงครั้งใหญ่สำหรับพื้นที่เก็บข้อมูลในเครื่องและความต้องการ GPU ตอนนี้นักพัฒนากำลังมองไปที่ LoRA หรือ Low-Rank Adaptation เพื่อปรับแต่งโมเดลเหล่านี้สำหรับงานเฉพาะโดยไม่ต้องฝึกระบบใหม่ทั้งหมด ซึ่งทำให้การรวมเวิร์กโฟลว์ง่ายขึ้นมาก คุณสามารถค้นหาเอกสารทางเทคนิคเกี่ยวกับวิธีการเหล่านี้ได้ที่ MIT Technology Review

เมื่อสร้างแอปพลิเคชัน คุณต้องพิจารณาข้อจำกัดทางเทคนิคต่อไปนี้:

• แบนด์วิดท์หน่วยความจำมักเป็นคอขวดที่ใหญ่กว่าพลังการคำนวณดิบสำหรับการอนุมานในเครื่อง
• ขีดจำกัด API สำหรับโมเดลคลาวด์มีความสำคัญน้อยลงเรื่อยๆ เมื่อการโฮสต์ในเครื่องกลายเป็นทางเลือกที่ใช้งานได้จริงสำหรับการผลิต
• การจัดการหน้าต่างบริบท (context window) ยังคงเป็นความท้าทายสำหรับโมเดลขนาดเล็กเนื่องจากมักจะสูญเสียการติดตามการสนทนาที่ยาวนานได้เร็วกว่า
• การเลือกระหว่างความแม่นยำ FP8 และ INT4 อาจส่งผลกระทบอย่างมากต่ออัตราการหลอน (hallucination rate) ในงานสร้างสรรค์
• ความต้องการพื้นที่เก็บข้อมูลในเครื่องกำลังลดลง แต่ความต้องการไดรฟ์ NVMe ความเร็วสูงยังคงอยู่สำหรับการโหลดโมเดลที่รวดเร็ว

เรายังเห็นการเพิ่มขึ้นของการถอดรหัสเชิงคาดการณ์ (speculative decoding) ซึ่งโมเดลขนาดจิ๋วจะทำนายโทเค็นถัดไปและโมเดลที่ใหญ่กว่าจะตรวจสอบความถูกต้อง แนวทางไฮบริดนี้มอบความเร็วของโมเดลขนาดเล็กพร้อมความแม่นยำของยักษ์ใหญ่ เป็นวิธีที่ชาญฉลาดในการข้ามการแลกเปลี่ยนแบบดั้งเดิมของขนาดโมเดล สำหรับใครก็ตามที่ต้องการนำหน้าในสาขานี้ การเข้าใจเทคนิคการบีบอัดเหล่านี้สำคัญกว่าการรู้วิธีสร้างโมเดลตั้งแต่ต้น อนาคตเป็นของผู้เพิ่มประสิทธิภาพที่สามารถทำสิ่งที่มากขึ้นด้วยสิ่งที่น้อยลง การมุ่งเน้นกำลังเปลี่ยนจากพลังดิบไปสู่การวิศวกรรมที่ชาญฉลาด

เป้าหมายที่เคลื่อนไหวของประสิทธิภาพสูงสุด

บรรทัดล่างคือยุคที่ยิ่งใหญ่กว่าคือดีกว่าเสมอมาถึงจุดสิ้นสุดแล้ว ความก้าวหน้าที่สำคัญที่สุดไม่ใช่เรื่องของการเพิ่มเลเยอร์หรือข้อมูลมากขึ้นอีกต่อไป แต่เป็นเรื่องของการปรับแต่ง ประสิทธิภาพ และการเข้าถึง เรากำลังเห็นการเปลี่ยนแปลงที่จะทำให้การคำนวณขั้นสูงกลายเป็นเรื่องปกติเหมือนเครื่องคิดเลข ความก้าวหน้านี้ไม่ใช่แค่ความสำเร็จทางเทคนิค แต่เป็นความสำเร็จทางสังคม มันนำพลังของการวิจัยขั้นสูงที่สุดมาสู่ทุกคน ไม่ว่าฮาร์ดแวร์หรือการเชื่อมต่ออินเทอร์เน็ตของพวกเขาจะเป็นอย่างไร มันคือการทำให้ความฉลาดเป็นประชาธิปไตยผ่านทางประตูหลังของการเพิ่มประสิทธิภาพ

หมายเหตุจากบรรณาธิการ: เราสร้างเว็บไซต์นี้ขึ้นมาเพื่อเป็นศูนย์กลางข่าวสารและคู่มือ AI หลายภาษาสำหรับผู้ที่ไม่ได้เป็นผู้เชี่ยวชาญคอมพิวเตอร์ แต่ยังคงต้องการทำความเข้าใจปัญญาประดิษฐ์ ใช้งานได้อย่างมั่นใจมากขึ้น และติดตามอนาคตที่กำลังจะมาถึงแล้ว

เมื่อเรามองไปข้างหน้าสู่ [ปี] ถัดไป คำถามที่ยังคงอยู่คือ: เราจะยังคงหาวิธีลดขนาดความฉลาดต่อไป หรือในที่สุดเราจะถึงขีดจำกัดทางกายภาพที่บังคับให้เรากลับไปสู่คลาวด์? สำหรับตอนนี้ แนวโน้มนั้นชัดเจน ขนาดเล็กคือขนาดใหญ่ใหม่ ระบบที่เราใช้ในวันพรุ่งนี้จะไม่ถูกกำหนดโดยสิ่งที่พวกเขารู้มากแค่ไหน แต่โดยวิธีที่พวกเขาใช้สิ่งที่พวกเขามีได้ดีเพียงใด