การเติบโตของ Data Centre กับการแข่งขันในโลก AI

ขีดจำกัดทางกายภาพของปัญญาประดิษฐ์

การแข่งขันด้าน AI ได้ย้ายจากห้องแล็บวิจัยมาสู่ไซต์งานก่อสร้างแล้ว หลายปีที่ผ่านมาอุตสาหกรรมนี้มุ่งเน้นไปที่ความล้ำสมัยของโค้ดและขนาดของ neural networks แต่ปัจจุบันข้อจำกัดหลักกลับเป็นเรื่องพื้นฐานกว่านั้นมาก ไม่ว่าจะเป็นที่ดิน พลังงาน น้ำ และทองแดง หากคุณต้องการสร้าง large language models รุ่นถัดไป คุณไม่ได้ต้องการเพียงแค่ algorithm ที่ดีขึ้นเท่านั้น แต่คุณต้องการอาคารขนาดมหึมาที่เต็มไปด้วยชิปเฉพาะทางหลายพันตัว ซึ่งกินไฟพอๆ กับเมืองเล็กๆ เมืองหนึ่ง การเปลี่ยนผ่านจากซอฟต์แวร์ไปสู่โครงสร้างพื้นฐานขนาดใหญ่นี้ได้เปลี่ยนธรรมชาติของการแข่งขันในวงการเทคไปโดยสิ้นเชิง มันไม่ใช่แค่เรื่องของใครมีวิศวกรที่เก่งที่สุดอีกต่อไป แต่เป็นเรื่องของใครที่สามารถเข้าถึงโครงข่ายไฟฟ้าและโน้มน้าวให้รัฐบาลท้องถิ่นยอมให้สร้างอาคารที่ใช้น้ำหลายล้านแกลลอนเพื่อระบายความร้อนได้

ทุกครั้งที่ผู้ใช้พิมพ์คำสั่งลงใน chatbot ห่วงโซ่ของเหตุการณ์ทางกายภาพจะเริ่มต้นขึ้น คำขอนั้นไม่ได้ลอยอยู่ใน cloud แต่มันอยู่ใน rack ของเซิร์ฟเวอร์ ซึ่งเซิร์ฟเวอร์เหล่านี้กำลังหนาแน่นและร้อนขึ้นเรื่อยๆ การเติบโตของศูนย์ข้อมูลเหล่านี้คือการขยายตัวทางกายภาพที่สำคัญที่สุดในประวัติศาสตร์อุตสาหกรรมเทค มันเป็นการเดิมพันครั้งใหญ่กับอนาคตของ compute แต่การเติบโตนี้กำลังชนเข้ากับกำแพงของความเป็นจริงทางกายภาพ เรากำลังเห็นการเปลี่ยนผ่านจากแนวคิดนามธรรมของอินเทอร์เน็ต ไปสู่โลกที่ data centers มีความสำคัญและเป็นที่ถกเถียงพอๆ กับโรงกลั่นน้ำมันหรือโรงไฟฟ้า นี่คือความจริงใหม่ของการแข่งขัน AI ซึ่งเป็นการแย่งชิงทรัพยากรพื้นฐานของโลกทางกายภาพ

จากโค้ดสู่คอนกรีตและทองแดง

การสร้าง data center สมัยใหม่คือการฝึกฝนด้านวิศวกรรมอุตสาหการ ในอดีต data center อาจเป็นเพียงโกดังที่นำมาปรับปรุงใหม่พร้อมเครื่องปรับอากาศเพิ่ม แต่ตอนนี้สิ่งเหล่านี้คือเครื่องจักรที่สร้างขึ้นมาโดยเฉพาะเพื่อรับมือกับความร้อนมหาศาลของชิป AI ปัจจัยที่สำคัญที่สุดคือพลังงาน ชิป AI สมัยใหม่ตัวเดียวสามารถใช้ไฟได้มากกว่า 700 วัตต์ เมื่อคุณนำชิปเหล่านี้หลายหมื่นตัวมาไว้ในอาคารเดียว ความต้องการพลังงานจะพุ่งสูงถึงหลายร้อยเมกะวัตต์ นี่ไม่ใช่แค่เรื่องของค่าไฟฟ้า แต่มันคือเรื่องของความพร้อมใช้งาน ในหลายส่วนของโลกโครงข่ายไฟฟ้ากำลังเต็มขีดความสามารถ บริษัทเทคกำลังแข่งขันกับที่อยู่อาศัยและโรงงานเพื่อแย่งชิงแหล่งจ่ายไฟที่จำกัด

ที่ดินเป็นอุปสรรคถัดไป คุณไม่สามารถสร้างสิ่งเหล่านี้ได้ทุกที่ พวกมันต้องอยู่ใกล้สาย fiber optic เพื่อลด latency และต้องอยู่ในพื้นที่ที่พื้นดินมั่นคงและสภาพอากาศจัดการได้ สิ่งนี้นำไปสู่การกระจุกตัวของ data centers ในพื้นที่อย่าง Northern Virginia ซึ่งเป็นภูมิภาคที่รับภาระ traffic อินเทอร์เน็ตส่วนใหญ่ของโลก แต่แม้แต่ที่นั่น ที่ดินก็กำลังจะหมดลง บริษัทต่างๆ จึงเริ่มมองหาพื้นที่ห่างไกลมากขึ้น แต่ไซต์เหล่านั้นมักขาดการเชื่อมต่อกับโครงข่ายไฟฟ้าที่จำเป็น สิ่งนี้สร้างปัญหาไก่กับไข่ คุณหาที่ดินได้แต่ไม่มีไฟ หรือหาไฟได้แต่กระบวนการขออนุญาตท้องถิ่นต้องใช้เวลาหลายปี การขออนุญาตกลายเป็นคอขวดสำคัญ รัฐบาลท้องถิ่นเริ่มสงสัยในโครงการเหล่านี้มากขึ้นเพราะมันใช้พื้นที่และทรัพยากรแต่สร้างงานระยะยาวได้ค่อนข้างน้อย

การระบายความร้อนเป็นเสาหลักที่สามของโครงสร้างพื้นฐานนี้ ชิป AI สร้างความร้อนมหาศาล การระบายความร้อนด้วยอากาศแบบเดิมไม่เพียงพอสำหรับ rack ที่มีความหนาแน่นสูงอีกต่อไป หลายแห่งกำลังเปลี่ยนไปใช้การระบายความร้อนด้วยของเหลว (liquid cooling) ซึ่งต้องใช้ท่อน้ำหรือสารหล่อเย็นเฉพาะทางส่งตรงไปยังชิป สิ่งนี้ต้องใช้น้ำจำนวนมหาศาล ในบางกรณี data center แห่งเดียวอาจใช้น้ำหลายร้อยล้านแกลลอนต่อปี ซึ่งทำให้บริษัทเทคต้องแข่งขันโดยตรงกับเกษตรกรรมและน้ำอุปโภคบริโภคในท้องถิ่น ในพื้นที่ที่เสี่ยงต่อภัยแล้ง นี่กลายเป็นประเด็นทางการเมืองที่ร้อนแรง อุตสาหกรรมกำลังพยายามเปลี่ยนไปสู่ระบบปิดที่รีไซเคิลน้ำได้ แต่ความต้องการเบื้องต้นยังคงน่าตกใจ นี่คือข้อจำกัดในทางปฏิบัติที่กำหนดนิยามของการเติบโตทางเทคในยุคปัจจุบัน

ภูมิรัฐศาสตร์ของ High Performance Compute

Data centers ไม่ใช่แค่สินทรัพย์ขององค์กรอีกต่อไป แต่เป็นลำดับความสำคัญของชาติ รัฐบาลทั่วโลกกำลังตระหนักว่าพลังประมวลผลคือรูปแบบหนึ่งของความแข็งแกร่งของชาติ สิ่งนี้ทำให้เกิดแนวคิดเรื่อง sovereign AI ประเทศต่างๆ ต้องการ data centers ของตนเองที่ตั้งอยู่ภายในพรมแดนเพื่อรับประกันความเป็นส่วนตัวของข้อมูลและความมั่นคงของชาติ พวกเขาไม่ต้องการพึ่งพาสิ่งอำนวยความสะดวกที่ตั้งอยู่ในเขตอำนาจศาลอื่น สิ่งนี้นำไปสู่โครงสร้างพื้นฐานระดับโลกที่กระจัดกระจาย แทนที่จะมีศูนย์กลางขนาดใหญ่เพียงไม่กี่แห่ง เรากำลังเห็นความพยายามในการสร้าง data centers ในระดับท้องถิ่นในทุกเศรษฐกิจหลัก นี่เป็นการเปลี่ยนแปลงที่สำคัญจากโมเดลแบบรวมศูนย์ที่ครอบงำในช่วงทศวรรษที่ผ่านมา มันทำให้การแข่งขันด้านโครงสร้างพื้นฐานซับซ้อนยิ่งขึ้นเพราะบริษัทต่างๆ ต้องรับมือกับสภาพแวดล้อมทางกฎระเบียบที่แตกต่างกันในแต่ละประเทศ

มิติทางภูมิรัฐศาสตร์นี้ทำให้ data centers กลายเป็นเป้าหมายของนโยบายอุตสาหกรรม รัฐบาลบางแห่งเสนอเงินอุดหนุนมหาศาลเพื่อดึงดูดนักพัฒนา data center พวกเขามองว่าอาคารเหล่านี้เป็นรากฐานของเศรษฐกิจสมัยใหม่ ในขณะที่บางแห่งกำลังเดินไปในทิศทางตรงกันข้าม พวกเขากังวลเกี่ยวกับภาระบนโครงข่ายไฟฟ้าของชาติและผลกระทบต่อสิ่งแวดล้อมจากการใช้พลังงานสูงเช่นนี้ ตัวอย่างเช่น บางเมืองได้ระงับการก่อสร้าง data center ใหม่จนกว่าจะสามารถอัปเกรดโครงสร้างพื้นฐานไฟฟ้าได้ สิ่งนี้สร้างความไม่แน่นอนในการเข้าถึง บริษัทอาจสร้างได้ในประเทศหนึ่งแต่ถูกปิดกั้นในอีกประเทศหนึ่ง การกระจายตัวทางภูมิศาสตร์นี้มีความสำคัญเพราะส่งผลต่อ latency และประสิทธิภาพของโมเดล AI สำหรับผู้ใช้ในภูมิภาคนั้นๆ หากประเทศใดขาดพลังประมวลผลในท้องถิ่น พลเมืองของประเทศนั้นจะเสียเปรียบในการแข่งขันด้าน AI เสมอ

การต่อสู้เพื่อสินทรัพย์เหล่านี้ยังเป็นการต่อสู้เพื่อ supply chains อีกด้วย ส่วนประกอบที่จำเป็นในการสร้าง data center กำลังขาดแคลน ซึ่งรวมถึงทุกอย่างตั้งแต่ชิปไปจนถึงหม้อแปลงไฟฟ้าขนาดใหญ่ที่จำเป็นสำหรับการเชื่อมต่อกับโครงข่ายไฟฟ้า ระยะเวลาในการรอคอยอุปกรณ์บางอย่างอาจนานถึงสองหรือสามปี ซึ่งหมายความว่าผู้ชนะในการแข่งขัน AI ใน 2027 ถูกกำหนดโดยการตัดสินใจที่ทำไว้เมื่อหลายปีก่อน บริษัทที่รักษาแหล่งพลังงานและอุปกรณ์ไว้ได้ก่อนจะมีข้อได้เปรียบมหาศาล ส่วนผู้ที่พยายามเข้าสู่ตลาดตอนนี้พบว่าประตูถูกปิดไปบางส่วนแล้ว โลกทางกายภาพเคลื่อนที่ช้ากว่าโลกของซอฟต์แวร์มาก คุณสามารถเขียนโค้ดใหม่ได้ในหนึ่งวัน แต่คุณไม่สามารถสร้างสถานีไฟฟ้าได้ในหนึ่งวัน ความเป็นจริงนี้กำลังบีบให้บริษัทเทคต้องคิดเหมือนยักษ์ใหญ่ในอุตสาหกรรม

เมื่อ Large Language Models พบกับโครงข่ายไฟฟ้าท้องถิ่น

เพื่อทำความเข้าใจผลกระทบของการเติบโตนี้ ลองพิจารณาวันปกติในชีวิตของ data center สมัยใหม่ ลองจินตนาการถึงสถานที่ที่ตั้งอยู่บริเวณชานเมืองขนาดกลาง ภายในมีแถวของ rack ซึ่งแต่ละอันมีขนาดประมาณตู้เย็น rack เหล่านี้เต็มไปด้วย GPU เมื่อพระอาทิตย์ขึ้นและผู้คนเริ่มวันทำงาน ความต้องการบริการ AI ก็พุ่งสูงขึ้น คำขอหลายพันรายการสำหรับการเขียนโค้ด การสร้างรูปภาพ และการสรุปข้อความหลั่งไหลเข้ามาในอาคาร แต่ละคำขอจะกระตุ้นให้เกิดการใช้พลังงานที่เพิ่มขึ้น พัดลมระบายความร้อนหมุนเร็วขึ้น ปั๊มระบายความร้อนด้วยของเหลวทำงานหนักขึ้น ความร้อนที่เกิดจากชิปเหล่านี้รุนแรงมากจนคุณสามารถสัมผัสได้ผ่านผนังฉนวนของห้องเซิร์ฟเวอร์ นี่คือเสียงของเศรษฐกิจสมัยใหม่ มันเป็นเสียงฮัมความถี่ต่ำที่คงที่และไม่เคยหยุดนิ่ง

นอกกำแพง ผลกระทบนั้นสัมผัสได้โดยชุมชน บริษัทสาธารณูปโภคในท้องถิ่นต้องจัดการกับภาระงาน หาก data center ดึงพลังงานมากเกินไป อาจทำให้โครงข่ายไฟฟ้าไม่เสถียร นี่คือเหตุผลที่ data centers หลายแห่งมีธนาคารแบตเตอรี่และเครื่องปั่นไฟดีเซลขนาดใหญ่ในสถานที่ พวกมันเป็นเสมือนสาธารณูปโภคขนาดเล็กของตัวเอง แต่เครื่องปั่นไฟเหล่านี้สร้างเสียงรบกวนและการปล่อยมลพิษ นำไปสู่การต่อต้านในท้องถิ่น ผู้อยู่อาศัยในละแวกใกล้เคียงอาจบ่นเกี่ยวกับเสียงฮัมที่คงที่หรือภาพของสายไฟแรงสูงขนาดใหญ่ที่พาดผ่านหลังบ้าน พวกเขาเห็นอาคารที่ครอบคลุมพื้นที่ 500,000 m² แต่จ้างงานเพียงไม่กี่สิบคน พวกเขาตั้งคำถามว่าพวกเขาได้รับอะไรเป็นการตอบแทนสำหรับภาระที่เกิดขึ้นกับทรัพยากรท้องถิ่น นี่คือจุดที่เทคนิคมาบรรจบกับการเมือง data center เป็นความมหัศจรรย์ทางวิศวกรรม แต่มันก็เป็นเพื่อนบ้านที่ใช้น้ำและไฟฟ้าจำนวนมากเช่นกัน

ขนาดของเรื่องนี้ยากที่จะจินตนาการได้ แคมปัส data center ขนาดใหญ่แห่งเดียวสามารถใช้พลังงานได้เท่ากับบ้าน 100,000 หลัง เมื่อยักษ์ใหญ่ด้านเทคประกาศโครงการมูลค่า 1 หมื่นล้านดอลลาร์ พวกเขาไม่ได้แค่ซื้อเซิร์ฟเวอร์ แต่พวกเขากำลังสร้างคอมเพล็กซ์อุตสาหกรรมขนาดใหญ่ ซึ่งรวมถึงโรงบำบัดน้ำและสถานีไฟฟ้าส่วนตัว ในบางกรณีพวกเขายังลงทุนในพลังงานนิวเคลียร์เพื่อให้แน่ใจว่ามีแหล่งพลังงานที่ปราศจากคาร์บอนอย่างต่อเนื่อง นี่เป็นการเปลี่ยนแปลงที่รุนแรงจากวิธีที่บริษัทเทคเคยดำเนินการ พวกเขาไม่ใช่แค่ผู้เช่าในอาคารของคนอื่นอีกต่อไป แต่เป็นผู้ขับเคลื่อนหลักของการพัฒนาโครงสร้างพื้นฐานในหลายภูมิภาค การเติบโตนี้กำลังเปลี่ยนรูปลักษณ์ทางกายภาพของเมืองของเราและวิธีจัดการสาธารณูปโภคของเรา มันเป็นการแสดงออกที่ชัดเจนและยิ่งใหญ่ของยุคดิจิทัล

ความขัดแย้งไม่ได้อยู่ที่ทรัพยากรเท่านั้น แต่อยู่ที่ความเร็วของการเปลี่ยนแปลง โครงข่ายไฟฟ้าท้องถิ่นถูกออกแบบมาให้เติบโตในอัตราที่คาดการณ์ได้ในช่วงหลายทศวรรษ แต่การบูมของ AI ได้บีบการเติบโตนั้นให้เหลือเพียงไม่กี่ปี สาธารณูปโภคกำลังดิ้นรนเพื่อตามให้ทัน ในบางภูมิภาค เวลารอสำหรับการเชื่อมต่อโครงข่ายใหม่ตอนนี้เกินห้าปีแล้ว สิ่งนี้ทำให้การเข้าถึงโครงข่ายไฟฟ้ากลายเป็นสินค้าที่มีค่า บางบริษัทถึงกับกว้านซื้อไซต์อุตสาหกรรมเก่าเพียงเพราะมันมีการเชื่อมต่อไฟฟ้าความจุสูงอยู่แล้ว พวกเขาไม่สนใจตัวอาคาร แต่สนใจทองแดงที่อยู่ในพื้นดิน นี่คือระดับของความสิ้นหวังในตลาด การแข่งขัน AI กำลังถูกต่อสู้ในสมรภูมิของคณะกรรมการวางแผนท้องถิ่นและห้องประชุมของสาธารณูปโภค

คำถามยากๆ สำหรับยุคแห่งการประมวลผล

ในขณะที่เราขยายตัวต่อไป เราต้องถามคำถามยากๆ เกี่ยวกับต้นทุนที่ซ่อนอยู่ ใครได้รับประโยชน์จากการสร้างครั้งใหญ่นี้? ในขณะที่บริการ AI มีให้บริการทั่วโลก แต่ต้นทุนด้านสิ่งแวดล้อมและโครงสร้างพื้นฐานมักจะเกิดขึ้นในท้องถิ่น ชุมชนในพื้นที่ชนบทอาจเห็นระดับน้ำบาดาลลดลงเพื่อสนับสนุน data center ที่ให้บริการผู้ใช้ที่อยู่อีกฟากหนึ่งของโลก เรายังต้องพิจารณาความยั่งยืนในระยะยาวของโมเดลนี้ หากบริษัทและรัฐบาลรายใหญ่ทุกแห่งต้องการคลัสเตอร์ประมวลผลขนาดใหญ่ของตนเอง ความต้องการพลังงานรวมทั่วโลกจะมหาศาล นี่เป็นการใช้ทรัพยากรพลังงานที่จำกัดของเราอย่างคุ้มค่าที่สุดหรือไม่? เรากำลังแลกเปลี่ยนพลังงานทางกายภาพกับปัญญาดิจิทัล นั่นคือการแลกเปลี่ยนที่ต้องการการถกเถียงสาธารณะมากขึ้น

นอกจากนี้ยังมีคำถามเรื่องความเป็นส่วนตัวและการควบคุม ในขณะที่ data centers รวมศูนย์มากขึ้นในมือของยักษ์ใหญ่ด้านเทคเพียงไม่กี่ราย บริษัทเหล่านั้นก็ได้รับอำนาจมหาศาล พวกเขาไม่ใช่แค่ผู้ให้บริการซอฟต์แวร์ แต่เป็นเจ้าของโครงสร้างพื้นฐานทางกายภาพที่ทำให้ชีวิตสมัยใหม่เป็นไปได้ หากบริษัทเดียวเป็นเจ้าของ data centers ชิป และโมเดล พวกเขาก็มีระดับของการรวมกิจการในแนวตั้ง (vertical integration) ที่ไม่เคยมีมาก่อน สิ่งนี้สร้างอุปสรรคสำคัญในการเข้าสู่ตลาดสำหรับคู่แข่งรายย่อย สตาร์ทอัพจะแข่งขันได้อย่างไรเมื่อพวกเขาไม่สามารถแม้แต่จะขอใบอนุญาตใช้ไฟฟ้าได้ ความเป็นจริงทางกายภาพของโครงสร้างพื้นฐาน AI อาจเป็นแรงต้านการแข่งขันขั้นสูงสุด มันเปลี่ยนตลาดแห่งความคิดให้กลายเป็นตลาดแห่งทุนและคอนกรีต

สุดท้าย เราต้องดูความยืดหยุ่นของระบบนี้ การรวมพลังประมวลผลไว้ในศูนย์กลางทางภูมิศาสตร์เพียงไม่กี่แห่ง เรากำลังสร้างจุดอ่อนที่อาจทำให้ระบบล้มเหลวทั้งระบบ ภัยพิบัติทางธรรมชาติหรือการโจมตีที่มุ่งเป้าไปที่ศูนย์กลาง data center ขนาดใหญ่อาจส่งผลกระทบระดับโลก เราเห็นสัญญาณของเรื่องนี้ในช่วงการระบาดใหญ่เมื่อการหยุดชะงักของ supply chain ทำให้การขยายตัวของ data center ช้าลง แต่ความเสี่ยงในตอนนี้สูงกว่าเดิมมาก เศรษฐกิจทั้งหมดของเรากำลังถูกสร้างขึ้นบนสิ่งอำนวยความสะดวกเหล่านี้ หากโครงข่ายไฟฟ้าล้มเหลวหรือน้ำระบายความร้อนหมด AI ก็จะหยุดทำงาน นี่คือความย้อนแย้งของยุคดิจิทัล เทคโนโลยีที่ล้ำสมัยที่สุดของเราขึ้นอยู่กับระบบทางกายภาพที่พื้นฐานที่สุดอย่างสิ้นเชิง เรากำลังสร้างโลกแห่งอนาคตบนรากฐานที่เปราะบางมาก

สถาปัตยกรรมของกระดูกสันหลังแห่ง AI

สำหรับผู้ที่มองในด้านเทคนิค การเปลี่ยนแปลงในการออกแบบ data center นั้นลึกซึ้ง เรากำลังย้ายจากการประมวลผลแบบ cloud ทั่วไปไปสู่โรงงาน AI เฉพาะทาง ใน data center แบบดั้งเดิม เป้าหมายคือการโฮสต์แอปพลิเคชันนับพันสำหรับลูกค้าที่แตกต่างกันนับพันราย ภาระงานนั้นคาดเดาไม่ได้แต่โดยทั่วไปมีความเข้มข้นต่ำ ในโรงงาน AI อาคารทั้งหลังมักถูกอุทิศให้กับงานเดียว เช่น การฝึกโมเดลขนาดใหญ่ สิ่งนี้ช่วยให้สามารถเพิ่มประสิทธิภาพได้ในระดับที่สูงขึ้นมาก ระบบเครือข่ายเพียงอย่างเดียวก็เป็นความท้าทายที่ยิ่งใหญ่ การฝึกโมเดลข้าม GPU หลายพันตัว คุณต้องมีเครือข่ายที่สามารถจัดการข้อมูลจำนวนมหาศาลด้วย latency เกือบเป็นศูนย์ สิ่งนี้นำไปสู่การนำเทคโนโลยีอย่าง InfiniBand และสวิตช์ Ethernet ความเร็วสูงที่ทำงานที่ 800Gbps มาใช้

การจัดเก็บข้อมูลเป็นอีกปัจจัยที่สำคัญ การฝึกโมเดล AI ต้องใช้ข้อมูลระดับ petabytes ให้เร็วที่สุดเท่าที่ GPU จะประมวลผลได้ สิ่งนี้ทำให้ฮาร์ดไดรฟ์แบบเดิมล้าสมัยสำหรับภาระงานเหล่านี้ ทุกอย่างกำลังเปลี่ยนไปใช้ที่เก็บข้อมูล flash แบบ NVMe ความเร็วสูง แต่แม้แต่ที่เก็บข้อมูลที่เร็วที่สุดก็อาจกลายเป็นคอขวดได้หาก pipeline ข้อมูลไม่ได้ถูกออกแบบมาอย่างถูกต้อง นี่คือเหตุผลที่เราเห็นการให้ความสำคัญมากขึ้นกับที่เก็บข้อมูลในเครื่องและ edge computing การย้ายข้อมูลให้ใกล้กับแหล่งประมวลผลมากขึ้น บริษัทต่างๆ สามารถลดภาระบนเครือข่ายได้ อย่างไรก็ตาม ขนาดของโมเดลทำให้เรื่องนี้ยาก โมเดลระดับแนวหน้าอาจมีขนาดหลายร้อย gigabytes ทำให้ยากต่อการรันบนสิ่งอื่นนอกเหนือจากคลัสเตอร์เซิร์ฟเวอร์ขนาดใหญ่ สิ่งนี้ยังคงรักษาอำนาจไว้ในมือของผู้ที่สามารถจ่ายค่าสิ่งอำนวยความสะดวกขนาดใหญ่ได้

เรายังเห็นการเปลี่ยนแปลงในวิธีที่ API และที่เก็บข้อมูลในเครื่องโต้ตอบกัน นักพัฒนาหลายคนพยายามหาวิธีรันโมเดลเวอร์ชันที่เล็กลงบนฮาร์ดแวร์ในเครื่องเพื่อหลีกเลี่ยงต้นทุนที่สูงและ latency ของ cloud สิ่งนี้เรียกว่า local inference แม้ว่าจะใช้งานได้กับงานง่ายๆ แต่โมเดลที่มีความสามารถสูงสุดยังคงต้องการทรัพยากรมหาศาลของ data center สิ่งนี้สร้างระบบแบบแบ่งชั้น AI ที่