โมเดลปัญญาประดิษฐ์พี่โดย Microsoft - เล็ก ราคาถูก และไม่ทรมานจาก "ภาพหลอน" นี่คือสิ่งที่พวกเขาพูดเกี่ยวกับโมเดลภาษาใหม่ ซึ่งคาดว่าจะมีอนาคตที่ดี
GPT นั้นยอดเยี่ยมมาก แต่ในขณะเดียวกันก็มีราคาแพงมาก และไม่เหมาะสำหรับทุกคน ด้วยเหตุผลเหล่านี้และเหตุผลอื่น ๆ อีกมากมาย Microsoft กำลังทดลองใช้โมเดล AI ที่มีขนาดเล็กกว่ามาก กล่าวกันว่า Phi-3-mini ทำให้งานของวิศวกร OpenAI ต้องอับอายด้วยซ้ำ
ที่น่าสนใจเช่นกัน: ทรานซิสเตอร์แห่งอนาคต: ยุคใหม่ของชิปกำลังรอเราอยู่
ChatGPT ไม่ใช่ยาครอบจักรวาล
ChatGPT เป็นสิ่งประดิษฐ์ที่ได้รับทุน การดูแล และปรับปรุง Microsoft- ที่จริงแล้วมันไม่เข้าข่าย Microsoftและบริษัท OpenAI ซึ่ง Microsoft ไม่ได้เป็นเจ้าของ (เธอเป็นผู้นำแม้ว่าจะไม่ใช่นักลงทุนรายใหญ่ที่สุดก็ตาม) โมเดลภาษา GPT ให้ไว้ Microsoft ซึ่งเป็นข้อได้เปรียบอย่างมากเหนือบริษัทเทคโนโลยีขนาดใหญ่อื่นๆ ที่กำลังเร่งไล่ตามให้ทัน อย่างไรก็ตาม GPT มีปัญหามากมาย ซึ่งหลายปัญหายังไม่สามารถแก้ไขได้
ประการแรก นี่เป็นโมเดลภาษาที่ต้องใช้ทรัพยากรมาก เน้นเว็บ Microsoft Copilot หรือ ChatGPT ของ OpenAI สร้างต้นทุนการดำเนินงานที่สูงมากสำหรับ Microsoft- นี่เป็นคุณสมบัติที่ไม่เพียงแต่ของ GPT เท่านั้น แต่ยังรวมถึงโมเดลภาษาหลักทั้งหมดด้วย นอกจากนี้ GPT ก็เหมือนกับคู่แข่งที่มีแนวโน้มที่จะ "ภาพหลอน" นั่นคือสามารถสร้างการตอบสนองต่อข้อสงสัยที่มีข้อมูลที่เป็นเท็จหรือทำให้เข้าใจผิดได้ ยิ่งโมเดลดังกล่าวดูดซับข้อมูลได้มากเท่าใด มีแนวโน้มที่จะสร้างเนื้อหาที่คล้ายกันมากขึ้นเท่านั้น ดังนั้นภาพหลอนและข้อความเท็จจึงไม่ใช่ตำนานที่ถูกดูดออกมาจากนิ้วดิจิทัล ผู้ใช้มักทราบว่าโมเดลภาษาขนาดใหญ่มักทำผิดพลาด ให้ข้อมูลไม่ถูกต้อง และดำเนินการกับข้อเท็จจริงที่ไม่มีอยู่จริง
ปัญหาทั้งสองนั้นร้ายแรงมาก ซึ่งเป็นสาเหตุที่ทำให้ OpenAI Microsoft, Meta, Google และอื่นๆ กำลังทำงานเพื่อพัฒนาไม่เพียงแต่เทคโนโลยี Large Language Model เท่านั้น แต่ยังรวมถึง Small Language Model ด้วย ซึ่งในทางปฏิบัติจะให้ผลลัพธ์ที่ดีกว่ามาก
ผู้ช่วยของนักบัญชีดิจิทัลไม่จำเป็นต้องมีความรู้เกี่ยวกับฟิสิกส์ควอนตัมมากนัก อาจมีขนาดเล็กกว่ามากและซับซ้อนน้อยกว่า (และถูกกว่าด้วย) และโดยการฝึกอบรมเฉพาะข้อมูลที่จำเป็นสำหรับวัตถุประสงค์เท่านั้นในทางทฤษฎีควรจะเกิดอาการประสาทหลอนน้อยลง แม้ว่านี่จะพูดง่ายกว่าทำก็ตาม เทคโนโลยี GenAI ยังคงเป็นการลงทุนด้านไอทีที่ดุเดือด และถึงแม้ว่างานจะก้าวหน้าไปอย่างรวดเร็วอย่างที่ไม่เคยมีมาก่อน แต่ก็ยังยากที่จะบรรลุความก้าวหน้าในประเด็นพื้นฐานในทางปฏิบัติ แต่บริษัท Microsoft เพิ่งประกาศความก้าวหน้าดังกล่าว เรากำลังพูดถึงโมเดลภาษาขนาดเล็ก Microsoft พี่.
ที่น่าสนใจเช่นกัน: ไต้หวัน จีน และสหรัฐฯ ต่อสู้เพื่อครอบงำทางเทคโนโลยีอย่างไร: สงครามชิปครั้งใหญ่
สิ่งที่รู้เกี่ยวกับ Microsoft พี
ก่อนอื่น ควรสังเกตว่าการทดลองดำเนินการโดยไม่ต้องมีส่วนร่วมจากบริษัท OpenAI นั่นก็คือการพัฒนาของวิศวกร Microsoft.
โมเดล Microsoft Phi คือชุดของโมเดลภาษาขนาดเล็ก (SLM) ที่ให้ผลลัพธ์ที่ยอดเยี่ยมในการทดสอบที่หลากหลาย รุ่นแรกคือ Phi-1 มีพารามิเตอร์ 1,3 พันล้านพารามิเตอร์และได้รับผลลัพธ์การเข้ารหัส Python ที่ดีที่สุดในกลุ่ม SLM ที่มีอยู่
จากนั้นนักพัฒนาจึงมุ่งเน้นไปที่ความเข้าใจและการคิดทางภาษา โดยสร้างโมเดล Phi-1.5 ซึ่งมีพารามิเตอร์ 1,3 พันล้านรายการและแสดงประสิทธิภาพที่เทียบได้กับรุ่นที่มีพารามิเตอร์มากกว่า XNUMX เท่า
Phi-2 เป็นโมเดลพารามิเตอร์ 2,7 พันล้านตัวที่แสดงให้เห็นถึงความสามารถในการให้เหตุผลและความเข้าใจภาษาที่โดดเด่น โดยดำเนินการในระดับโมเดลพื้นฐานที่ดีที่สุดด้วยพารามิเตอร์ 13 พันล้านตัว Phi-2 โดดเด่นจากรุ่นอื่นๆ เนื่องจากมีนวัตกรรมในการปรับขนาดโมเดลและการฝึกอบรมการดูแลจัดการข้อมูล
มีอยู่ในแค็ตตาล็อกโมเดล Azure AI Studio ซึ่งอำนวยความสะดวกในการวิจัยและพัฒนาในด้านโมเดลภาษา Phi-2 เปิดตัวในเดือนธันวาคม พ.ศ. 2023 นักพัฒนารับรองว่ามันทำงานได้ดีเหมือนกับ Mistral หรือ llama 2 จาก Meta และ Phi-3 ทำงานได้ดียิ่งขึ้นกว่าเวอร์ชันก่อนหน้า
อย่างไรก็ตาม รุ่น Phi-3 ที่เพิ่งประกาศนั้นมีคุณภาพใหม่ทั้งหมด อย่างน้อยนั่นคือสิ่งที่คุณสามารถตัดสินได้จากข้อมูลที่ให้ไว้ Microsoft- จากข้อมูลของบริษัท ตามตัวชี้วัดของเกณฑ์มาตรฐานที่ทราบทั้งหมด Phi-3 ทำงานได้ดีกว่ารุ่นอื่นๆ ที่มีขนาดใกล้เคียงกัน รวมถึงการวิเคราะห์ภาษา งานเขียนโปรแกรม หรืองานทางคณิตศาสตร์
Phi-3-mini ซึ่งเป็นรุ่นที่เล็กที่สุดของรุ่นนี้เพิ่งเปิดให้ผู้สนใจทุกคนใช้งานได้ นั่นคือมีให้บริการตั้งแต่วันที่ 23 เมษายน Phi-3-mini มีพารามิเตอร์ 3,8 พันล้านตัวและตามการวัด Microsoftมีประสิทธิภาพมากกว่ารุ่นอื่นๆ ในขนาดเดียวกันถึงสองเท่า สามารถพบได้ในแคตตาล็อกโมเดล AI ของบริการคลาวด์ Microsoft Azure ซึ่งเป็นแพลตฟอร์มโมเดลการเรียนรู้ของเครื่อง Hugging Face และ Ollama ซึ่งเป็นเฟรมเวิร์กสำหรับการรันโมเดลบนคอมพิวเตอร์เฉพาะที่
ตามที่เขาอ้างว่า Microsoft, Phi-3-mini ไม่ต้องการชิปอันทรงพลัง Nvidia- โมเดลนี้สามารถทำงานกับชิปคอมพิวเตอร์ธรรมดาได้ หรือแม้กระทั่งบนโทรศัพท์ที่ไม่ได้เชื่อมต่ออินเทอร์เน็ต
พลังงานที่น้อยลงยังหมายความว่าแบบจำลองจะไม่แม่นยำเช่นกัน Phi-3 จะไม่เหมาะสำหรับแพทย์หรือนักบัญชีภาษี แต่จะช่วยในงานที่ง่ายกว่า ตัวอย่างเช่น สำหรับการกำหนดเป้าหมายการโฆษณาหรือการสรุปบทวิจารณ์บนอินเทอร์เน็ต
เนื่องจากรุ่นเล็กต้องการการประมวลผลน้อยกว่า จึงจะถูกกว่าสำหรับบริษัทเอกชนที่จะใช้ นั่นก็คือใน Microsoft จะมีลูกค้าที่ต้องการนำ AI มาใช้งานมากขึ้นแต่ถือว่ามีราคาแพงเกินไป อย่างไรก็ตามยังไม่ชัดเจนว่าจะมีค่าใช้จ่ายเท่าไร
ยังไม่ทราบว่ารุ่นเล็กและขนาดกลางจะมาเมื่อใด แต่อย่างหลังจะมีพลังมากกว่าและมีราคาแพงกว่า แม้ว่าจะทราบกันดีอยู่แล้วว่า Phi-3-small จะมีพารามิเตอร์ 7 พันล้านพารามิเตอร์ และ Phi-3-medium จะมีพารามิเตอร์มากถึง 14 พันล้านพารามิเตอร์
อ่าน:
วิธีการใช้งาน Phi-3-mini?
GPT-4 Turbo ต้องใช้ชิป AI อันทรงพลังซึ่งยังคงมีราคาแพงมาก โมเดลคำพูดขนาดเล็กของ Phi-3 สามารถทำงานแบบออฟไลน์ได้โดยไม่ต้องใช้ระบบคลาวด์ แม้จะใช้งานชิปบนโทรศัพท์มือถือก็ตาม
Phi-3 ไม่ใช่ผลิตภัณฑ์สำหรับผู้ใช้ปลายทาง แต่เป็นเทคโนโลยีที่นักพัฒนาซอฟต์แวร์จะสามารถใช้และนำไปใช้ในแอปพลิเคชันของตนได้ ทั้งบนคลาวด์ ซึ่งก็คือ อยู่ในระยะไกล และที่ทำงานในพื้นที่และออฟไลน์ คาดว่าจะทำงานได้อย่างราบรื่นกับอุปกรณ์และส่วนประกอบต่างๆ เช่น โทรศัพท์มือถือ รถยนต์ และระบบสาระบันเทิง หรือแม้แต่เซ็นเซอร์ IoT ในบางสถานการณ์ เทคโนโลยีนี้อาจประเมินค่าไม่ได้
Microsoft ยังยกตัวอย่างที่เป็นรูปธรรมเพื่อที่เราจะได้ไม่ต้องเครียดกับจินตนาการ ลองนึกภาพเกษตรกรคนหนึ่งตรวจดูพืชผลของตนและเห็นสัญญาณของโรคบนใบ ลำต้น และกิ่ง เนื่องจากอยู่ห่างจากเสาโทรคมนาคมเพียงหยิบโทรศัพท์ออกมาถ่ายภาพความเสียหายใส่ในแอปพลิเคชันที่ใช้เทคโนโลยี Phi-3 - แล้วโมเดลจะวิเคราะห์ภาพถ่ายและให้คำแนะนำอย่างรวดเร็วและออฟไลน์ จะต่อสู้กับโรคนี้ได้อย่างไร
ตามที่เขาอธิบาย Microsoftกุญแจสู่ความสำเร็จของ GPT คือการดึงข้อมูลจำนวนมหาศาลมาฝึกอบรม ด้วยชุดข้อมูลขนาดใหญ่เช่นนี้ คุณภาพข้อมูลที่สูงจึงไม่เป็นปัญหา ในขณะเดียวกัน เมื่อฝึกโมเดล Phi ก็ใช้แนวทาง OpenAI ที่ตรงกันข้ามทุกประการ แทนที่จะยัดเยียดข้อมูลให้กับโมเดล กลับมุ่งเน้นไปที่การเรียนรู้แบบค่อยเป็นค่อยไปและทั่วถึง
แทนที่จะใช้ข้อมูลดิบทางอินเทอร์เน็ตนักวิจัย Microsoft สร้างชุดข้อมูล TinyStories เพื่อสร้างเรื่องราว "เด็กน้อย" ขนาดจิ๋วหลายล้านเรื่อง เรื่องราวเหล่านี้ใช้เพื่อฝึกโมเดลภาษาที่มีขนาดเล็กมาก จากนั้นนักวิจัยได้ดำเนินการเพิ่มเติมโดยการสร้างชุดข้อมูล CodeTextbook ซึ่งใช้ข้อมูลที่คัดสรรมาอย่างดีและเปิดเผยต่อสาธารณะ ซึ่งถูกกรองตามคุณค่าทางการศึกษาและคุณภาพเนื้อหา จากนั้นข้อมูลนี้จะถูกกรองหลายครั้งและป้อนกลับเข้าไปในโมเดลภาษาขนาดใหญ่ (LLM) เพื่อการสังเคราะห์เพิ่มเติม
ทั้งหมดนี้ทำให้สามารถสร้างอาร์เรย์ข้อมูลที่เพียงพอสำหรับฝึกฝน SLM ที่มีความสามารถมากขึ้นได้ นอกจากนี้ ยังได้ใช้แนวทางหลายระดับในการจัดการความเสี่ยงและการบรรเทาผลกระทบในการพัฒนาแบบจำลอง Phi-3 รวมถึงการประเมิน การทดสอบ และการปรับเปลี่ยนด้วยตนเอง ผลตามที่เขาอ้าง Microsoftนักพัฒนาที่ใช้ตระกูลโมเดล Phi-3 สามารถใช้ประโยชน์จากชุดเครื่องมือที่มีอยู่ใน Azure AI เพื่อสร้างแอปพลิเคชันที่ปลอดภัยและเชื่อถือได้มากขึ้น
อ่าน: เทเลพอร์ตจากมุมมองทางวิทยาศาสตร์และอนาคต
Microsoft Phi จะมาแทนที่รุ่นประเภท ChatGPT หรือไม่
ไม่เลย. โมเดลภาษาขนาดเล็ก (SLM) แม้ว่าจะได้รับการฝึกอบรมเกี่ยวกับข้อมูลคุณภาพสูง แต่ก็มีข้อจำกัดและไม่ได้ออกแบบมาเพื่อการเรียนรู้เชิงลึก โมเดลภาษาขนาดใหญ่ (LLM) มีประสิทธิภาพเหนือกว่า SLM ในด้านการใช้เหตุผลที่ซับซ้อนเนื่องจากขนาดและพลังในการคำนวณ LLM นั้นและจะยังคงมีประโยชน์อย่างยิ่งในสาขาต่างๆ เช่น การค้นคว้ายา ซึ่งเราต้องค้นหาเอกสารทางวิทยาศาสตร์จำนวนมหาศาลและวิเคราะห์รูปแบบที่ซับซ้อน ในทางกลับกัน SLM สามารถใช้สำหรับงานที่ง่ายกว่า เช่น การสรุปประเด็นหลักของเอกสารข้อความขนาดยาว การสร้างเนื้อหา หรือการขับเคลื่อนแชทบอทบริการลูกค้า
Microsoftเธอกล่าวว่าใช้ชุดโมเดลไฮบริดเป็นการภายในอยู่แล้ว โดยที่ LLM เป็นผู้นำ โดยส่งคำสั่งบางอย่างที่ต้องใช้พลังในการประมวลผลน้อยกว่าไปยัง SLM ในขณะที่จัดการคำสั่งอื่นๆ ที่ซับซ้อนกว่าด้วยตัวมันเอง Phi อยู่ในตำแหน่งสำหรับการประมวลผลบนอุปกรณ์โดยไม่ต้องใช้ระบบคลาวด์ อย่างไรก็ตาม จะยังคงมีช่องว่างระหว่างโมเดลภาษาขนาดเล็กและระดับสติปัญญาที่สามารถรับได้ด้วยโมเดลขนาดใหญ่ในระบบคลาวด์ ต้องขอบคุณการพัฒนาอย่างต่อเนื่องของ LLM ช่องว่างนี้ไม่น่าจะหายไปในเร็ว ๆ นี้
Phi-3 ยังไม่ได้รับการตรวจสอบโดยหน่วยงานอิสระภายนอก Microsoft บางครั้งพูดถึงประสิทธิภาพหรือประสิทธิภาพการใช้พลังงานที่สูงขึ้นประมาณ 25 เท่าในกรณีที่รุนแรง เมื่อเทียบกับคู่แข่ง ซึ่งฟังดูยอดเยี่ยมทีเดียว แม้ว่าในทางกลับกันไม่มีใครลืมได้ว่าหลายปีผ่านไปแล้ว Microsoft ทำให้เราลังเลเล็กน้อยจากการที่บริษัทเป็นผู้นำด้านนวัตกรรมไอทีที่ชัดเจน และนั่นอาจเป็นเหตุผลว่าทำไมเราถึงไม่เชื่อมันจริงๆ โปรแกรมที่ใช้ AI ที่ตอบสนองทันทีและทำงานแบบออฟไลน์แทนที่จะสร้าง? นี่จะเป็นจุดสุดยอดที่คุ้มค่าของการปฏิวัติในปัจจุบัน น่าเสียดายที่มีปัญหาสำคัญประการหนึ่ง
อ่าน: ทุกอย่างเกี่ยวกับชิป Neuralink Telepathy: คืออะไรและทำงานอย่างไร
พี-3 จาก Microsoft เข้าใจภาษาอังกฤษเท่านั้น
Phi-3 ไม่ได้กลืนกินเพตะไบต์ที่ถูกโยนใส่มันไปทั้งหมด การฝึกอบรมโมเดลอย่างรอบคอบและรอบคอบเกี่ยวข้องกับปัญหาเล็กๆ น้อยๆ ประการหนึ่ง Phi-3 ได้รับการฝึกอบรมเกี่ยวกับข้อมูลเป็นภาษาอังกฤษและยังไม่มีความรู้ภาษาอื่นใด ไม่เพียงแต่ภาษายูเครนเท่านั้น แต่ยังรวมถึงภาษาเยอรมัน สเปน ฝรั่งเศส หรือจีนด้วย แน่นอนว่าสิ่งนี้ช่วยลดความน่าดึงดูดใจของผู้ใช้ส่วนใหญ่ทั่วโลกได้อย่างมาก
แต่ใน Microsoft มั่นใจได้ว่างานด้านการพัฒนาและปรับปรุงอยู่ระหว่างดำเนินการ แม้ว่าคุณจะไม่ควรหลอกลวงตัวเองด้วยความจริงที่ว่าตลาดยูเครนเป็นสิ่งสำคัญอันดับแรกสำหรับบริษัทขนาดใหญ่ใดๆ ดังนั้นเราจึงต้องรอเป็นเวลานานมากในการรองรับภาษายูเครน แต่ความจริงข้อนี้ไม่เคยหยุดผู้ที่ชื่นชอบและผู้ที่ต้องการติดตามความก้าวหน้า
อ่าน: