Meta Platforms ในงาน Meta Connect ประจำปีในแคลิฟอร์เนีย นำเสนอ คุณสมบัติ AI ใหม่หลายประการสำหรับแอปพลิเคชันยอดนิยม Facebook, Instagram และ WhatsApp แต่นวัตกรรมที่น่าประทับใจที่สุดจากยักษ์ใหญ่ด้านเทคโนโลยีอาจไม่มีใครสังเกตเห็น เรากำลังพูดถึงโมเดล Llama 2 Long AI
ทีมนักวิจัยจากบริษัท Meta ได้ตีพิมพ์บทความอย่างเงียบๆ ที่พวกเขานำเสนอโมเดลปัญญาประดิษฐ์ใหม่ Llama 2 Long ซึ่งสามารถสร้างคำตอบที่สอดคล้องกันและเกี่ยวข้องกับคำถามของผู้ใช้ที่มีความยาว พวกเขากล่าวว่าส่วนใหญ่มีประสิทธิภาพเหนือกว่าคู่แข่งที่ดีที่สุดในอุตสาหกรรม
Llama 2 Long เป็นส่วนขยาย ลามะ 2ซึ่งเป็นโมเดล AI แบบโอเพ่นซอร์ส Meta ที่เปิดตัวในช่วงฤดูร้อนซึ่งสามารถเรียนรู้จากแหล่งข้อมูลที่หลากหลาย และทำงานที่หลากหลาย เช่น การเขียนโค้ด คณิตศาสตร์ การทำความเข้าใจภาษา และอื่นๆ อย่างไรก็ตาม Llama 2 Long ได้รับการฝึกเกี่ยวกับข้อมูลที่มีข้อความยาวกว่า และอัลกอริทึมนี้ได้รับการแก้ไขให้จัดการลำดับข้อมูลที่ยาวขึ้น ซึ่งช่วยให้มีประสิทธิภาพเหนือกว่า GPT-3.5 Turbo และ Claude 2 ของ OpenAI ซึ่งมีข้อจำกัดเกี่ยวกับจำนวนบริบทที่พวกเขาสามารถใช้เพื่อสร้างการตอบสนอง
นักวิจัย Meta ใช้ Llama 2 เวอร์ชันต่างๆ - ตั้งแต่ 7 พันล้านถึง 70 พันล้านพารามิเตอร์ เช่น ค่าที่โมเดล AI สามารถเปลี่ยนแปลงได้โดยการเรียนรู้จากข้อมูล พวกเขาเพิ่มโทเค็นข้อมูลอีก 400 พันล้านโทเค็น (หน่วยข้อความ) ที่มีข้อความยาวกว่าชุดข้อมูลโมเดลดั้งเดิม พวกเขายังได้ปรับแต่งสถาปัตยกรรมของโมเดล AI เล็กน้อยโดยใช้เทคนิค Rotary Positional Embedding (RoPE) เพื่อให้โมเดลสามารถสร้างคำตอบที่แม่นยำและมีประโยชน์โดยใช้ข้อมูลและหน่วยความจำน้อยกว่าวิธีอื่นๆ
ทีมงานใช้การเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF) ซึ่งเป็นวิธีการที่โมเดล AI ได้รับรางวัลสำหรับคำตอบที่ถูกต้องและแก้ไขโดยผู้ประเมินที่เป็นมนุษย์และข้อมูลสังเคราะห์ถูกสร้างขึ้นโดยแชท Llama 2 เอง เพื่อปรับปรุงประสิทธิภาพในงานต่างๆ .
บทความดังกล่าวอ้างว่าโมเดลนี้สามารถสร้างการตอบกลับคุณภาพสูงต่อผู้ใช้ที่แจ้งได้ยาวถึง 200 อักขระ เทียบเท่ากับข้อความประมาณ 40 หน้า นักวิจัยกล่าวว่า Llama 2 Long เป็นอีกก้าวหนึ่งของการสร้างแบบจำลอง AI ทั่วไปและอเนกประสงค์ที่สามารถตอบสนองความต้องการที่ซับซ้อนและหลากหลายของผู้ใช้ พวกเขายังตระหนักถึงผลกระทบที่อาจเกิดขึ้นด้านจริยธรรมและสังคมของแบบจำลองดังกล่าว และเรียกร้องให้มีการวิจัยและหารือเพิ่มเติมเกี่ยวกับวิธีการใช้โมเดลดังกล่าวอย่างมีความรับผิดชอบและเป็นประโยชน์
อ่าน: