Meta เผยแพร่รหัสในปัญญาประดิษฐ์แบบเปิดภายใต้ชื่อ อิมเมจไบนด์ซึ่งทำนายความสัมพันธ์ระหว่างข้อมูลที่คล้ายกับวิธีที่ผู้คนรับรู้หรือจินตนาการถึงสภาพแวดล้อมของพวกเขา ในขณะที่โปรแกรมสร้างภาพเช่น Midjourney, Stable Diffusion และ DALL-E 2 ผูกคำเข้ากับภาพ ช่วยให้คุณสร้างฉากภาพตามคำอธิบายที่เป็นข้อความเท่านั้น ImageBind ไปไกลกว่านั้น โดยสามารถเชื่อมโยงข้อความ รูปภาพหรือวิดีโอ เสียง การวัดแบบ 3 มิติ ข้อมูลอุณหภูมิ และข้อมูลการเคลื่อนไหว โดยไม่ต้องมีการฝึกอบรมล่วงหน้าในทุกโอกาส นี่เป็นช่วงเริ่มต้นของเฟรมเวิร์กที่จะสามารถสร้างสภาพแวดล้อมที่ซับซ้อนได้ในที่สุดจากอินพุตง่ายๆ เช่น ข้อความแจ้ง รูปภาพ หรือเสียง (หรือการรวมกันดังกล่าว)
คุณอาจคิดว่า ImageBind เป็นการประมาณการเรียนรู้ของเครื่องกับการเรียนรู้ของมนุษย์ ตัวอย่างเช่น หากคุณกำลังยืนอยู่ในสภาพแวดล้อมที่ไม่หยุดนิ่ง เช่น ถนนในเมืองที่พลุกพล่าน สมองของคุณ (โดยส่วนใหญ่ไม่รู้ตัว) จะดูดซับภาพ เสียง และประสาทสัมผัสอื่นๆ เพื่อรับข้อมูลเกี่ยวกับรถที่ผ่านไปมา ตึกสูง สภาพอากาศ และอื่นๆ . มนุษย์และสัตว์อื่นๆ มีการพัฒนาเพื่อประมวลผลข้อมูลนี้เพื่อประโยชน์ทางพันธุกรรมของเรา: การอยู่รอดและการส่งต่อ DNA ของเรา (ยิ่งคุณรู้เกี่ยวกับสิ่งรอบตัวมากเท่าไหร่ คุณก็ยิ่งสามารถหลีกเลี่ยงอันตรายและปรับตัวเข้ากับสภาพแวดล้อมของคุณได้มากขึ้นเท่านั้นเพื่อความอยู่รอดและเจริญเติบโตได้ดีขึ้น) เมื่อคอมพิวเตอร์เข้าใกล้การเลียนแบบการเชื่อมต่อหลายประสาทสัมผัสของสัตว์มากขึ้น พวกเขาสามารถใช้การเชื่อมต่อเหล่านั้นเพื่อสร้างฉากที่รับรู้ได้อย่างเต็มที่โดยอิงจากข้อมูลเพียงบางส่วนเท่านั้น
ดังนั้น ในขณะที่คุณอาจใช้ Midjourney เพื่อสร้าง “หมาล่าเนื้อในชุดแกนดัล์ฟที่ทรงตัวอยู่บนลูกบอลชายหาด” และได้รับภาพถ่ายที่ค่อนข้างสมจริงของฉากแปลกๆ นั้น เครื่องมือ AI หลายรูปแบบ เช่น ImageBind อาจลงเอยด้วยการสร้างวิดีโอกับสุนัขที่มีความเกี่ยวข้อง รวมถึงรายละเอียดของห้องนั่งเล่น อุณหภูมิห้อง และตำแหน่งที่แน่นอนของสุนัขและคนอื่นๆ ในที่เกิดเหตุ "สิ่งนี้สร้างโอกาสที่ยอดเยี่ยมในการสร้างภาพเคลื่อนไหวจากภาพนิ่งโดยการรวมเข้ากับเสียงเตือน" นักวิจัย Meta ระบุในบล็อกสำหรับนักพัฒนา "ตัวอย่างเช่น ผู้สร้างสามารถรวมภาพเข้ากับนาฬิกาปลุกและไก่ขัน และใช้สัญญาณเสียงเพื่อแยกไก่หรือเสียงนาฬิกาปลุกเพื่อแบ่งส่วนนาฬิกาและทำให้ทั้งคู่เคลื่อนไหวในลำดับวิดีโอ"
สำหรับสิ่งอื่นที่สามารถทำได้กับของเล่นใหม่นี้ มันชี้ให้เห็นอย่างชัดเจนถึงหนึ่งในความทะเยอทะยานหลักของ Meta นั่นคือ VR, ความเป็นจริงผสม และเมตาสเปซ ตัวอย่างเช่น ลองจินตนาการถึงชุดหูฟังแห่งอนาคตที่สามารถสร้างฉาก 3 มิติ (พร้อมเสียง การเคลื่อนไหว ฯลฯ) ได้ทันที หรือนักพัฒนาเกมเสมือนจริงสามารถใช้เพื่อช่วยตัวเองให้เป็นส่วนสำคัญของงานที่ต้องใช้ความอุตสาหะในกระบวนการออกแบบได้ในที่สุด ในทำนองเดียวกัน ผู้สร้างเนื้อหาสามารถสร้างวิดีโอที่สมจริงด้วยซาวด์แทร็กและการเคลื่อนไหวที่สมจริงโดยใช้เพียงข้อความ รูปภาพ หรือเสียง นอกจากนี้ยังเป็นเรื่องง่ายที่จะจินตนาการว่าเครื่องมืออย่าง ImageBind เปิดประตูใหม่ในการช่วยการเข้าถึงได้อย่างไรโดยสร้างคำอธิบายมัลติมีเดียแบบเรียลไทม์เพื่อช่วยให้ผู้ที่มีความบกพร่องทางการมองเห็นหรือการได้ยินเข้าใจสภาพแวดล้อมของพวกเขาได้ดีขึ้น
ยังน่าสนใจ: เครื่องมือที่ดีที่สุดบนพื้นฐานของปัญญาประดิษฐ์
“ในระบบ AI ทั่วไป มีการฝังเฉพาะ (เช่น เวกเตอร์ของตัวเลขที่สามารถแสดงถึงข้อมูลและความสัมพันธ์ของพวกมันในการเรียนรู้ของเครื่อง) สำหรับแต่ละรูปแบบที่เกี่ยวข้อง” Meta กล่าว “ImageBind แสดงให้เห็นว่าเป็นไปได้ที่จะสร้างพื้นที่ฝังร่วมกันสำหรับหลาย ๆ โมดูลโดยไม่ต้องฝึกอบรมข้อมูลด้วยชุดค่าผสมแต่ละรายการ สิ่งนี้มีความสำคัญเนื่องจากนักวิจัยไม่สามารถสร้างชุดข้อมูลด้วยตัวอย่างที่มีข้อมูลเสียงและข้อมูลความร้อนจากถนนในเมืองที่พลุกพล่าน หรือข้อมูลเชิงลึกและคำอธิบายที่เป็นข้อความของหน้าผาริมทะเล”
Meta เชื่อว่าในที่สุดเทคโนโลยีนี้จะก้าวไปไกลกว่า "ประสาทสัมผัส" ทั้งหกในปัจจุบัน "แม้ว่าเราจะตรวจสอบรูปแบบต่างๆ หกแบบในการศึกษาปัจจุบันของเรา แต่เราเชื่อว่าการแนะนำรูปแบบใหม่ๆ ที่เชื่อมต่อประสาทสัมผัสต่างๆ ให้ได้มากที่สุดเท่าที่จะเป็นไปได้ เช่น การสัมผัส การพูด การดมกลิ่น และสัญญาณสมอง fMRI จะช่วยให้ได้แบบจำลอง AI ที่มีมนุษย์เป็นศูนย์กลางที่สมบูรณ์ยิ่งขึ้น" นักพัฒนาที่สนใจสำรวจแซนด์บ็อกซ์ใหม่นี้สามารถเริ่มต้นด้วยการดำดิ่งสู่โอเพ่นซอร์สโค้ดของ Meta
อ่านเพิ่มเติม: