เครื่องกำเนิดภาพ AI ได้รับการสอนให้สร้างเพลง

เพลงที่สร้างจากปัญญาประดิษฐ์ (AI) ได้กลายเป็นจริงแล้ว ตอนนี้เครื่องมือ AI สามารถสร้างเพลงโดยไม่มีอะไรนอกจากข้อความแจ้ง และผลลัพธ์เกินความคาดหมายทั้งหมด

อย่างไรก็ตาม นี่ไม่ได้หมายความว่าเครื่องมือ AI จะสามารถสร้างเพลงได้โดยตรง เพลงจะผ่านเครื่องสร้างภาพ AI ที่สร้างสเปกตรัมของเพลงแทน จากนั้นคุณสามารถแปลงสเปกตรัมเหล่านี้เป็นคลิปเสียงได้ นี่หมายความว่าเพลงที่สร้างโดย AI จะเข้ามาแทนที่เพลงที่มนุษย์สร้างขึ้นในอนาคตหรือไม่?

AI ที่ใช้รูปภาพจะสอนอัลกอริทึมของคอมพิวเตอร์เพื่อจดจำรูปภาพของสถานที่และวัตถุต่างๆ หลังจากนั้นจะใช้อัลกอริทึมเพื่อสร้างภาพที่เหมือนกันแต่มีเอกลักษณ์ DALL-E และการแพร่กระจายที่เสถียรเป็นตัวอย่างที่ดี สำหรับตอนนี้ คุณสามารถทำให้โปรแกรมเหล่านี้เรนเดอร์อะไรก็ได้ที่คุณต้องการ ผ่านข้อความ!

ดังนั้นเครื่องมือ AI ที่สามารถสร้างสเปกตรัมได้จึงเรียกว่า Riffusion นี่คือโปรเจ็กต์ AI ล่าสุด และโดยพื้นฐานแล้ว มันคือตัวสร้างรูปภาพจากข้อความโดยอิงจากการแพร่กระจายที่เสถียร (Stable Diffusion) แต่เขาสามารถสร้างดนตรีได้อย่างไร?

ผู้อยู่เบื้องหลัง Riffusion คือนักวิทยาการหุ่นยนต์ Heik Martiros และนักพัฒนาซอฟต์แวร์ Seth Forsgren พวกเขาต้องการทดสอบว่าโปรแกรม AI สมัยใหม่สามารถทำงานในด้านเสียงได้หรือไม่ เส้นทางการทำเพลงของ Riffusion จึงเริ่มต้นขึ้น Forsgren พูดถึงเทคโนโลยีในลักษณะนี้: “ฉันกับ Hake เล่นเป็นวงเล็กๆ ด้วยกัน และเราเริ่มโปรเจ็กต์เพียงเพราะเรารักดนตรี หลังจากเห็นผลลัพธ์อันน่าทึ่งของ Stable Diffusion สำหรับการสร้างภาพ เราถามตัวเองว่าการใช้แนวทางการแพร่กระจายเพื่อสร้างเสียงดนตรีจะเป็นอย่างไร

เพื่อหาคำตอบ ทีมงาน XNUMX คนได้ฝึกการแพร่กระจายแบบโอเพนซอร์สบนภาพสเปกตรัม พวกเขารวมกับข้อความ หลังจากนั้นโปรแกรมก็สามารถสร้างสเปกตรัมของเพลงตามเงื่อนงำบางอย่างได้

ในตอนแรก พวกเขาไม่รู้ว่าสถาปัตยกรรมแบบจำลอง Stable Diffusion สามารถสร้างภาพสเปกตรัมที่มีความแม่นยำเพียงพอที่จะแปลงเป็นเสียงได้หรือไม่ แต่กลับกลายเป็นว่ามันสามารถทำได้และอื่นๆ อีกมาก Martiros และ Forsgren เผยแพร่ผลลัพธ์ของพวกเขาบนเว็บไซต์อย่างเป็นทางการของ Riffusion ตอนแรกมันเป็นโครงการงานอดิเรก แต่ตอนนี้ผู้เยี่ยมชมสามารถเพิ่มคำแนะนำข้อความของพวกเขาเอง สิ่งนี้จะบังคับให้ Riffusion สร้างสเปกตรัม หลังจากนั้นผู้เข้าชมสามารถใช้เป็นคลิปเสียงและเล่นบนเว็บไซต์ได้

ผลลัพธ์ในขั้นตอนนี้อาจไม่มีคุณภาพสูงมากนัก แต่ก็ไม่เลวร้ายอย่างที่คิดแน่นอน

Riffusion อาจพยายามเล่นเพลงที่มี แร็พในสไตล์ของ Eminem และเคป็อป แต่ฟังก์ชั่นสร้างเนื้อเพลงไม่ค่อยดีเท่าไหร่ แทนที่จะเป็นข้อความ คุณจะได้ยินเสียงพูดพล่อยๆ ของมนุษย์ที่แสนไพเราะ แต่สิ่งที่น่าสนใจที่สุดคือคำพล่อยๆ นี้ยังคงเข้ากับโทนของเพลง

เทคโนโลยีนี้ยังไม่พร้อมที่จะแทนที่ดนตรีที่มนุษย์สร้างขึ้น แต่โครงการแสดงให้เราเห็นว่าอัลกอริทึมการประมวลผลภาพ AI ยังคงมีศักยภาพที่ดี ในไม่ช้าก็สามารถเป็นผู้ช่วยผู้เขียนเพลงได้ อาจจะได้แรงบันดาลใจในการเขียนเพลง

คุณสามารถช่วยยูเครนต่อสู้กับผู้รุกรานรัสเซีย วิธีที่ดีที่สุดคือบริจาคเงินให้กับกองทัพยูเครนผ่าน เซฟไลฟ์ หรือทางเพจอย่างเป็นทางการ NBU.