OpenAI Araçlarıyla Ses Kontrollü LED Ekran Geliştirildi
OpenAI Developers blogunda yayımlanan yazıya göre, bir geliştirici Raspberry Pi, Codex ve GPT-Live-1 modellerini kullanarak sesli komutlarla yönetilebilen bir LED ekran prototipi inşa etti. Proje sürecinde donanım bağlantılarından ses entegrasyonuna kadar pek çok aşamada yapay zekâ araçlarından destek alındı.
Codex Donanım Entegrasyonunda Nasıl Rol Oynadı?
Geliştirici, 128 x 64 boyutundaki HUB75 RGB LED panelin kontrolcüsü ve kablolama düzeni hakkında bilgi sahibi olmadığını, bu nedenle sürece Codex ile başladığını belirtti. Panelin fotoğraflarını Codex'e gönderen geliştirici, ESP32 tabanlı kontrolcünün bağlantı noktalarını ve veri alma mantığını bu sayede öğrendi.
Kontrolcünün WLED-MM yazılımıyla çalıştırılmasının ardından panelin doğru çözünürlükte yapılandırıldığı teyit edildi. Donanım araştırması ve sorun giderme adımları Codex tarafından yürütülürken, fiziksel bağlantılar geliştirici tarafından gerçekleştirildi.
Ses Asistanı ve Ekran Oluşturucu Raspberry Pi'ye Nasıl Taşındı?
İlk aşamada Mac bilgisayar üzerinde çalışan ses etkileşimi ve render süreçleri, bilgisayarın açık kalma zorunluluğunu ortadan kaldırmak amacıyla bir Raspberry Pi cihazına taşındı. Codex yardımıyla kodlar özel bir depoya aktarıldı ve cihaz üzerinde iki küçük servis çalıştırılmaya başlandı.
Ses servisi mikrofon, PipeWire ses işleme, WebRTC yankı iptali ve GPT-Live-1 bağlantısını yönetirken; render servisi animasyonlu ekranı, hava durumunu, metro varış saatlerini ve takvim verilerini işleyerek duvardaki panele aktarıyor.
Bilgisayara bağımlılığın ortadan kalkmasıyla birlikte proje, sıradan bir masaüstü demosundan çıkarak odada sürekli çalışabilen bağımsız bir sisteme dönüştü. Geliştirici, bu sayede eve döndüğünde bilgisayarı açmadan doğrudan sesli komutlarla duvardaki ekrandan bilgi isteyebildiğini ifade etti.
GPT-Live-1 ve GPT-5,6 Luna Projede Nasıl Birlikte Çalışıyor?
Sistemin işleyişinde, kullanıcıyla konuşan model ile ekrandaki görselleri oluşturan süreçler birbirinden ayrıştırıldı. GPT-Live-1 kesintisiz sohbet akışı sağlarken, ek bir araştırmaya veya duvar güncellemesine ihtiyaç duyulduğunda görev Raspberry Pi üzerinden GPT-5,6 Luna modeline aktarılıyor.
Luna modeli web araması yapabiliyor, takvim verilerini kontrol edebiliyor ve Wikimedia Commons üzerinden görsel arayabiliyor. Yerel render servisi ise bu verileri ve sahne açıklamalarını kontrol ederek 128 x 64 piksellik RGB çerçevelere dönüştürüyor ve DDP protokolüyle panele iletiyor.
Sesli Asistan ile Görsel Ekran Arasındaki İş Akışı Nasıl İşliyor?
Kullanıcı sesli komut verdiğinde, Raspberry Pi sesi 24 kHz PCM ses akışı olarak yakalayıp yerel ses işlemesinden geçiriyor ve GPT-Live-1'e iletiyor. Model, konuşmayı açık tutarak araya girmelere izin veriyor ve ek bir işlem gerekmediğinde yanıtı doğrudan sesli olarak veriyor.
Eğer istek araştırma, takvim bilgisi veya görsel güncellemesi gerektiriyorsa, GPT-Live-1 istemci tarafında bir yönlendirme oluşturarak görevi Responses API aracılığıyla GPT-5,6 Luna'ya devrediyor. Elde edilen veriler doğrultusunda oluşturulan sahneler ekrana yansıtılıyor.
İlgili haberler
Sektör Profesyonelleri İçin Çıkarımlar
- Donanım Bilgisi Olmadan Proje Geliştirme: Codex, HUB75 paneller ve ESP32 kontrolcüler hakkında ön bilgisi olmayan geliştiricilerin donanım entegrasyonunu tamamlamasına yardımcı oldu.
- Tam Çift Yönlü Ses Modeli Entegrasyonu: GPT-Live-1, kullanıcıların konuşma sırasında araya girmesine ve komutları eklemesine olanak tanıyan kesintisiz bir sesli etkileşim sundu.
- Raspberry Pi Tabanlı Çalışma: Ses ve render servislerinin bir Raspberry Pi cihazına taşınmasıyla, projenin bilgisayara bağımlı olmadan sürekli çalışması sağlandı.
- Otomatik Görsel ve Veri İşleme: GPT-5,6 Luna ve yerel render servisi, web aramaları ile Wikimedia Commons görselsiz aramalarını işleyerek pikselleri ekrana aktarıyor.
Sıkça Sorulan Sorular
Projede hangi donanım bileşenleri kullanıldı?
Projede Raspberry Pi, 128 x 64 boyutunda HUB75 RGB LED panel ve ESP32 tabanlı bir kontrolcü kullanıldı.
GPT-Live-1 sisteme nasıl katkı sağladı?
GPT-Live-1, kesintisiz sohbet akışı yürüterek kullanıcının konuşurken asistanın sözünü kesmesine ve isteklerini iletmesine imkân tanıdı.
Ekrandaki görseller nasıl oluşturuluyor?
GPT-5,6 Luna modeli gerekli verileri topladıktan sonra yerel render servisi bu bilgileri 128 x 64 piksellik RGB çerçevelere dönüştürüyor.
Proje ilk olarak nerede geliştirildi?
Proje ilk aşamada bir Mac bilgisayar üzerinde geliştirilmiş, daha sonra bağımsız çalışması için Raspberry Pi'ye taşınmıştır.
