Cihaz İçi Yapay Zekâ Bulut Yapay Zekâsına Karşı: Telefonunuzun İşlem Gücü Açıklanıyor
Akıllı telefon asistanınıza bir soru sorduğunuzda, hesaplama nerede gerçekleşir?
Akıllı telefon asistanınıza bir soru sorduğunuzda, hesaplama nerede gerçekleşir? Telefonunuzda mı, yoksa uzaktaki veri merkezlerinde mi? Cihaz içi yapay zekâ ile bulut yapay zekâsı arasındaki pratik ayrım; gizliliğiniz, verilerinizin güvenliği, yapay zekânın yanıt hızı ve cihaz içi yapay zekânın yetenekleriyle bulut yapay zekâsının yapabilecekleri arasındaki farklar açısından önem taşır.
“Cihaz İçi Yapay Zekâ” Gerçekte Ne Anlama Geliyor
Uç yapay zekâ olarak da adlandırılan cihaz içi yapay zekâ, buluta bağımlı olmadan yapay zekâ özelliklerini çalıştırır ve verileri doğrudan mobil cihaz üzerinde işler. Yapay zekâ modellerinin karmaşık matematiksel işlemleri için Sinirsel İşlem Birimleri (NPU) adı verilen özel donanım çiplerinden yararlanır. NPU'yu modern akıllı telefonların, dizüstü bilgisayarların, akıllı saatlerin veya yapay zekâ çalıştırabilen herhangi bir cihazın içinde yer alan özel bir motor gibi düşünebilirsiniz.
Somut bir örnek: Akıllı telefonunuzun kamerasını gökyüzüne doğrultup “Bu hangi takımyıldız?” diye sorduğunuzda, cihaz içi yapay zekâ uzak sunuculara bir görüntü göndermeden yıldız desenlerini tanımak için telefonun NPU'sunu kullanır. Düşük gecikmeli bu yerel hesaplama, cihaz içi yapay zekânın güçlü yönlerinin anahtarıdır.
[lenovo][vertu][visualenews]
“Bulut Yapay Zekâsı” Gerçekte Ne Anlama Geliyor
Buna karşılık bulut yapay zekâsı, yapay zekâ modellerini buluttaki merkezi ve uzak sunucularda çalıştırır. İnternete bir fotoğraf yüklediğinizde ve Yapay Zekâ Otomatik Etiketleyici yüzleri ve konumları otomatik olarak tanımladığında, fotoğraf verisi cihazınızdan ayrılmış olur ve bir veri merkezindeki güçlü GPU'lar ya da TPU'lar tarafından işlenir. İşte bulut yapay zekâsı budur.
Bu yaklaşımın temel avantajları ölçek ve işlem gücüdür: Devasa bulut sunucuları çok büyük miktarda veriyi işleyebilir ve büyük modelleri çalıştırabilir. Dezavantajları ise verinin iletilmesi gerektiğinden ötürü daha fazla gecikme yaşanması ve ham verinin cihazınızdan çıkıp uzak bir ortama girmesiyle oluşan olası güvenlik riskleridir.
[coursera][ibm][milvus][aloitte][axcelerate]
Teknik Çizgi: Hesaplamanın Nerede Yapıldığı ve Bunun Neden Önemli Olduğu
Cihaz içi ve bulut yapay zekâsı arasındaki belirleyici çizgi, yapay zekâ modelinin çıkarımları için nerede çalıştığıdır: Yerel donanımda mı (NPU'lar) yoksa bulutta mı (GPU'lar/TPU'lar). En yalın haliyle cihaz içi yapay zekâ, veriyi üretildiği yerde işlemek demektir: Elinizde, giyilebilir cihazınızda, kameranızda. Bulut yapay zekâsı ise veriyi kayda değer bir işlem gücünün bulunduğu yerde işlemek demektir: Veriyi üreten cihazdan uzaktaki merkezi sunucu çiftliklerinde.
Hesaplamanın gerçekleştiği yerdeki bu değişim somut sonuçlar doğurur:
- Cihaz içi çıkarımlarda gecikme süresi genellikle daha düşüktür; zira bulut sunucularına gidip gelme sürelerini beklemez, bu da daha hızlı akıllı yanıtlar, gerçek zamanlı görüntü iyileştirme veya daha seri sesli asistan yanıtları sağlar.[countly][aloitte]
- Cihaz içi işleme, en azından bulut verisi veya geniş kapsamlı karşılaştırma gerektirmeyen iş akışları için ağ bağlantısı olmadan da devam edebilir. Buna karşılık ağa bağlı bulut yapay zekâsı, genel olarak güvenilir bir ağ erişiminin varlığını varsayar.[axcelerate]
- Cihaz içi yapay zekâ sürekli veri çekme, analiz ve geri bildirim yapabilirken; bulut yapay zekâsı genel olarak çok daha büyük hacimlerde işlem yapabilir, yüklenen kullanıcı verilerini analiz edebilir ve çok daha geniş bir külliyatla karşılaştırabilir. [coursera]
Pratikte çoğu yapay zekâ; gecikmeyi, ölçeklenebilirliği, gizliliği ve maliyeti dengeleyen dağıtık hizmetler sistemi gibi hareket ederek yerel ve uzaktan işlemenin bir kombinasyonunu içerir. Örneğin, telefonunuzdaki bir yapay zekâ özelliği, buluttaki nihai işlemeden önce yerel NPU'lar tarafından yapılan bir ön sınıflandırmaya dayanabilir. Cihaz içi ve bulut yapay zekâsı birbirini dışlayan seçenekler değil, her birinin katkı sağladığı ve kullanım amacına uygun tamamlayıcılardır.
[multiuse]
Gizlilik ve Yönetişim: Telefonunuzda Ne Kalıyor, Ondan Ne Çıkıyor
Cihaz içi yapay zekânın başlıca motivasyonlarından biri gizliliktir, ancak sınırlarını anlamak önemlidir. İstemleriniz ve yapay zekânın yanıtları cihazınızda kaldığında, bu etkileşimler üçüncü bir tarafça iletilemez, analiz edilemez veya saklanamaz. Fakat cihaz içi işleme her derde deva bir çözüm değildir.
Zayıf uç nokta güvenliği, kötü uygulama izin tasarımları veya denetlenemeyen işlemciler; cihaz içi yapay zekânın gizlilik avantajlarını baltalayabilir ve verilerin yetkisiz taraflara sızmasına yol açabilir. Yönetişim kaygıları olmadan yalnızca "cihaz içine" odaklanmak, anahtarları anlamadan kilitlere odaklanmaya benzer. Bilginin nasıl aktığına, kimlerin izni olduğuna ve bu akışların görünür ve kontrol edilebilir olup olmadığına bakmak şarttır.
[vertu][iamvera]
Maliyet, Ölçek ve Kullanım Senaryoları: Bulutun Hâlâ Mantıklı Olduğu Durumlar
Cihaz içi çıkarımın özellikle gecikme süresi ve dar tanımlı görevler için avantajları olsa da, bulut yapay zekâsının yerini tamamen alamaz. Bulut, aşağıdaki gibi uygulamalar için devasa veri hacimlerinin üstesinden gelmesini sağlayan muazzam hesaplama kaynaklarına sahiptir:
- Kayıp cüzdanları, evcil hayvanları veya kayıp kişileri bulmak için yüklenen belgeleri veya fotoğrafları taramak ve bunları milyonlarca veri noktası arasında bulup çıkarmak.
- Olası güvenlik tehditlerini belirlemek amacıyla yüzlerce kameranın görüntülerinden fotoğrafları gruplandırmak.
- Konuşma çevirisinden spor özet videolarına ve ürün taramaya kadar yaygın modellerle karşılaştırarak verileri yerelleştirmek veya bağlamsallaştırmak.
- Daha sonra cihaz içi kullanım için budanabilecek veya damıtılabilecek son derece güçlü modeller eğitmek.
Cihaz içi yapay zekâ olgunluk ve yetenek açısından gelişmeye devam etse bile, bu görevler için bulut yapay zekâsından yararlanmak bir gereklilik olmaya devam ediyor. En uygun mimari; gerçek zamanlı ve gecikmeye duyarlı görevler için cihaz içi yapay zekâyı, ölçek ve veri yoğun iş yükleri içinse bulut yapay zekâsını giderek daha fazla harmanlıyor. [aloitte]
“Cihaz İçi ve Bulut Yapay Zekâsı” İçin Kalıcı Bir Zihinsel Model Oluşturmak
Herhangi bir yapay zekâ özelliğini değerlendirirken kendinize şu üç soruyu sorun:
- Kullanıcının girdisi nerede işleniyor: Cihazda mı, bulutta mı, yoksa her ikisinde birden mi?
- Hesaplamayı hangi donanım yapıyor: Cihazın CPU/NPU'su mu, yoksa GPU'lara/TPU'lara sahip bir bulut sunucusu mu?
- Kullanıcının cihazından hangi veriler çıkıyor: Ham girdi veya bağlam mı iletiliyor, yoksa yalnızca filtrelenmiş sonuç mu?
Bu soruları yanıtlamak, herhangi bir yapay zekâ özelliğini cihaz içi/bulut yapay zekâsı yelpazesinde doğru konuma yerleştirecektir. Bu paradigma trendler veya abartılı iddialarla ilgili değil; yerel, anlık veri işleme ile merkezi, yüksek ölçekli ancak ağa bağımlı hesaplama arasındaki kalıcı ayrım ile ilgilidir. Cihaz içi ile bulut yapay zekâsı arasındaki sınırı anlamak, günümüzün ve geleceğin yapay zekâ ortamında yol almak için sağlam bir bakış açısı sunar.
[samsung][coursera][milvus][countly][lenovo][vertu][iamvera]
Kaynaklar
- Samsung Semiconductor, "On-device AI | Technologies"
- Coursera, "Edge AI vs. Cloud AI: What Is the Difference?"
- IBM, "Edge AI vs. Cloud AI"
- Lenovo, "What Is Neural Processing Units (NPU) for AI Computing"
- SparkNherd, "On-Device AI in Smartphones: What It Is, How It Works"
- VisualeNews, "On-Device AI Smartphones: Smarter Without the Cloud"
- Milvus, "How does edge AI differ from cloud AI?"
- AxcelerateAI, "Edge AI vs Cloud AI for Computer Vision"