现阶段，AI应用有两个离不开，一是离不开网络，很多AI应用的计算过程都是在云端进行，离不开网络；二是离不开网络。 另一个则离不开强大的计算能力，比如生成式AI，往往依赖于规格较强的显卡。 这两者的不可分割性也意味着大家很难在移动设备上体验到AI带来的便利。 不过，英特尔表示，这些都可以在配备英特尔酷睿处理器和锐利显卡的个人电脑上得到支持，包括极其便携的轻薄笔记本。
那么，英特尔是如何做到的呢？ 我们先从开头提到的两个不可分割的部分开始说起。
依托云的代表就是大语言模型。 如何将大语言模型从云端搬到本地，Intel首先对模型进行了优化，降低了模型的硬件要求。 然后，通过13代酷睿的XPU加速、低位量化等优化，实现了160亿参数的大型语言模型。 然后通过BigDL-LLM框架，可以运行在内存容量16GB及以上的笔记本上。
从实际演示效果来看，即使是轻薄本，运行大型语言模型的效率还是非常不错的。 速度完全不会影响阅读，满足使用没有问题。 如此优异的性能在PC个人助理等方面有着非常好的应用前景。
代表依靠强大的计算能力就足够了。 英特尔的做法是除了依靠自己好的硬件之外，还与AI社区一起构建软件生态系统。 英特尔积极拥抱AI社区。 在后端解决方案的基础上，开源模型可以通过API运行在英特尔的处理器、显卡（集成和独立）和专用AI引擎上。
目前WebUI的操作已经通过这种方式实现。 它可以在配备Intel处理器和独立显卡的PC上运行FP16精度模型。 从现场演示的效果来看，生成一张图片需要2-3秒，效率相当可观。
这个功能对于从文本生成图片、从图片生成图片、修复图片等方面都非常实用。
通过生态建设和模型优化，加上自家英特尔酷睿处理器和Iris显卡的强大性能，英特尔实现了大语言模式和生成式AI在个人PC上的运行，实际效果超出预期，可用性非常好。 这也意味着，未来越来越多的AI场景可以在个人PC上实现，不仅可以在台式机上实现，还可以在轻薄笔记本等更加便携的设备上实现。 在AI的协助下，个人PC体验将迎来革命性的进步。
本文为原创文章。 若转载请注明出处：在轻薄笔记本上体验生成式AI和大语言模型。 英特尔给出的答案是肯定的
真正的中关村在线目前有两个离不开的AI应用。 一是离不开网络。 很多AI应用的计算过程都是在云端进行，无法脱离网络。 另一个是它离不开强大的计算能力，比如 AI往往依赖于规格较强的显卡。 这两者的不可分割性也意味着大家很难在移动设备上体验到AI带来的便利。 然而，英特尔表示，这些可以...