英伟达推出RTX聊天机器人 可在RTX30系和40系GPU上免费使用

英伟达推出了一款新的聊天机器人应用程序，名为“Chat with RTX”，它可以让用户在不联网的情况下，利用自己的RTX GPU来查询和生成文本。这款应用程序使用了 TensorRT-LLM 技术，可以在本地处理各种文件格式，甚至 YouTube 视频的转录。用户可以通过简单的查询，获得基于特定数据集的文本生成结果，例如摘要、关键词或段落。这款应用程序适用于所有具有至少 8 GB显存的GeForce RTX 30和40 GPU。

英伟达表示，这款应用程序是为了满足用户对隐私和效率的需求而开发的。使用Chat with RTX，用户不需要将自己的数据上传到云端，也不需要等待网络延迟或服务器响应。所有的计算都在用户的GPU上完成，速度快且准确。此外，TensorRT-LLM技术还可以根据用户的数据集自动调整模型参数，以提高生成质量和多样性。

英伟达还宣布，将于本月晚些时候发布TensorRT-LLM v0.6.0版本，该版本将性能提升5 倍，并支持更多的LLM模型，如Mistral 7B和Nemotron 3 8B。这些模型可以处理更大的词汇表和更长的序列，从而提供更丰富和更深入的文本生成结果。

据铋读网了解，Chat with RTX是一款创新和实用的聊天机器人应用程序，它可以让用户充分利用自己的 RTX GPU 的强大功能。如果你想尝试这款应用程序，你可以从英伟达官网下载它，并开始与你的数据集对话。