AI新工具(20240122)Whisper Speech-开源文本转语音系统;Stable LM 2 1.6B-1.6亿参数稳定语言模型;OpenRouter-开源路由器,连接各种AI模型

Whisper Speech-开源文本转语音系统

Whisper Speech是一个开源的文本到语音系统,使用了Whisper和EnCodec等开源模型来生成语义标记和执行语音建模。目前,WhisperSpeech的模型是在英文LibreLight数据集上训练的,但在未来的发布中,他们希望能够面向多种语言。WhisperSpeech采用了Collabora的资助进行代码开发和模型训练,LAION提供了社区建设和数据集支持。该系统的愿景是成为类似于稳定扩散(Stable Diffusion)的语音版本,即强大且易于定制。所有代码都是开源的,因此该模型在商业应用中始终是安全可用的。

Stable LM 2 1.6B-1.6亿参数稳定语言模型

Stable LM 2 - 1.6B是由StabilityAI发布的一个16亿参数规模的大语言模型。相比较常规的大语言模型,这个模型参数仅16亿,可以在移动端运行。但是它的性能效果与几个月前70亿参数规模差不多。该模型支持多国语言,包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。此外,Stable LM 2 - 1.6B在评分上超过了70亿参数的MosaicML的MPT-7B,在MT-Bench得分上也超过了Qwen-1.8B和Phi-2模型。该模型可以免费用于科研和个人目的,但如果要商用,需加入StabilityAI的会员计划,月费用为20美元。超过一定规模的商用需要与官方联系签合同。

OpenRouter-开源路由器,连接各种AI模型

OpenRouter 是一个可以替代官方API的接口网站,提供了OpenAI、Google和Anthropic等模型的付费调用。这些接口的价格与官方网站完全一致,非常良心。具体费用是按照美元计算的,但并没有加价。用户可以通过OpenRouterAI进行简单的使用,支持Streamlit和LangChain,并且接口一致。

honeybee-多模态语言模型预测网络

Honeybee是一种多模态LLM(大型语言模型)的局部增强投影仪,由Junbum Cha、Wooyoung Kang、Jonghwan Mun和Byungseok Roh开发。它使用PyTorch 2.0.1环境,并提供了推理代码、检查点、训练代码、模型动物园和与其他SoTA方法的比较。它还提供了严格复制官方结果的方法,以及推理和演示的示例代码。此外,Honeybee的预训练权重受CC-BY-NC 4.0许可协议保护。

更多AI工具,参考国内AiBard123,Github-AiBard123