This commit is contained in:
2025-12-31 16:00:29 +00:00
commit 3688f93d5d
310 changed files with 93400 additions and 0 deletions

326
2025/03/08/llm2.html Normal file
View File

@@ -0,0 +1,326 @@
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8" />
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
<!-- Begin Jekyll SEO tag v2.8.0 -->
<title>近期LLM的部署与应用经历(2) | Mayx的博客</title>
<meta name="generator" content="Jekyll v3.9.5" />
<meta property="og:title" content="近期LLM的部署与应用经历(2)" />
<meta name="author" content="mayx" />
<meta property="og:locale" content="zh_CN" />
<meta name="description" content="最近AI发展好快啊" />
<meta property="og:description" content="最近AI发展好快啊" />
<meta property="og:site_name" content="Mayx的博客" />
<meta property="og:type" content="article" />
<meta property="article:published_time" content="2025-03-08T00:00:00+08:00" />
<meta name="twitter:card" content="summary" />
<meta property="twitter:title" content="近期LLM的部署与应用经历(2)" />
<meta name="google-site-verification" content="huTYdEesm8NaFymixMNqflyCp6Jfvd615j5Wq1i2PHc" />
<meta name="msvalidate.01" content="0ADFCE64B3557DC4DC5F2DC224C5FDDD" />
<meta name="yandex-verification" content="fc0e535abed800be" />
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"mayx"},"dateModified":"2025-03-08T00:00:00+08:00","datePublished":"2025-03-08T00:00:00+08:00","description":"最近AI发展好快啊","headline":"近期LLM的部署与应用经历(2)","mainEntityOfPage":{"@type":"WebPage","@id":"/2025/03/08/llm2.html"},"publisher":{"@type":"Organization","logo":{"@type":"ImageObject","url":"https://avatars0.githubusercontent.com/u/17966333"},"name":"mayx"},"url":"/2025/03/08/llm2.html"}</script>
<!-- End Jekyll SEO tag -->
<link rel="canonical" href="https://mabbs.github.io/2025/03/08/llm2.html" />
<link type="application/atom+xml" rel="alternate" href="/atom.xml" title="Mayx的博客" />
<link rel="alternate" type="application/rss+xml" title="Mayx的博客(RSS)" href="/rss.xml" />
<link rel="alternate" type="application/json" title="Mayx的博客(JSON Feed)" href="/feed.json" />
<link rel="stylesheet" href="/assets/css/style.css?v=1767196818" />
<!--[if !IE]> -->
<link rel="stylesheet" href="/Live2dHistoire/live2d/css/live2d.css" />
<!-- <![endif]-->
<link rel="search" type="application/opensearchdescription+xml" href="/opensearch.xml" title="Mayx的博客" />
<link rel="webmention" href="https://webmention.io/mabbs.github.io/webmention" />
<link rel="pingback" href="https://webmention.io/mabbs.github.io/xmlrpc" />
<link rel="preconnect" href="https://summary.mayx.eu.org" crossorigin="anonymous" />
<link rel="prefetch" href="https://www.blogsclub.org/badge/mabbs.github.io" as="image" />
<link rel="blogroll" type="text/xml" href="/blogroll.opml" />
<link rel="me" href="https://github.com/Mabbs" />
<script src="/assets/js/jquery.min.js"></script>
<!--[if lt IE 9]>
<script src="//cdnjs.cloudflare.com/ajax/libs/html5shiv/3.7.3/html5shiv.min.js"></script>
<script src="//cdnjs.cloudflare.com/ajax/libs/jquery-ajaxtransport-xdomainrequest/1.0.3/jquery.xdomainrequest.min.js"></script>
<script src="//cdnjs.cloudflare.com/ajax/libs/respond.js/1.4.2/respond.min.js"></script>
<![endif]-->
<script>
var lastUpdated = new Date("Thu, 01 Jan 2026 00:00:18 +0800");
var BlogAPI = "https://summary.mayx.eu.org";
</script>
<script src="/assets/js/main.js"></script>
<!--[if !IE]> -->
<!-- Global site tag (gtag.js) - Google Analytics -->
<script async="async" src="https://www.googletagmanager.com/gtag/js?id=UA-137710294-1"></script>
<script>
window.dataLayer = window.dataLayer || [];
function gtag(){dataLayer.push(arguments);}
gtag('js', new Date());
gtag('config', 'UA-137710294-1');
</script>
<script src="/assets/js/instant.page.js" type="module"></script>
<!-- <![endif]-->
</head>
<body>
<!--[if !IE]> --><noscript><marquee style="top: -15px; position: relative;"><small>发现当前浏览器没有启用JavaScript这不影响你的浏览但可能会有一些功能无法使用……</small></marquee></noscript><!-- <![endif]-->
<!--[if IE]><marquee style="top: -15px; position: relative;"><small>发现当前浏览器为Internet Explorer这不影响你的浏览但可能会有一些功能无法使用……</small></marquee><![endif]-->
<div class="wrapper">
<header class="h-card">
<h1><a class="u-url u-uid p-name" rel="me" href="/">Mayx的博客</a></h1>
<img src="https://avatars0.githubusercontent.com/u/17966333" fetchpriority="high" class="u-photo" alt="Logo" style="width: 90%; max-width: 300px; max-height: 300px;" />
<p class="p-note">Mayx's Home Page</p>
<form action="/search.html">
<input type="text" name="keyword" id="search-input-all" placeholder="Search blog posts.." />&#160;<input type="submit" value="搜索" />
</form>
<br />
<p class="view"><a class="u-url" href="/Mabbs/">About me</a></p>
<ul class="downloads">
<li style="width: 270px; border-right: none;"><a href="/MayxBlog.tgz">Download <strong>TGZ File</strong></a></li>
</ul>
</header>
<section class="h-entry">
<small><time class="date dt-published" datetime="2025-03-08T00:00:00+08:00">8 March 2025</time> - 字数统计2426 - 阅读大约需要8分钟 - Hits: <span id="/2025/03/08/llm2.html" class="visitors">Loading...</span></small>
<h1 class="p-name">近期LLM的部署与应用经历(2)</h1>
<p class="view">by <a class="p-author h-card" href="//github.com/Mabbs">mayx</a></p>
<div id="outdate" style="display:none;">
<hr /><p>
这是一篇创建于 <span id="outime"></span> 天前的文章,其中的信息可能已经有所发展或是发生改变。
</p>
</div>
<script>
daysold = Math.floor((new Date().getTime() - new Date("Sat, 08 Mar 2025 00:00:00 +0800").getTime()) / (24 * 60 * 60 * 1000));
if (daysold > 90) {
document.getElementById("outdate").style.display = "block";
document.getElementById("outime").innerHTML = daysold;
}
</script>
<hr />
<b>AI摘要</b>
<p id="ai-output">这篇文章讲述了近期阿里推出的QwQ模型的更新该模型以32b参数达到DeepSeek-R1 671b的水平且参数量更小成本更低。作者试用后发现QwQ在某些问题上的回答与DeepSeek-R1相似但解析文本和更宽泛问题的能力还有待提高且存在一些小问题如无闭合标签。QwQ模型的一个优势是支持Agent能力但相比DeepSeek-R1在技术含量和成熟度上还有差距。文章还提到了Mac Studio的发布它提供了更经济的选项来运行DeepSeek-R1但新产品的实际效果还需进一步验证。作者还分享了解除MaxKB限制的方法指出MaxKB在开源性上有不足。最后作者感慨AI发展迅速但同时也强调了AI研究和应用的高门槛。</p>
<hr />
<ul><li><a href="#起因">起因</a></li><li><a href="#关于阿里qwq模型的体验">关于阿里QwQ模型的体验</a></li><li><a href="#关于新出的mac-studio的看法">关于新出的Mac Studio的看法</a></li><li><a href="#关于如何查看maxkb的完整接口文档">关于如何查看MaxKB的完整接口文档</a></li><li><a href="#感想">感想</a></li></ul>
<hr />
<main class="post-content e-content" role="main"><p>最近AI发展好快啊<!--more--></p>
<h1 id="起因">
<a href="#起因"><svg class='octicon' viewBox='0 0 16 16' version='1.1' width='16' height='32' aria-hidden='true'><path fill-rule='evenodd' d='M7.775 3.275a.75.75 0 001.06 1.06l1.25-1.25a2 2 0 112.83 2.83l-2.5 2.5a2 2 0 01-2.83 0 .75.75 0 00-1.06 1.06 3.5 3.5 0 004.95 0l2.5-2.5a3.5 3.5 0 00-4.95-4.95l-1.25 1.25zm-4.69 9.64a2 2 0 010-2.83l2.5-2.5a2 2 0 012.83 0 .75.75 0 001.06-1.06 3.5 3.5 0 00-4.95 0l-2.5 2.5a3.5 3.5 0 004.95 4.95l1.25-1.25a.75.75 0 00-1.06-1.06l-1.25 1.25a2 2 0 01-2.83 0z'></path></svg></a> 起因
</h1>
<p>自从<a href="/2025/02/22/llm.html">上次</a>写完文章之后最近这段时间LLM圈又有了不少更新感觉很值得试试看。所以这次就来看看这些新东西有什么特别的地方吧。</p>
<h1 id="关于阿里qwq模型的体验">
<a href="#关于阿里qwq模型的体验"><svg class='octicon' viewBox='0 0 16 16' version='1.1' width='16' height='32' aria-hidden='true'><path fill-rule='evenodd' d='M7.775 3.275a.75.75 0 001.06 1.06l1.25-1.25a2 2 0 112.83 2.83l-2.5 2.5a2 2 0 01-2.83 0 .75.75 0 00-1.06 1.06 3.5 3.5 0 004.95 0l2.5-2.5a3.5 3.5 0 00-4.95-4.95l-1.25 1.25zm-4.69 9.64a2 2 0 010-2.83l2.5-2.5a2 2 0 012.83 0 .75.75 0 001.06-1.06 3.5 3.5 0 00-4.95 0l-2.5 2.5a3.5 3.5 0 004.95 4.95l1.25-1.25a.75.75 0 00-1.06-1.06l-1.25 1.25a2 2 0 01-2.83 0z'></path></svg></a> 关于阿里QwQ模型的体验
</h1>
<p>前两天阿里的推理模型QwQ模型更新到正式版了不过其实我也没试过他们的预览版效果怎么样……但按照他们的说法他们的32b参数的模型水平已经相当于DeepSeek-R1 671b的模型了。如果真是这样那就太好了毕竟那个671b参数的模型部署难度还是相当大的在当时想部署一个能用级别的还是挺烧钱的。但如果这个32b参数的模型能达到相同水平那就完全没有必要买那么贵的硬件了。像上次买的RTX4090 48GiB显存魔改版可以轻松跑QwQ 32b Q8量化的版本速度能达到23T/s就算想跑没有量化的fp16版也只需要再买一张RTX4090 48GiB就够了这个成本相比DeepSeek-R1低太多了。 </p><p>
所以刚发布的那天我下午就把模型下载下来试了试随便试了几个问题答得效果确实不错我对比了一下DeepSeek-R1试了试“世界上最长的单词中哪个字母最多”这个问题两边回答的格式几乎一样都说的是“硅肺病”的英文并且都进行了字母数量分析主要的结论都分析正确了但是第二多和第三多的字母数量两边说的都不完全正确。另外我还试了试DeepSeek-R1的14b和70b蒸馏版虽然回答正确了但是并没有分析具体字母的数量所以从这一点来看确实是和DeepSeek-R1的水平很相似。不过后来我又让其他人试了试文本分析之类的能力似乎没能达到他们的预期另外我还测了测比较宽泛的问题以及解析文本之类的问题结果很多问题没能正确回答……所以还是不能和DeepSeek-R1相比较不过相比DeepSeek-R1各个蒸馏版的水平还是强了不少的至少没有出现在回答结果中随机输出英文的情况但是偶尔会出现没有闭合标签“&lt;/think&gt;”的情况看起来应该不能用于生产环境……要想正经用还是得用完整版的DeepSeek-R1但毕竟成本问题还是很大啊……所以如果需要考虑成本问题的话用QwQ还是很不错的选择。 </p><p>
不过QwQ相比DeepSeek-R1还有一个优势那就是支持Agent能力原生支持调用用户提供的函数像它虽然解析文本的能力不怎么强但是它可以调用工具来处理而DeepSeek-R1要想支持就得写提示词但是毕竟没有专门训练过不一定能正确使用工具虽然我没试过😝</p><p>
另外说到Agent好像有个叫“Manus”的产品挺火但那个我实在没兴趣一点技术含量都没有还搞什么邀请码一看就是买的水军而且还被人不到一天时间实现了开源版<a href="https://github.com/mannaandpoem/OpenManus">OpenManus</a>,给人笑掉大牙了🤣。</p>
<h1 id="关于新出的mac-studio的看法">
<a href="#关于新出的mac-studio的看法"><svg class='octicon' viewBox='0 0 16 16' version='1.1' width='16' height='32' aria-hidden='true'><path fill-rule='evenodd' d='M7.775 3.275a.75.75 0 001.06 1.06l1.25-1.25a2 2 0 112.83 2.83l-2.5 2.5a2 2 0 01-2.83 0 .75.75 0 00-1.06 1.06 3.5 3.5 0 004.95 0l2.5-2.5a3.5 3.5 0 00-4.95-4.95l-1.25 1.25zm-4.69 9.64a2 2 0 010-2.83l2.5-2.5a2 2 0 012.83 0 .75.75 0 001.06-1.06 3.5 3.5 0 00-4.95 0l-2.5 2.5a3.5 3.5 0 004.95 4.95l1.25-1.25a.75.75 0 00-1.06-1.06l-1.25 1.25a2 2 0 01-2.83 0z'></path></svg></a> 关于新出的Mac Studio的看法
</h1>
<p>搭完整版的DeepSeek-R1即使是使用上次所说的<a href="https://github.com/kvcache-ai/ktransformers">KTransformers</a>框架也是相当费钱的最起码也得10万CNY左右。但最近几天苹果出了新的Mac Studio最高配的M3 Ultra可以选配512GiB的内存可以轻松跑DeepSeek-R1 671b Q4_K的版本然后价格最低仅需7.5万CNY。我之前还想着是出M4 Ultra呢……结果出了个M4 Max不过新的Mac Studio出的速度比我预期的快了好多我本来以为会在WWDC25的时候出呢……看来是想借DeepSeek-R1大卖一波当然从这个产品来说确实应该是会大卖的回头看看能不能搞一个来。不过现在才刚开售还没人拿到实物呢也没人实机跑一下所以先等等最早买到的人跑一波看看如果效果好的话也许能整一个呢……</p>
<h1 id="关于如何查看maxkb的完整接口文档">
<a href="#关于如何查看maxkb的完整接口文档"><svg class='octicon' viewBox='0 0 16 16' version='1.1' width='16' height='32' aria-hidden='true'><path fill-rule='evenodd' d='M7.775 3.275a.75.75 0 001.06 1.06l1.25-1.25a2 2 0 112.83 2.83l-2.5 2.5a2 2 0 01-2.83 0 .75.75 0 00-1.06 1.06 3.5 3.5 0 004.95 0l2.5-2.5a3.5 3.5 0 00-4.95-4.95l-1.25 1.25zm-4.69 9.64a2 2 0 010-2.83l2.5-2.5a2 2 0 012.83 0 .75.75 0 001.06-1.06 3.5 3.5 0 00-4.95 0l-2.5 2.5a3.5 3.5 0 004.95 4.95l1.25-1.25a.75.75 0 00-1.06-1.06l-1.25 1.25a2 2 0 01-2.83 0z'></path></svg></a> 关于如何查看MaxKB的完整接口文档
</h1>
<p>上一篇文章我说明了一下如何解除MaxKB用户、应用以及知识库的数量限制后来我发现它还限制了社区版查看完整API文档的能力😅这个限制给我看的那叫一个大开眼界它居然还给这个文档整了个硬编码的密码从来没见过这么搞开源的具体就是<a href="https://github.com/1Panel-dev/MaxKB/blob/f1a1c40724ceba108febb416aadb01ccb71c3add/apps/common/init/init_doc.py#L80">这一行</a>。虽然我不知道这里面提到的MD5对应的密码是多少但是既然是开源代码我把这句话删了不就行了……不过实际上不太行因为它使用了Django的国际化功能直接删掉会影响这个文件的行数程序会报错。不过可以仔细看一下关于“init_chat_doc”这一行在密码的判断后面加了个“or True”看来是MaxKB的开发者后来应老板要求放开“chat_doc”的限制但是又懒得改国际化那边的东西所以加的这个吧🤣那既然这样我直接给“init_app_doc”对应的那句话也加个“or True”不就行了加完之后打开“/doc/”路径就可以看到MaxKB的完整API文档了不需要自己手动再去抓包测试了。 </p><p>
至于其他的专业版功能我看了一下应该确实是需要用到XPACK包的不过其实关于修改页面风格的前端开源了后端在XPACK里要想用得自己实现接口开源的这部分最多只能到这里了估计是这些限制没法单独搞一个包所以他们就直接在开源代码上做限制😅看来他们老板也是没眼力啊。 </p><p>
其实与其余用MaxKB不如用<a href="https://github.com/langgenius/dify">Dify</a>至少它没有在代码里塞莫名其妙的东西来恶心人文档也相对更完备不过它目前还是相当的不成熟有很多BUG比如上传知识库显示支持Excel但是解析的时候会失败上传知识库如果通过改配置超过15M解析也会失败还有它的插件很多也是不能用比如目前阿里云的百炼会报错退回上个版本就不支持思维链的展示等等……总之不太适合生产使用。</p>
<h1 id="感想">
<a href="#感想"><svg class='octicon' viewBox='0 0 16 16' version='1.1' width='16' height='32' aria-hidden='true'><path fill-rule='evenodd' d='M7.775 3.275a.75.75 0 001.06 1.06l1.25-1.25a2 2 0 112.83 2.83l-2.5 2.5a2 2 0 01-2.83 0 .75.75 0 00-1.06 1.06 3.5 3.5 0 004.95 0l2.5-2.5a3.5 3.5 0 00-4.95-4.95l-1.25 1.25zm-4.69 9.64a2 2 0 010-2.83l2.5-2.5a2 2 0 012.83 0 .75.75 0 001.06-1.06 3.5 3.5 0 00-4.95 0l-2.5 2.5a3.5 3.5 0 004.95 4.95l1.25-1.25a.75.75 0 00-1.06-1.06l-1.25 1.25a2 2 0 01-2.83 0z'></path></svg></a> 感想
</h1>
<p>现在的AI发展确实是快啊才几天时间又有一堆有意思的发展应该说现在很多公司都在趁这个机会来发布自己的产品吧感觉现在也是一个能有很多机会的时刻不过AI对研究能力的要求也是相当高的想在这个时间蹭热度也得有相当厉害的能力……像阿里的水平也是相当强的可惜营销水平不太行😆。只是像我应该也只能看着大公司的百花齐放吧看看接下来的时间还会不会出现一些有意思的东西。</p></main>
<small style="display: block">tags: <a rel="category tag" class="p-category" href="/search.html?keyword=LLM"><em>LLM</em></a> - <a rel="category tag" class="p-category" href="/search.html?keyword=AI"><em>AI</em></a> - <a rel="category tag" class="p-category" href="/search.html?keyword=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD"><em>人工智能</em></a> <span style="float: right;"><a href="https://gitlab.com/mayx/mayx.gitlab.io/tree/master/_posts/2025-03-08-llm2.md">查看原始文件</a></span></small>
<h4 style="border-bottom: 1px solid #e5e5e5;margin: 2em 0 5px;">推荐文章</h4>
<p id="suggest-container">Loading...</p>
<script>
var suggest = $("#suggest-container");
$.get(BlogAPI + "/suggest?id=/2025/03/08/llm2.html&update=" + lastUpdated.valueOf(), function (data) {
if (data.length) {
getSearchJSON(function (search) {
suggest.empty();
var searchMap = {};
for (var i = 0; i < search.length; i++) {
searchMap[search[i].url] = search[i];
}
var tooltip = $('<div class="content-tooltip"></div>').appendTo('body').hide();
for (var j = 0; j < data.length; j++) {
var item = searchMap[data[j].id];
if (item) {
var link = $('<a href="' + item.url + '">' + item.title + '</a>');
var contentPreview = item.content.substring(0, 100);
if (item.content.length > 100) {
contentPreview += "……";
}
link.hover(
function(e) {
tooltip.text($(this).data('content'))
.css({
top: e.pageY + 10,
left: e.pageX + 10
})
.show();
},
function() {
tooltip.hide();
}
).mousemove(function(e) {
tooltip.css({
top: e.pageY + 10,
left: e.pageX + 10
});
}).data('content', contentPreview);
suggest.append(link);
suggest.append(' - ' + item.date + '<br />');
}
}
});
} else {
suggest.html("暂无推荐文章……");
}
});
</script>
<br />
<div class="pagination">
<span class="prev">
<a href="/2025/02/22/llm.html">
上一篇近期LLM的部署与应用经历
</a>
</span>
<br />
<span class="next">
<a href="/2025/03/22/hifi.html">
下一篇关于HiFi的尝试与探索
</a>
</span>
</div>
<!--[if !IE]> -->
<link rel="stylesheet" href="/assets/css/gitalk.css">
<script src="/assets/js/gitalk.min.js"></script>
<div id="gitalk-container"></div>
<script>
var gitalk = new Gitalk({
clientID: '36557aec4c3cb04f7ac6',
clientSecret: 'ac32993299751cb5a9ba81cf2b171cca65879cdb',
repo: 'mabbs.github.io',
owner: 'Mabbs',
admin: ['Mabbs'],
id: '/2025/03/08/llm2', // Ensure uniqueness and length less than 50
distractionFreeMode: false, // Facebook-like distraction free mode
proxy: "https://cors-anywhere.mayx.eu.org/?https://github.com/login/oauth/access_token"
})
gitalk.render('gitalk-container')
</script>
<!-- <![endif]-->
</section>
<!--[if !IE]> -->
<div id="landlord" style="left:5px;bottom:0px;">
<div class="message" style="opacity:0"></div>
<canvas id="live2d" width="500" height="560" class="live2d"></canvas>
<div class="live_talk_input_body">
<form id="live_talk_input_form">
<div class="live_talk_input_name_body" >
<input type="checkbox" id="load_this" />
<input type="hidden" id="post_id" value="/2025/03/08/llm2.html" />
<label for="load_this">
<span style="font-size: 11px; color: #fff;">&#160;想问这篇文章</span>
</label>
</div>
<div class="live_talk_input_text_body">
<input name="talk" type="text" class="live_talk_talk white_input" id="AIuserText" autocomplete="off" placeholder="要和我聊什么呀?" />
<button type="submit" class="live_talk_send_btn" id="talk_send">发送</button>
</div>
</form>
</div>
<input name="live_talk" id="live_talk" value="1" type="hidden" />
<div class="live_ico_box" style="display:none;">
<div class="live_ico_item type_info" id="showInfoBtn"></div>
<div class="live_ico_item type_talk" id="showTalkBtn"></div>
<div class="live_ico_item type_music" id="musicButton"></div>
<div class="live_ico_item type_youdu" id="youduButton"></div>
<div class="live_ico_item type_quit" id="hideButton"></div>
<input name="live_statu_val" id="live_statu_val" value="0" type="hidden" />
<audio src="" style="display:none;" id="live2d_bgm" data-bgm="0" preload="none"></audio>
<input id="duType" value="douqilai" type="hidden" />
</div>
</div>
<div id="open_live2d">召唤伊斯特瓦尔</div>
<!-- <![endif]-->
<footer>
<p>
<small>Made with ❤ by Mayx<br />Last updated at 2026-01-01 00:00:18<br /> 总字数614622 - 文章数178 - <a href="/atom.xml" >Atom</a> - <a href="/README.html" >About</a></small>
</p>
</footer>
</div>
<script src="/assets/js/scale.fix.js"></script>
<!--[if !IE]> -->
<script src="/assets/js/main_new.js"></script>
<script src="/Live2dHistoire/live2d/js/live2d.js"></script>
<script src="/Live2dHistoire/live2d/js/message.js"></script>
<!-- <![endif]-->
</body>
</html>