整理 | 夕颜【导读】网上关于各种降维算法的资料参差不齐，但大部分不提供源代码。近日，有人在 GitHub 上整理了一些经典降维算法的 Demo(Python)集合，同时给出了参考资料的链接。PCA资料链接：https://blog.csdn.net/u013719780/article/details/78352262https://blog.csdn.net/u013719780/articl... 阅 读 全 部 >
实际工作中要处理的变量之间的关系往往是错综复杂的。处理这些多变量数据的最大挑战之一就是信息过度复杂，若数据集有100个变量，如何了解其中所有的交互关系呢?即使只有20个变量，当试图理解各个变量与其他变量的关系时，也需要考虑190对相互关系。主成分分析等方法是用来探索和简化多变量复杂关系的常用方法。在这里我们重点介绍两种简化多变量复杂关系，即降维的方法：主成分分析和t-SNE（t-Distri...... 阅 读 全 部 >
据降维是数据分析中最常用到的一种技术了，这篇小文将试图用大白话讲一讲数据降维到底是什么，有什么用，常用的方法分别是什么？希望写的让小学生也能听懂，下面先为各位奉上这篇小文的思维导图。这篇文章贯穿始终的一个故事场景是如何在一个小镇上将横纵的街道编号，例如科技三路和凤城五路的接口这样一个用俩个数字标注的位置信息，转化更一个只用一个数字标识的位置描述。在上述的例子中，原来的位置信息有俩个维度，...阅读... 阅 读 全 部 >
1.非编码RNA简介非编码RNA是一类被认为不具备编码能力RNA，目前已知的已经有十多种，主要包括了：小RNA(sRNA) <40nt、小干扰RNA、miRNA(18-24nt)、长非编码lncRNA(>200nt)、核糖体RNA、核小RNA、核仁小RNA等等。随着人们认知的逐渐深入，发现这些非编码RNA在转录调控上发挥着重要的作用，并且其他部分同样具有编码...阅读全文>>... 阅 读 全 部 >
本文主要介绍了16S的实验、建库、数据分析等过程，也是我自己近期的一个小总结，初学之时从很多前辈的无私分享中受益良多，在此也和大家分享一些我的见解，当然我也只是一个初学者，还有很多不完备之处，希望能与各位一起交流分享。导航本文一共分为三个部分：实验部分建库测序16S测序数据分析一. 实验部分：DNA提取与质检1...阅读全文>>... 阅 读 全 部 >
当你在做数据总结分析，或者科研调查分析，甚至季度年度总结汇报，需要查看数据的分布情况以及是否有异常情况来形成结论辅助进一步分析时，那么哪种图表能够清晰直观地展现出这一信息呢？答案只有一个，那就是...箱线图！什么是箱线图箱线图，又名为盒须图，盒式图，通常用于展示一组数据的分布情况，因为主题形状像一个箱子，所以得名箱线图。它主要用于反映原始数据分布的特征，还可以进行多组数据...阅读全文>&g... 阅 读 全 部 >
《R包学习》专栏·第3篇 文| R学习者2352字 | 6分钟阅读这是dplyr包系列第三篇文章。前两篇文章如下：前两篇文章是从 数据列的角度做选择和变换处理。这篇文章是从 数据行的角度，描写行选择的一系列操作与方法。数据的行，可以看作为 观察、样例、对象等。 数据的行选择，主要包括如下内容：1 基于比较运算的行选择2 基于字符匹配的行选择3 基于正则模式的行选择4 基于多条件的行选择5 跨越多列... 阅 读 全 部 >
我本来对实习僧网站是没什么好感的，因为之前自己在实习僧上投的实习简历几乎全部都石沉大海了（一个文科生偏要去投数据分析岗不碰壁才怪~_~）！然鹅看到最近知乎爬虫圈儿里的两大趋势：爬美图；爬招聘网站。后来大致观察了下，几乎各类大型招聘文章都被别人爬过了，自己再去写免不了模仿之嫌，而且大神们都是用Python去爬的（Python我刚学会装包和导数据），自己也学不来。现在只能选一个还没怎么被盯上的招聘网站... 阅 读 全 部 >
翻译｜谢旭审校｜张卫滨本文比较了用于数据准备的几种方法，它们分别是提取-变换-加载批处理（ETL）、流式获取和数据整理。本文还讨论了数据准备如何与可视化分析相关联，以及不同用户角色（如数据科学家或业务分析人员）应如何共同构建分析模型的最佳实践。要点在常见的机器学习/深度学习项目里，数据准备占去整个分析管道的60％到80％。市场上有...阅读全文>>... 阅 读 全 部 >
grep 'Overall alignment rate: ' *.log |sed 's/Overall alignment rate: //'|sed 's/.log://'可以重定向阅读全文>>... 阅 读 全 部 >