统计软件

基于 R Markdown 的演示文稿和报告模板使用经验

李家郡 / 2019-06-19

英语演讲课曾说，幻灯片只是辅助工具，而内容才是演讲的核心和本质。报告和幻灯片，其本质都是服务于“展示知识”这个过程，两者有着相通之处。利用 R Markdown 可以特别方便地将一份课程报告转化为课程答辩幻灯片，也可以将幻灯片填充些内容后形成总结报告。这四年来，利用两者的转换关系，我节约了不少时间。作为排版困难者，我尝试着探索了一些只关注内容的幻灯片和报告的写法。随着四年统计学习，R 虽然已经快……

统计软件

gcForest算法原理及Python与R实现

徐静 / 2018-10-12

从目前来看深度学习大多建立在多层的神经网络基础上，即一些参数化的多层可微的非线性模块，这样就可以通过后向传播去训练，Zhi-Hua Zhou和Ji Feng在Deep Forest [1,2]论文中基于不可微的模块建立深度模块，这就是gcForest。传统的深度学习有一定的弊端： […] 但是有一点是我们相信的，在处理更复杂的学习问题时，算法的学习模块应该要变的更深（论文The……

统计软件

电子表格中的数据整理

任怡萌 / 2018-07-28

本文翻译自Karl W. Broman和Kara H. Woo发表的Data organization in spreadsheets。作者Karl W. Broman，工作于威斯康星大学麦迪逊分校，担任生物统计和医学信息学部教授；作者Kara H. Woo，担任华盛顿大学信息学院信息管理员。本文已获得原作者授权。 […] 电子表格有着普通的矩形外表，但是它的使用存在数十年的争议。一……

统计软件

深入对比数据科学工具箱: SparkR vs Sparklyr

朱俊辉 / 2018-05-11

[…] SparkR 和 Sparklyr 是两个基于Spark的R语言接口，通过简单的语法深度集成到R语言生态中。SparkR 由 Spark 社区维护，通过源码级别更新SparkR的最新功能，最初从2016年夏天的1.5版本开始支持，从使用上非常像Spark Native。Sparklyr 由 RStudio 社区维护，通过深度集成 RStudio 的方式，提供更易于扩展和使用的……

机器学习

为什么统计学家也应该学学 TensorFlow

邱怡轩 / 2017-08-22

（先啰嗦一句：本文的标题和内容牵涉到 TensorFlow，只是因为它是可用的工具之一，我相信很多其他的框架都可以做到文中我想要实现的功能。我自己并没有工具上的偏好，所以就当是拿 TensorFlow 举一个例子。）对于学统计做统计的人来说，这可能是最好的时代，也可能是最坏的时代。好的地方我就不多说了，基本上关键词包括“大数据”、“数据科学”等，搜索引擎可以帮你列举出许多激动人心的字眼。为什么会……

统计软件

数据通灵术之爬虫技巧

杜亚磊 / 2017-08-20

俗话说”巧妇难为无米之炊”。如果你是一个数据忍者，却因为没有数据而烦恼，这卷”数据通灵术”或许是你需要的。首先你要看透术名那华丽的外衣，它的真面目是：爬虫技巧。此卷通灵术包含了爬虫的基础入门术，动态加载破解术，登陆破解术，以及额外赠送的手机APP爬取篇。 […] 简单来说，爬虫就是从网上自动下载网页，经过解析处理得到你想到要的数据。 ……

统计计算

Julia 中的分布式计算

张驰原 / 2017-08-18

[…] Julia 是一门相对比较新的着眼于科学计算的语言，语法上看起来有点类似于 Matlab 的脚本语言，但是实际上从 Ruby、Python、Lisp 之类的语言里吸收了许多有趣的特性。在这篇文章中，我想介绍一下 Julia 的分布式计算机制，它方便的并行和分布式计算的能力，结合优质的数值计算能力，其实让它非常方便用于做分布式数据处理——比如 distributed……

职业事业

RStudio的前世今生——RStudio创始人专访

J.J. Allaire / Joseph B. Rickert / 2016-11-13

本文是一篇Joseph B. Rickert（简称JBR）对J.J. Allaire（RStudio的创始人和首席执行官）的采访稿，原文在此。统计之都与作者沟通后得到授权将其翻译为中文，希望可以让广大读者能够更多了解在R的世界中这个叫RStudio的地方。在这次采访中讨论了RStudio的历史、使命和J.J.的未来愿景。短暂的交谈中讨论了各种各样的主题，包括RStudio的业务、R语言的发展、R……

统计软件

Python的七种武器

肖凯 / 2016-10-06

君子生非异也，善假于物也。 “物”能够延展英雄的能力。它是吕布的赤兔马，杨过的玄铁重剑，CS中的沙漠之鹰，曹操传中的凤凰羽衣。“物”也可用以治愈英雄，例如张无忌的黑玉断续膏，李逍遥的天香续命露，还有深夜里TVB的一碗面。对于不同的位面，有着不同的宝物定义。对古时文人来讲，笔墨纸砚，是当时具有生产力输出的四大工具。对程序员来讲，当代的“文房四宝”不外乎是：笔记本，大屏幕，机械键盘，人体工学……

统计软件

中文文本处理简要介绍

李绳 / 2016-01-07

本文作者李绳，博客地址 http://acepor.github.io/。作者自述： […] 一位文科生曾励志成为语言学家出国后阴差阳错成了博士候选人三年后交完论文对学术彻底失望回国后误打误撞成了数据科学家 […] 作为一个处理自然语言数据的团队，我们在日常工作中要用到不同的工具来预处理中文文本，比如 Jieba 和 Stanford NLP software。出……

统计软件

lfda R包的使用方法以及算法的简要说明

唐源 / 2015-08-25

局部Fisher判别分析(Local Fisher Discriminant Analysis)是许多度量学习（Metric Learning）方法中效果最好的其中一种，它是一种线性监督降维方法，它可以自动找到合适的距离转换矩阵(transformation matrix)来抓住数据的不同类(class)的特征，通过加大不同类之间的距离(between-class distance)以及缩小同类里……

统计软件

极简 Spark 入门笔记——安装和第一个回归程序

邱怡轩 / 2015-04-22

现在的各种数据处理技术更新换代太快，新的名词和工具层出不穷，像是 Hadoop 和 Spark 这些，最近几年着实火了一把。事实上听说 Spark 也有一段时间了，但一直是只闻其名不见其实，今天就来简单记录一下初学 Spark 的若干点滴。 […] 按照 Spark 官方的说法，Spark 是一个快速的集群运算平台，以及一系列处理大型数据集的工具包。用通俗的话说，Spark 与 R ……