Jupyter notebook, 前身是 IPython notebook, 它是一个非常灵活的工具,有助于帮助你构建很多可读的分析,你可以在里面同时保留代码,图片,评论,公式和绘制的图像。
Jupyter具有非常强的可扩展性,支持很多编程语言,并且易于部署到你的个人电脑和几乎所有的服务器上 -- 你只需要使用ssh或http接入即可。最重要的是,它完全免费。
Jupyter默认设置使用 Python kernel,正因此以前叫做 IPython notebook. Jupyter notebook 源自于 Jupyter 项目, Jupyter这个名字是它被设计所支持三个核心编程语言的缩写词:JUlia,PYThon, 和 R, 启发自木星这个词:Jupiter.
接下来的内容将向你展示27个让 Jupyter 用的更加舒心的建议与技巧。
每一个进阶用户都知道,键盘快捷键将会为我们节省许多时间。Jupyter在顶部的菜单里保留了许多快捷键:Help > keyboard Shortcuts
. 每次更新Jupyter时,都值得再次进行查看,因为新的快捷键总是不断被添加进来。
另一个查看快捷键的方式是使用命令面板:Cmd + Shift + P
(或者Linux和Windows上 Ctrl + Shift + P
)。这个对话框将会帮助你通过名称运行任何命令 -- 这非常有用,尤其当你不知道一个命令的快捷键或者你想要执行的命令没有快捷键时。这个功能非常类似与Mac上的Spotlight搜索,一旦你开始使用这个功能,你就会发现没有它的日子该怎么办!
这里是一些我喜欢的快捷键:
Esc + F
查找和替换你的代码,但不包括代码的输出内容。
Esc + o
打开代码块输出。
选择多个 cell。 Shift + J
或 Shift + Down
向下选中下一个cell. 你可以通过 Shift + K
或 Shift + Up
向上选中 cell。(译者:jk,与vim的移动方式一致)
一旦 cell 被选中,接着你可以进行批量删除/复制/剪切/粘贴.当你需要移动一部分notebook时,这非常有用。
你也可以执行 Shift + M
(译者:m记为merge)对多个cell进行合并。
line1 = "this is from line 1"line2 = "this is from line 2"line1line2
'this is from line 2'
from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"
line1line2
'this is from line 1'
'this is from line 2'
如果你想要所有的Jupyter实例(Notebook和Console)都设置该选项,只需创建 ~/.ipython/profile_default/ipython_config.py
文件并写入一下内容:
c = get_config()# Run all nodes interactivelyc.InteractiveShell.ast_node_interactivity = "all"
sum()
在 notebook 中生成绘图有许多选项:
matplotlib, 使用%matplotlib inline
进行激活。
%matplotlib notebook
提供了一些交互性,不过可能会有点慢,因为渲染由服务器端完成。
mpld3为matplotlib代码提供了另一个渲染器(使用d3)。非常漂亮,不过尚不完备还有待发展。
bokeh是构建交互性绘图的一个更好的选择。
plot.ly也可以生成漂亮的绘图,不过是付费服务。
%lsmagic
Available line magics:%alias %alias_magic %autocall %automagic %autosave %bookmark %cat %cd %clear %colors %config %connect_info %cp %debug %dhist %dirs %doctest_mode %ed %edit %env %gui %hist %history %killbgscripts %ldir %less %lf %lk %ll %load %load_ext %loadpy %logoff %logon %logstart %logstate %logstop %ls %lsmagic %lx %macro %magic %man %matplotlib %mkdir %more %mv %notebook %page %pastebin %pdb %pdef %pdoc %pfile %pinfo %pinfo2 %popd %pprint %precision %profile %prun %psearch %psource %pushd %pwd %pycat %pylab %qtconsole %quickref %recall %rehashx %reload_ext %rep %rerun %reset %reset_selective %rm %rmdir %run %save %sc %set_env %store %sx %system %tb %time %timeit %unalias %unload_ext %who %who_ls %whos %xdel %xmodeAvailable cell magics:%%! %%HTML %%SVG %%bash %%capture %%debug %%file %%html %%javascript %%js %%latex %%perl %%prun %%pypy %%python %%python2 %%python3 %%ruby %%script %%sh %%svg %%sx %%system %%time %%timeit %%writefileAutomagic is ON, % prefix IS NOT needed for line magics.
推荐阅读the documentation for all Jupyter magic commands,你会发现这非常有用。下面是一些我所喜爱的魔法命令:
你可以管理notebook的环境变量而无需重启jupyter server. 一些库(比如theano)使用环境变量来控制行为,%env是最方便的一个途径。
# 单独运行 %env 会列出所有环境变量# 带参数的话则会设置该变量 比如 OMP_NUM_THREADS=4%env OMP_NUM_THREADS=4
env: OMP_NUM_THREADS=4
# this will execute and show the output from# all code cells of the specified notebook%run ./LinearRegression.ipynb
Coefficients: [ 938.23786125]Residual sum of squares: 2548.07Variance score: 0.47
%who
FormatCode Image InteractiveShell datasets diabetes diabetes_X diabetes_X_test diabetes_X_train diabetes_y_test diabetes_y_train display line1 line2 linear_model name names np numpy os plt regr time x
%%timeimport timefor _ in range(1000): time.sleep(0.01)# sleep for 0.01 seconds
CPU times: user 196 ms, sys: 21.4 ms, total: 217 msWall time: 11.6 s
%timeit
使用Python的timeit模块,它将会执行一个语句100,000次(默认情况下),然后给出运行最快3次的平均值。import numpy%timeit numpy.random.normal(size=100)
The slowest run took 46.45 times longer than the fastest. This could mean that an intermediate result is being cached.100000 loops, best of 3: 6.26 μs per loop
%prun print('hello')
hello
Jupyter有一个自己的python调试器接口(pdb
),这使得我们能够进入函数内部看看到底发生了什么。
你可以在这里查看pdb的命令列表
%matplotlib inlinefrom matplotlib import pyplot as pltimport numpyx = numpy.linspace(0, 1, 1000)**1.5
# Here you get the output of the functionplt.hist(x)
(array([ 216., 126., 106., 95., 87., 81., 77., 73., 71., 68.]), array([ 0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1. ]), )
# By adding a semicolon at the end, the output is suppressed.plt.hist(x);
!ls
JupyterNotebookTips.ipynb LinearRegression.ipynbJupyterNotebookTips.ipynb-meta LinearRegression.ipynb-meta
或是检查或管理包.
!pip list | grep pandas
pandas (0.18.1)
当你在 markdown cell 中书写LaTeX时,它会被 MathJax 渲染成一个公式。(译者:下文中介绍的Jupyter插件中有个插件关于LaTeX,提供了更多LaTeX功能)
$$ P(A \mid B) = \frac{P(B \mid A) \, P(A)}{P(B)} $$
会被渲染成为:
markdown 是 notebook 中十分重要的一部分,别忘了使用它来传达你的想法!
%%bashfor i in {1..5}do echo "$i"done
12345
Jupyter 其中的一个重要特色就是能够运行不同语言,你只需安装相关的 kernel 即可。比如,下面的例子是如何安装 R kernel.
如果你使用 anaconda 安装你的环境,这会相当简单。你只需要在 terminal 中运行下面的命令:
conda install -c r r-essentials
如果你不是使用 anaconda, 这个过程可能稍显复杂。如果你还没有安装的话, 你需要从 CRAN安装。(译者: 也可使用 brew cask install r-gui
)
安装 R 完毕后,打开 R console 并运行如下命令:
install.packages(c('repr', 'IRdisplay', 'crayon', 'pbdZMQ', 'devtools'))devtools::install_github('IRkernel/IRkernel')IRkernel::installspec() # to register the kernel in the current R installation
对于此最好的解决方案是安装 rpy2(需要安装一个可以工作的 R ), 通过 pip 可以很容易安装:
pip install rpy2
你可以同时使用这两种语言,甚至在它们之间传递变量:
一个很好的示例 Revolutions Blog
有时候 numpy 的速度仍旧不够快,我们需要自己写一些更快的代码。
原则上,你可以以动态链接库的方式编译函数,然后用 python 进行包装。
不过如果有人能够帮你完成这部分烦人的工作是不是非常棒呢?
你可以用 cython 或 fortran 写函数并直接从 Python 代码进行调用。
首先你需要安装:
pip install cython fortran-magic
个人来说我更喜欢使用 fortran, 我发现它对数值统计函数十分方便。更多用法上的细节可以在这里找到.
也有一些其他方式可以加速你的Python代码。更多示例可以在这里找到/
Jupyter-contrib extensions 是一系列能够给 Jupyter 带来许多功能的扩展,比如 jupyter spell-checker
和 code-formatter
.
译者:使用conda安装是最方便的,更多安装与使用信息可以看Jupyter-contrib extensions. 启用插件可以使用jupyter_nbextensions_configurator , 通过打开 http://localhost:8888/nbextensions/
进行设置,里面有很多实用的插件,具体自行发现。
conda install -c conda-forge jupyter_contrib_nbextensions
Damian Avila的 RISE 允许你从已有的一个 notebook 创建一个 powerpoint 风格的报告。
你可以通过 conda 安装 RISE:
conda install -c damianavila82 rise
或通过 pip:
pip install RISE
然后执行下面的代码安装并启用扩展:
jupyter-nbextension install rise --py --sys-prefixjupyter-nbextension enable rise --py --sys-prefix
import osfrom IPython.display import display, Imagenames = [f for f in os.listdir('../images/') if f.endswith('.png')]for name in names[:5]: display(Image('../images/' + name, width=100))
对于大规模数据样本的查询/处理也有一些解决方案:
ipyparallel(以前叫ipython cluster)是使用 Python 进行简单 map-reduce 操作的一个很好的选择。
spark-sql 魔法 %%sql
分享 notebook 最简单的方式是直接使用 notebook 文件(.ipynb).不过对于那些不使用 Jupyter 的人来说,你也可以这么做:
使用菜单项 File > Download as > HTML
将 notebook 转换成 HTML。
使用 gist 或 github 分享 notebook,它们都会对 notebook 进行渲染展示。
安装jupyterhub, 当你组织一个小型课程或研讨会没有心思关心学生的机器状况时,这是非常方便的。
将 notebook 保存到比如 dropbox 中,然后将链接放到nbviewer. nbviewer将会渲染你存储在任何地方的notebook.
使用 File > Download as > PDF
菜单将 notebook 保存为一个 PDF。如果你打算这么做,强烈推荐你阅读 Julius Schulz 非常棒的一篇文章Making publication ready Python notebooks.
使用 Pelican 搭建一个关于数据科学博客( 译者注:可在这里查看译文 )
联系客服