xml version="1.0" encoding="utf-8" standalone="yes"12bet++博客-杰http://www.fometaux.com/guijie/杰哥好,哈哈!zh-cnSun, 25 Aug 2019 19:40:23 GMTSun, 25 Aug 2019 19:40:23 GMT6012bet++博客-杰http://www.fometaux.com/guijie/archive/2019/06/27/216463.html杰哥杰哥Wed, 26 Jun 2019 17:41:00 GMThttp://www.fometaux.com/guijie/archive/2019/06/27/216463.htmlhttp://www.fometaux.com/guijie/comments/216463.htmlhttp://www.fometaux.com/guijie/archive/2019/06/27/216463.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216463.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216463.html目前不少人对China Daily存在偏见:报纸上的文章都是中国人写的,因此不够地道。但这种偏见完全站不住脚,因为中国日报的记者都是资深英文写手,写作水平要远超绝大多数读者,而且文章发表前还有外籍专家润色审稿
Reference: https://zhuanlan.zhihu.com/p/49847636

杰哥 2019-06-27 01:41 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/06/20/216430.html杰哥杰哥Wed, 19 Jun 2019 17:44:00 GMThttp://www.fometaux.com/guijie/archive/2019/06/20/216430.htmlhttp://www.fometaux.com/guijie/comments/216430.htmlhttp://www.fometaux.com/guijie/archive/2019/06/20/216430.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216430.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216430.htmlhttps://www.mathworks.com/matlabcentral/fileexchange/20689-jensen-shannon-divergence

杰哥 2019-06-20 01:44 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/06/19/216424.html杰哥杰哥Tue, 18 Jun 2019 17:01:00 GMThttp://www.fometaux.com/guijie/archive/2019/06/19/216424.htmlhttp://www.fometaux.com/guijie/comments/216424.htmlhttp://www.fometaux.com/guijie/archive/2019/06/19/216424.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216424.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216424.html图像的频率:灰度值变化剧烈程度的指标,是灰度在平面空间上的梯度。

(1)什么是低频?
      低频就是颜色缓慢地变化,也就是灰度缓慢地变化,就代表着那是连续渐变的一块区域,这部分就是低频. 对于一幅图像来说,除去高频的就是低频了,也就是边缘以内的内容为低频,而边缘内的内容就是图像的大部分信息,即图像的大致概貌和轮廓,是图像的近似信息。

(2)什么是高频?

     反过来, 高频就是频率变化快.图像中什么时候灰度变化快?就是相邻区域之间灰度相差很大,这就是变化得快.图像中,一个影像与背景的边缘部位,通常会有明显的差别,也就是说变化那条边线那里,灰度变化很快,也即是变化频率高的部位.因此,图像边缘的灰度值变化快,就对应着频率高,即高频显示图像边缘。图像的细节处也是属于灰度值急剧变化的区域,正是因为灰度值的急剧变化,才会出现细节。
      另外噪声(即噪点)也是这样,在一个像素所在的位置,之所以是噪点,就是因为它与正常的点颜色不一样了,也就是说该像素点灰度值明显不一样了,,也就是灰度有快速地变化了,所以是高频部分,因此有噪声在高频这么一说。

      其实归根到底,是因为我们人眼识别物体就是这样的.假如你穿一个红衣服在红色背景布前拍照,你能很好地识别么?不能,因为衣服与背景融为一体了,没有变化,所以看不出来,除非有灯光从某解度照在人物身上,这样边缘处会出现高亮和阴影,这样我们就能看到一些轮廓线,这些线就是颜色(即灰度)很不一样的地方.
--------------------- 
作者:charlene_bo 
来源:CSDN 
原文:https://blog.csdn.net/charlene_bo/article/details/70877999 
版权声明:本文为博主原创文章,转载请附上博文链接!


杰哥 2019-06-19 01:01 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/06/19/216423.html杰哥杰哥Tue, 18 Jun 2019 16:01:00 GMThttp://www.fometaux.com/guijie/archive/2019/06/19/216423.htmlhttp://www.fometaux.com/guijie/comments/216423.htmlhttp://www.fometaux.com/guijie/archive/2019/06/19/216423.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216423.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216423.htmlhttps://www.zhihu.com/question/265609875

杰哥 2019-06-19 00:01 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/05/29/216382.html杰哥杰哥Wed, 29 May 2019 01:33:00 GMThttp://www.fometaux.com/guijie/archive/2019/05/29/216382.htmlhttp://www.fometaux.com/guijie/comments/216382.htmlhttp://www.fometaux.com/guijie/archive/2019/05/29/216382.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216382.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216382.htmlhttps://zhidao.baidu.com/question/98221541.html

 

我用的公式编辑器是MathType,进入公式编辑器后点菜单“编辑”,里面有命令“插入符号(S)”,进去将查看“字体”改为“Euclid Math One”,里面就有花写字母A,B,C,选择点击“嵌入”按钮就可以了。不清楚用“MicroSoft 公式 3.0”是不是一样。仅供参考。



杰哥 2019-05-29 09:33 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/05/17/216377.html杰哥杰哥Fri, 17 May 2019 14:59:00 GMThttp://www.fometaux.com/guijie/archive/2019/05/17/216377.htmlhttp://www.fometaux.com/guijie/comments/216377.htmlhttp://www.fometaux.com/guijie/archive/2019/05/17/216377.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216377.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216377.html2019年谷歌学者Top Publication榜单更新:CVPR上升到整个工程与计算机科学类第二名。人工智能领域NeurIPS, ICLR, ICML独占鳌头。自然语言处理榜单没有变化,还是ACL,EMNLP,NAACL。 ​​​​
Reference:
https://scholar.google.com/citations?view_op=top_venues&hl=en&vq=eng
Weibo of Weilian Wang on July 20, 2019. See my favourite on July 23, 2019. 

https://m.sohu.com/a/245182179_473283/?pvid=000115_3w_a
 

2018谷歌学术影响力排名出炉:CVPR进入前20,ResNet被引最多过万次!


来源:
scholar.google.com

作者:闻菲

【新智元导读】谷歌学术昨天发表了2018年最新的学术期刊和会议影响力排名,CVPRNIPS分别排名第20和第54。在排名第一的Nature里,过去5年被引用次数最高的论文,正是深度学习三大神HintonLeCunBengio写的《深度学习》一文,而CVPR里被引次数最高的,则是ResNet,引用次数超过了1万次。

昨天,谷歌学术(Google Scholar)公布了2018年最新的学术期刊/会议影响力排名,从综合领域看,毫不意外的,Nature第一、Science第三,但值得关注的是,计算机视觉顶会CVPR排名第20,另一个AI领域的顶会NIPS也排名第54名次较去年有了大幅提升。

就连排名第一的Nature里,过去5年被引用次数最高的论文,也是深度学习三大神”HintonLeCunBengio合著的《深度学习》一文。

不仅如此,在CVPR里,过去5年被引次数最多的论文,是当时还在微软亚洲研究院的孙剑、何恺明、张祥雨、任少卿写的的ResNet,被引次数已经过万。

2018 谷歌学术期刊和会议影响力排名:CVPR20NIPS54

首先来看综合领域结果。

大家比较关心的NatureScience分别位列第一和第三,医学著名期刊《新英格兰杂志》和《柳叶刀》分别位于第二和第四。一向被国内与NatureScience并列,有“CNS”之称的Cell,这次排名第6

接下来就是新智元的读者更为关注的与人工智能有关的期刊和会议了,这一次,计算机视觉顶会CVPR不负众望排名第20,由此计算机领域顶会也终于进入Top20的行列。

 

另一方面,AI领域另一个备受关注的会议NIPS,也在综合排名中位列第54,取得了不错的成绩。

与神经科学相关的 Nature Neuroscience 排名第44

 

至于第21名到第40名的期刊,实际上也有常有跟AI相关的论文发表,大家也可以看一下排名。

值得一提,PLoS ONE位于第23Scientific Reports 排名第39,也算是不错的发表场所了。

 

在第61到第80名中间,集中出现了多本IEEE期刊。被誉为另一个计算机视觉顶会的ICCV,排名第78

 

81到第100名的期刊/会议排名如下,TPAMI 位于第92,果然好论文都优先去会议发表了。

 

工程与计算机领域Top 20CVPR排名第5

 

谷歌学术计量排名方法:过去5年被引用论文“h5指数

谷歌学术(Google Scholar)期刊和会议排名主要基于h-index实际上,从2012年起来,谷歌学术计量(Google Scholar Metrics, GSM)每年都会发布学术期刊和会议的GSM排名。

相比科睿唯安基于Web of Science数据库公布的《期刊引证报告》(Journal Citation Report, JCR),GSM不仅可以免费检索,而且收录的期刊和会议范围远远大于Web of Science

还有一点,期刊/会议的“h5指数(过去5h-index比较难以被人为操控,不会因为多了一篇超高被引论文而明显增长,另一方面,刻意减少发文量也不会对提升h5指数有作用。

因此,h5指数可以体现期刊和会议的整体综合实力,逐渐成为学术出版物和会议影响力评价的一个重要参考。

总体看,GSM主要参考以下3个指标:

相应地,h5指数(h5-index)、h5核心(h5-core)和h5中值(h5-median),就是收录在谷歌学术系统中的期刊和会议在最近5年的论文数量及各论文被引用的次数

例如,如果某本期刊在过去5年所发表的论文中,至少有 h 篇论文分别被引用了至少 h 次,那么这份杂志的 h5指数就是 hh5核心和h5中值的计算方法也一样。

了解更多:

https://scholar.google.com/citations?view_op=top_venues&hl=zh-CN&vq=en

开售!

http://www.aiworld2018.com/

谷歌计算机

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。



杰哥 2019-05-17 22:59 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/04/07/216341.html杰哥杰哥Sun, 07 Apr 2019 00:49:00 GMThttp://www.fometaux.com/guijie/archive/2019/04/07/216341.htmlhttp://www.fometaux.com/guijie/comments/216341.htmlhttp://www.fometaux.com/guijie/archive/2019/04/07/216341.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216341.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216341.html
根据20190405 flagged email,上传两个paper到arxiv. 先压缩成zip文件,再Upload file, 发现会提示如下错误:
contained a.bib file, but no a.bbl file (include a.bbl, or submit without a.bib; and remember to verify references).
在上传的文件中,将a.bib删除即可,不要在原始文件中删,这样可能会弄丢文件,因为有时还是要在本机编译的。
https://arxiv.org/help/submit#availability


[zz] arxiv上传latex文章的方法与坑
如果想在arxiv上挂出文章,通常可以挂pdf与latex两种格式的,如果pdf是由latex生成的话,一般只能上传latex源文件,不支持pdf的上传。
arxiv上上传latex主要包括以下几个部分,尤其上传文件线上编译一步具有一些坑需要注意。
第一步:注册账号,填写学校后缀邮箱,免去可能的上传权限审核;
第二至六步:填写一些基本信息与设置,参考网上的图:
新建提交:
填写信息
第七步,上传文件,很重要,涉及到是否能编译成功。
我们离线电脑上的latex编译完的文件夹一般是这样的:
里面一大堆东西,重要的就是3个,一个源文件:.tex的文件,一个是与文件名同名的bbl文件:.bbl文件,还有就是文章中使用到的各种图片(包括jpg,pdf等各类图像文件)。
另外一点值得注意,各类图片文件不能以文件夹形式上传,只能一个文件一个文件的传,比如上图需要将figures文件夹的图片一个个上传,如果里面还有文件夹,继续打开上传,传完后如下图所示:
需要注意,此时线上编译系统在编译.tex文件的时候,.tex里面索引图片的路径都是需要在最外层路径的,因为图片就是放在最外层的,然而线下.tex里面的图片索引为了方便,一般都有好几次目录,比如上图,.tex里面用到图片的路径一般至少要加上"figures/xxx.jpg",如果路径不修改直接上传的线下.tex文件,线上编译则找不到figures文件夹而编译不了,所以针对此,需要将线下.tex里面的所有涉及到图片索引位置的地方全部改为一级索引,即直接索引图片名字,比如xxx.jpg。
对比一下,离线的.tex文件可能如图:
到了线上由于没有figures文件夹,所以对应的图片目录必须去掉,改成下面这样:
针对原始.tex中存在的所有索引图片,都需要改成一级索引线上才能编译通过。
编译成功后,填一下基本输出消息,比如title,author,abstract,comments等等,submit即可,submit之前可以预览生成的pdf,如果线上编译完的格式符合预期即可发表。
--------------------- 
作者:我i智能 
来源:CSDN 
原文:https://blog.csdn.net/on2way/article/details/85940768 
版权声明:本文为博主原创文章,转载请附上博文链接!


杰哥 2019-04-07 08:49 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/04/02/216325.html杰哥杰哥Mon, 01 Apr 2019 21:42:00 GMThttp://www.fometaux.com/guijie/archive/2019/04/02/216325.htmlhttp://www.fometaux.com/guijie/comments/216325.htmlhttp://www.fometaux.com/guijie/archive/2019/04/02/216325.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216325.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216325.htmlWhile research in Generative Adversarial Networks (GANs) continues to improve the fundamental stability of these models, we use a bunch of tricks to train them and make them stable day to day.

Here are a summary of some of the tricks.

Here's a link to the authors of this document

If you find a trick that is particularly useful in practice, please open a Pull Request to add it to the document. If we find it to be reasonable and verified, we will merge it in.

1. Normalize the inputs

  • normalize the images between -1 and 1
  • Tanh as the last layer of the generator output

2: A modified loss function

In GAN papers, the loss function to optimize G is min (log 1-D), but in practice folks practically use max log D

  • because the first formulation has vanishing gradients early on
  • Goodfellow et. al (2014)

In practice, works well:

  • Flip labels when training generator: real = fake, fake = real

3: Use a spherical Z

  • Dont sample from a Uniform distribution

cube

  • Sample from a gaussian distribution

sphere

4: BatchNorm

  • Construct different mini-batches for real and fake, i.e. each mini-batch needs to contain only all real images or all generated images.
  • when batchnorm is not an option use instance normalization (for each sample, subtract mean and divide by standard deviation).

batchmix

5: Avoid Sparse Gradients: ReLU, MaxPool

6: Use Soft and Noisy Labels

  • Label Smoothing, i.e. if you have two target labels: Real=1 and Fake=0, then for each incoming sample, if it is real, then replace the label with a random number between 0.7 and 1.2, and if it is a fake sample, replace it with 0.0 and 0.3 (for example).
    • Salimans et. al. 2016
  • make the labels the noisy for the discriminator: occasionally flip the labels when training the discriminator

7: DCGAN / Hybrid Models

  • Use DCGAN when you can. It works!
  • if you cant use DCGANs and no model is stable, use a hybrid model : KL + GAN or VAE + GAN

8: Use stability tricks from RL

  • Experience Replay
    • Keep a replay buffer of past generations and occassionally show them
    • Keep checkpoints from the past of G and D and occassionaly swap them out for a few iterations
  • All stability tricks that work for deep deterministic policy gradients
  • See Pfau & Vinyals (2016)

9: Use the ADAM Optimizer

  • optim.Adam rules!
    • See Radford et. al. 2015
  • Use SGD for discriminator and ADAM for generator

10: Track failures early

  • D loss goes to 0: failure mode
  • check norms of gradients: if they are over 100 things are screwing up
  • when things are working, D loss has low variance and goes down over time vs having huge variance and spiking
  • if loss of generator steadily decreases, then it's fooling D with garbage (says martin)

11: Dont balance loss via statistics (unless you have a good reason to)

  • Dont try to find a (number of G / number of D) schedule to uncollapse training
  • It's hard and we've all tried it.
  • If you do try it, have a principled approach to it, rather than intuition

For example

while lossD > A:   train D while lossG > B:   train G 

12: If you have labels, use them

  • if you have labels available, training the discriminator to also classify the samples: auxillary GANs

13: Add noise to inputs, decay over time

14: [notsure] Train discriminator more (sometimes)

  • especially when you have noise
  • hard to find a schedule of number of D iterations vs G iterations

15: [notsure] Batch Discrimination

  • Mixed results

16: Discrete variables in Conditional GANs

  • Use an Embedding layer
  • Add as additional channels to images
  • Keep embedding dimensionality low and upsample to match image channel size

17: Use Dropouts in G in both train and test phase

Authors

  • Soumith Chintala
  • Emily Denton
  • Martin Arjovsky
  • Michael Mathieu
Reference:
https://github.com/soumith/ganhacks#authors



GAN的一些小trick

最近训练GAN遇到了很多坑,GAN的训练的确是个很dt的问题,如果只是用别人的paper跑一些应用还好,如果自己设计新的结构,做一些新的研究的话,就需要了解这些trick了,都是泪~

这个doc soumith/ganhackssoumith/ganhacks 简直是GAN武林界的九阴真经,看完以后感觉自己上了一个level。

自己做个笔记:

1。normalize输入,让它在[-1,1]。generater的输出用tanh,也是[-1,1],这就对应起来了。

2。论文里面optimize G是min log(1 - D),但在实际训练的时候可以用 max log(D)

3。对于噪声z,别用均匀(uniform)分布,用高斯分布。

4。可以用instance norm代替 batch norm。还有就是real放一起,generated放一起(感觉这个是废话QAQ)。

5。避免稀疏的gradients:RELU,Maxpool那些。这一点我认为原因是不像做辨别式的网络,判别式的,尽可能提取重要的信息,其实一些对预测影响不大的信息都被忽略掉了。但是GAN不同,是生成式的模型,所以要尽可能的表现出细节方面的内容,所以避免使用稀疏的这些?

  • LeakyRelu
  • For Downsampling, use: Average Pooling, Conv2d + stride
  • For Upsampling, use: PixelShuffle, ConvTranspose2d + stride

6。可以把label为1的(real)变到0.7~1.2,label为0的变到0~0.3。这个可以深入想想。

7。能用DCGAN就用,用不了的话用混合模型,KL+GAN,VAE+GAN之类的。

8。借用RL训练技巧。

  • Keep a replay buffer of past generations and occassionally show them
  • Keep checkpoints from the past of G and D and occassionaly swap them out for a few iterations

9。用ADAM!或者是D可以用SGD,G用ADAM

10。注意训练过程,尽早发现训练失败,不至于训练好长时间最后才发现,浪费时间。

11。最好别尝试设置一些常量去balance G与D的训练过程。(他们说这个work很难做。我觉得有时间的话其实还是可以试一下的。)

12。如果你对real有相应的label,用label,AC-GAN。加入label信息,可以降低生成的难度,这个应该可以想的通。

13。加噪声?作用是improve生成内容得diversity?

  • Add some artificial noise to inputs to D (Arjovsky et. al., Huszar, 2016)
  • adding gaussian noise to every layer of generator (Zhao et. al. EBGAN)

14。【not sure】多训练D,特别是加噪声的时候。

15。【not sure】batch D,感觉貌似是和pix2pix中的patchGAN有点像?

16。CGAN,我一直觉得CGAN这种才符合人类学习的思路。原始的GAN就太粗暴了,就好像什么都不知道,然后两个人D与G讨论交流对抗,产生的都是一些前人没有做过的工作,开篇的工作,所以比较困难一些,但是CGAN的话就有了一定的前提,也就是技术积累,所以比较简单一些。有点类似科研中的大牛挖坑,开辟新方向(GAN)。小牛填坑(CGAN)。

17。在G中的几层中用dropout(50%)。这个有一篇论文,还没看。


读完这些感觉自己想要设计GAN的话,应该有个系统的认识了,不会觉得自己好像有哪些重要的地方还不知道,很不踏实感觉。这种感觉对我这种强迫症的感觉很不爽啊!!看完以后顿时舒服了很多~~~

https://zhuanlan.zhihu.com/p/27725664

杰哥 2019-04-02 05:42 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/03/27/216316.html杰哥杰哥Tue, 26 Mar 2019 21:01:00 GMThttp://www.fometaux.com/guijie/archive/2019/03/27/216316.htmlhttp://www.fometaux.com/guijie/comments/216316.htmlhttp://www.fometaux.com/guijie/archive/2019/03/27/216316.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216316.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216316.htmlWhat is the meaning of the word logits in TensorFlow?
In the following TensorFlow function, we must feed the activation of artificial neurons in the final layer. That I understand. But I don't understand why it is called logits? Isn't that a mathematical function?
loss_function = tf.nn.softmax_cross_entropy_with_logits(
     logits = last_layer,
     labels = target_output
)

For example, in the last layer of the discriminator of generative adversarial networks (GAN), we will use sigmoid(logits) to get the output of D. This is discussed with Zhengxia.
Reference:
https://stackoverflow.com/questions/41455101/what-is-the-meaning-of-the-word-logits-in-tensorflow


杰哥 2019-03-27 05:01 发表评论
]]>
12bet++博客-杰http://www.fometaux.com/guijie/archive/2019/03/20/216303.html杰哥杰哥Tue, 19 Mar 2019 19:08:00 GMThttp://www.fometaux.com/guijie/archive/2019/03/20/216303.htmlhttp://www.fometaux.com/guijie/comments/216303.htmlhttp://www.fometaux.com/guijie/archive/2019/03/20/216303.html#Feedback0http://www.fometaux.com/guijie/comments/commentRss/216303.htmlhttp://www.fometaux.com/guijie/services/trackbacks/216303.htmlFor https://github.com/scutan90/DeepLearning-500-questions/blob/master/ch07_%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C(GAN)/%E7%AC%AC%E4
%B8%83%E7%AB%A0_%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C(GAN).md, the formula doesn't show well. I asked Zhengxia, he says that markdown doesn't support formula very well. As he knows markdown doesn't support the in-line formula. He uses markdown, but he doesn't use formula in it. If you have to use formula, you can use latex. If we use Typora, at the lower left corner, select "启用源代码模式". Change 
$$\mathop {\min }\limits_G \mathop {\max }\limits_D V(D,G) = {{\rm E}{x\sim{p{data}}(x)}}[\log D(x)] + {{\rm E}_{z\sim{p_z}(z)}}[\log (1 - D(G(z)))]$$
to make both $$ in a separate line. Select "退出源代码模式" and press F5 which means 刷新. The formula will show correctly.
Google search "online markdown". For example, if we use https://dillinger.io/, copy the code from Typora to https://dillinger.io/. We will find that if we want to see the formula, we have to use in this way: $$\mathop {\min }\limits_G \mathop {\max }\limits_D V(D,G) = {{\rm E}{x\sim{p{data}}(x)}}[\log D(x)] + {{\rm E}_{z\sim{p_z}(z)}}[\log (1 - D(G(z)))]$$


杰哥 2019-03-20 03:08 发表评论
]]>