铁匠运维网 http://www.uryjp.tw 互联网技术交流社区 Wed, 20 Nov 2019 05:35:36 +0000 zh-CN hourly 1 http://image.tiejiang.org/wp-content/uploads/2017/10/cropped-tiejiang.org_2017-10-19_01-46-53-32x32.jpg 铁匠运维网 http://www.uryjp.tw 32 32 数字证书及其在安全测试中的应用 http://www.uryjp.tw/25999.html http://www.uryjp.tw/25999.html#respond Wed, 20 Nov 2019 05:33:24 +0000 http://www.uryjp.tw/?p=25999 ]]> 0x00 背景

做Web层面的安全测试,免不了要做中间人代理来截包分析。常用的工具有BurpSuit,Fiddler,Charles等等。关于这些工具的用法网上已经有很多介绍,这里就不赘述了。然而在测试一些安全性高的站点时,往往会遇到SSL通信的问题。这里对这些数字证书的问题进行一个小结,欢迎拍砖交流。

0x01 数字证书


数字证书主要在互联网上的用于身份验证的用途。 安全站点在获得CA(Certificate Authority)认证后,获得一个数字证书,以此来标识其合法身份的真实性。

数字证书的格式遵循X.509标准。(X.509是由国?#23454;?#20449;联盟(ITU-T)制定的数字证书标准。它设定了一系列严格的CA分级体系来颁发数字证书。) 数字证书主要分为服务器证书和客户端证书。服务器证书(SSL证书)用来进行身份验证和通信的?#29992;埽?#23458;户端证书主要用于身份验证和电子签名。下面对数字证书的组成结构和工作原理进行一个简单的介绍。 最简单的证书包含了:

1. 证书内容 
    a) 证书所有者的公钥 
    b) 颁发者信息 
    c) 使用者信息 
    d) 等等 
2. CA的数字签名 (CA使用私钥对证书内容的报文摘要进行?#29992;?#21518;的结果) 
3. 签名算法

真实的数字证书主要结构如下图:

数字证书及其在安全测试中的应用

其中证书内容字段的详细结构如下:

数字证书及其在安全测试中的应用

CA的数字签名是CA用其私钥对证书信息的HASH值?#29992;?#21518;的结果。由于使用私钥?#29992;?#20197;及非对称?#29992;?#31639;法的特性,数字签名具有不可伪造的特点,同时报文摘要也保证了证书信息的完整性。用户可以使用CA的公钥对数字证书中CA的数字签名进行解密来判?#32454;?#25968;字证书信息的真实性。 客户端校验服务器证书的大致流程如下: 1. 查看证书是否过期 2. CA是否可靠 3. CA的公钥能否正确解开服务器证书的CA数字签名,即证书的签名值 4. 服务器证书上的域名是否和服务器的实际域名相匹配

其中CA的根证书大多是由操作系统预装好并将它们设置为受信任的证书。所谓根证书就是未被签名的公钥证书或自签名的证书,是CA给自己颁发的证书,包含了CA的公钥等信息。安装某个CA的根证书,就表示信任这个CA,它是证书信任链的开始。国际著名的CA有:verySign,Batltimore,Entrust等。 中国金融认证中心(China Financial Certification Authority,简称CFCA)是经中国人民银行和国家信息安全管理机构批准成立的国家级权威安全认证机构,是国家重要的金融信息安全基础设施之一。

Tips:?某些浏览器内置的CA证书列表 https://www.mozilla.org/en-US/about/governance/policies/security-group/certs/included/

0x02 证书格式


常见的证书文件有以下格式:

格式  扩展名
DER     .cer .crt .rsa
PKCS7   .p7b .p7r
CMS     .p7c .p7m .p7s
PEM     .pem                        (ASCII文件 一般使用base64编码)
PKCS10  .p10 .csr                       (ASCII文件)
SPC     .pvk .spc

常见的密钥库(keystore)文件格式如下:

格式      扩展名
JKS         .jks .ks
JCEKS       .jce
PKCS12      .p12
BKS         .bks
UBER        .ubr

0x03 代理软件的数字证书


BurpSuit和Fiddler等代理软件可以用来拦截HTTPS流量。它们使用自带的一个SSL证书与客户端进行交互,充当中间人的角色去转发数据包。由于这些代理软件的证书是自签名的根证书,而未经过知名CA机构认证,所以默认是不受信任,浏览器会进行警告阻拦。

使用桌面浏览器测试时,可以通过添加例外的方式信任它们的证书。在移动端测试时,也可以导出这些代理软件的证书,再将其安装到移动设备,方便对移动应用的HTTPS流量进行代理。

在浏览器证书管理器中导出BurpSuite证书:

数字证书及其在安全测试中的应用

Fiddler选项中可以直接导出证书:

数字证书及其在安全测试中的应用

数字证书及其在安全测试中的应用

0x04 移动应用测试中的数字证书


直接安装

代理软件的数字证书可以安装到手机系统中,方便对走HTTPS流量的APP进行安全测试。 安卓系统中的服务器证书安装方法如下: 将数字证书拷贝到安卓的sdcard目录下。在设置->安全->选择从SDCARD安装证书。

数字证书及其在安全测试中的应用

数字证书及其在安全测试中的应用

IOS中也是类似的操作。

导入到密钥库?除了直接安装代理软件证书之外,有的app会自带受其信任的密钥库,如下: 在/asserts?#35797;?#25991;件夹下,存在几个bks密钥库文件。

数字证书及其在安全测试中的应用

可以使用工具打开bks密钥库,并将代理软件的证书添加导入进去并保存。

数字证书及其在安全测试中的应用

当然,也可以使用keytool命令行进行证书导入。

Tips:?Android系统中CA证书文件的位置在:/system/etc/security/cacerts.bks

http://blog.csdn.net/haijun286972766/article/details/6247675

修改检测代码?有的APP还会直接在代码中进行对服务器证书进行校验。

数字证书及其在安全测试中的应用

可以逆向app得到smali代码,修改验证逻辑,再重编译打包,从而绕过对服务器证书的验证。 具体案例可以看这篇博客:http://cih.so/?p=476

0x05 关于客户端证书


除了服务端证书外,有的网银等高安全性的系统还会要求用户提供客户端证书进行身份验证。如果用户证书不正确,有的就直接无法连接服务端,有的会有如下提示:

数字证书及其在安全测试中的应用

客户端证书主要用作身份验证和电子签名的作用。一般网银包含私钥的客户端证书都被存储在USBKEY中,存储在USBKEY中包含私钥的证书不能被导出和复制。可以使用USBKEY的证书管理工具安装USBKEY中的证书,然后在浏览器中导出其公钥证书,并在代理软件中设置该客户端证书。浏览器中的导出方法如下:

数字证书及其在安全测试中的应用

测试过程中,如果发现服务器会检测用户的客户端证书,并且没有设置客户端证书,Fiddler会提示如下信息:

 

可以将导出的客户端公钥证书放到如上所示的目录中。数字证书及其在安全测试中的应用

BurpSuit也可以设置客户端证书:

数字证书及其在安全测试中的应用

除了保存在USBKEY中的用户证书(客户端证书),CFCA也提供软证书的下载,也就是包含私钥的证书文件。在CFCA下载证书时,选择Microsoft Enhanced Cryptographic Provider v1.0

数字证书及其在安全测试中的应用

将软证书安装到浏览器后,也可以通过同样的方法导出公钥证书。另外还可以导出包含私钥的证书,导出时需要设置密码。在Fiddler代理中设置客户端的公钥证书后,就可以直接进行代理了。

0x06 关于安卓APP签名


安卓app签名的数字证书不需要权威机构来认证,是开发者自己产生的自签名数字证书。数字证书都是有有效期的,Android只是在应用程序安装的时候才会检查证书的有效期。如果程序已经安装在系统中,即使证书过期也不会影响程序的正常功能。

Android将数字证书用来标识应用程序的作者、在应用程序之间建立信任关系,而不是用来决定最终用户可以安装哪些应用程序。

由于恶意开发者可能通过使用相同的包名来混淆替换已经安装的程序,签名可以保证相当名字但是签名不同的app不被替换。

另外,在申请一些特别权限的时候,需要验证时会使用签名。 Eclipse调试编译app时,是使用debug证书对apk签名的。安装adt开发插件后的eclipse可以直接使用android tools图?#20301;?#30028;面对apk进行签名。

数字证书及其在安全测试中的应用

签名之后会多出一个META-INF文件夹

/CERT.RSA           (包含证书信息)
/CERT.SF
/MANIFEST.MF

查看安卓签名信息

keytool -printcert -file CERT.RSA

数字证书及其在安全测试中的应用

]]>
http://www.uryjp.tw/25999.html/feed 0
小谈移动APP安全 http://www.uryjp.tw/25995.html http://www.uryjp.tw/25995.html#respond Wed, 20 Nov 2019 05:28:30 +0000 http://www.uryjp.tw/?p=25995 ]]> 0x00 背景

随着移动互联的扩张,移动APP?#24615;?#20102;更多企业的终端梦。“用户手机安装APP以后,企业即埋下一颗种子,可?#20013;?#19982;用户保持联系。” ?种子是种下了,可要是它本身就是个[特洛伊木马]呢?试想你在某某知名APP平台下载安装一款知名APP,深更半夜突然响起了[THE PHANTOM OF THE OPERA]那会是怎样的一种情景!

通过这近一个月来的观察和实验,斗胆在这里简单介绍一下手机移动APP安全测试方法、工具和一些容易产生安全问题的点。(此处仅就IOS版本APP进行?#24471;鰨?/p>

0x01 细节


1.工具:PC、手机;软件:burpsuite/fiddler、sqlmap等

2.代理设置:首先将你的PC和手机置于同一局域网,在PC上打开burpsuite ,proxy选项proxy-listeners

小谈移动APP安全

new/edit一下吧

小谈移动APP安全

在下拉列表中能够找到PC本机IP,同时可以自定义端口,此处设置了8088。

手机端,连接WIFI后,网络属性设置代理,写上上图IP地址和端口号

小谈移动APP安全

此时您的PC端burpsuite就设置完成。

3.接下来就是找到你?#34892;?#36259;的APP?#36816;?#20204;进行友情测试了。测试过程中,有几个安全点我在之前提交的报告中也都提到了,WEB端存在的问题在移动端同样存在(小伙伴们可针对OWASP TOP 10有针对性进行测试,其他此处不尽详表),只是现在WEB前端重兵把守,兵强马?#24120;?#32780;移动端尚未得到足够的重视,相对薄弱,应者那句世界名言,我们何不找找小道前行?

说的这里,提几个比较具有代表性(易发现易批量应用,对隐私数据影响大)的安全关注点:

由于缺乏对移动端安全防护,并且未对APP客户端用户数据做过滤导致SQL注入等一系列问题(跨站/CSRF什么的那就不说了)

WooYun: 乐视网App端Sql注入Num 1

模糊的用户权鉴往往造成各式各样的越权操作,用户隐私数据得不到安全保障;不安全的数据传输过程,敏感数据篡改(登陆、支付)

WooYun: 乐视网2200万用户任意用户登录

WooYun: 中粮我买网APP越权操作缺陷04(删除/修改任意用户信息)

应用设计存在逻辑缺陷导致的跨界

WooYun: 百度某应用设计缺陷可直接浏览企?#30340;?#37096;关键系?#25104;?#33267;渗透

移动云端系统载体自身存在缺陷,导致服务器沦陷。如app云端存在远程命令执行漏?#30784;?#20219;意文件上传getshell等

WooYun: 凡客某站远程命令执行

移动安全平台、推广平台存在安全缺陷导致海量APP可被操纵,恶意APP侵害移动用户。

WooYun: 乐视网某主站站控制不严可传播恶意app感染手机端

WooYun: 联想1#某站权限控制不?#31995;?#33268;预装恶意App流毒

以上方法针对少量APP测试还是挺实用的,这个月测试下来,就如一位皂友所说,发现这些问题是比较繁琐,但是出现的问题概?#26102;?#36739;大。所以问题还是挺好找[email?protected]?给俺一个非常不错的建议用于批量检测:在本地搭建http代理记录APP访问日志,然后sqlmap批?#21487;?#36825;些去重的日志!很赞!

0x02 总结


各厂商在APP程序开发的过程中严格执行开发安全处置流程同时将WEB应用防线扩至移动端!

各APP应用、推广平台加强自身安全防范,升级安全基线,确保平台之安全可靠,要知道,你们可?#24615;?#30528;万千互联网企业的中国梦-0-

最后,各大厂商、平台抱好你们的APP了,皂友们要来啦!

]]>
http://www.uryjp.tw/25995.html/feed 0
拆分密码 http://www.uryjp.tw/25986.html http://www.uryjp.tw/25986.html#respond Wed, 20 Nov 2019 05:26:45 +0000 http://www.uryjp.tw/?p=25986 ]]> 0x00 研究?#27573;?/h1>
  • 在WEB渗透中可能使用某个关键字为密码核心的密码(Mail,Vpn,后台登陆等)

0x01 实际数据分析


  • Gmail 500W明文密码
  • 个人以往渗透实例
  • 美国姓名top2000

在以往的渗透过中发现绝大多数企业的web服务是不允许注册,都是由某个人或系统分配的,而在这之中又有大部分的分配是人为分配,这就引出了我今天研究的主题《拆分密码》。

人们在分配密码的时候是无法做到计算机那样随机的。多数都是根据某个关键字加上一些字符如企?#24471;?#26102;间,123等,这样的分配方式就给密码赋予了结构

0x02 密码结构

  • 前缀
  • 关键字
  • 连接符
  • 后缀

拆分密码

1.)关键字

以drops.wooyun.org为例子

  • URL (二级域名,跟域名)
    • keyword=[drop,wooyun,wooyun.org]
  • 域名注册信息 (?#22987;?姓名,时间)
    • keyword=[xssshell,fangxiaodun,20100506]
  • 网站内容 (标题,关键字,页脚)
    • keyword=[WooYun,zhishiku,Security,exploits,hacker,0day,pentest]
  • 常用密码关键字
    • keyword=[admin,manage,pass,姓名top500]

收集网页内容关键字小脚本,对中文站没什么效果.这里以www.megacorpone.com为例子,我也是看了这个站点的渗透测试报告才触发我写这篇文章

<code><a class="__cf_email__" href="http://www.vuln.cn/cdn-cgi/l/email-protection" data-cfemail="f1839e9e85b1bc95">[email?protected]</a>:wget www.megacorpone.com -O 1.html
<a class="__cf_email__" href="http://www.vuln.cn/cdn-cgi/l/email-protection" data-cfemail="1f6d70706b5f527b">[email?protected]</a>:cat 1.html|tr ' ' '\n'|grep '^[0-9a-Z]*[0-9a-Z]$'|sort|uniq|
</code>

拆分密码

当然也有现成工具 cewl

拆分密码

2.)前缀与后缀

在Gmail 500W明文密码中,我用?#22987;?#21517;作为关键字进行分析:

  • 500W密码中有11561条密码是用用户名做关键字且排除了用户名为密码和用户名重复为密码。
  • 11561条密码中有791条是前缀加关键字的模式

拆分密码

  • 11561条密码中有2308条是前缀加关键字加链接符加后缀的模式

拆分密码

  • 11561条密码中有8462条是关键字加后缀的模式

拆分密码

从上面的数据可以分析出,前缀加关键字加链接符加后缀的模式最少,值得我们注意的的是oliver+关键字+@+gmail.com这个模式,很经典。前缀和后缀中使用最多的1和123,前缀中值得注意的是iam,big,the,大多数前缀?#38469;?#29992;的名词或者短语,[email?protected],[email?protected]?[email?protected]

那么问题就来了,为什么是它们?

在我的研究中,我将前缀和后缀分为4个类型:

  • 连续性 字符连续的递增
  • 重复性 字符重复
  • 规则性 利用字符体现某种规则
    • 键盘规则
    • 寓意规则
  • 应付性 满足系统强制要求

单个字符前缀全部看做是 应付性,而没有意义的东西人们往往很难?#19988;洌?#25152;以在应付性的情况下会选择规则性帮助?#19988;洹?0个数字26字母32个符号一共68个字符

<code>1234567890
qwertyuiopasdfghjklzxcvbnm
</code>
  • 键盘的设计是根据人体工程学设计的,最方便的键就是使用频率最高的键。玩过魔兽世界中pve无脑冰法的应该知道,【寒冰箭】基本都放数字1键,因为在抛弃字母键后,无名指按1键最方便,且连续按下123也最快捷。所以在 应付性 下满足系统要求(密码不为纯数字或纯字符)以字母做为关键字的密码,单数字前缀概率最大的为1
  • 寓意规则 1(最大),6(顺的寓意),8(发的寓意)
  • 键盘规则 ①中?#23548;?gt;右手>?#25345;?J
  • 寓意规则 以名字首字母为寓意 A

拆分密码

<code>~!@#$%^&amp;*()-_=+[{]}\|;:'",&lt;.&gt;/?
</code>
  • 键盘规则 在输出字符的时候需要按住Shift键
    • 左?#20013;?#25351;按Shift键 _
    • 左手大拇指按Shift键 !
  • 寓意规则 @ 像a,?#22987;?#20195;表符号,?#20934;且?/li>

多个字符我们用 连续性 重复性 规则性分析

  • 连续性 连续性字符大于2位,小于等于6位
    • 123,abc,!@#
  • 重复性 重复性字符串大于1位小于等于3位
    • 888,qq,..
  • 规则性
    • 键盘规则
      • qwe,147
    • 寓意规则
      • woshi,520,@))*,名词top100,短语top100
        • @))* == shift(2008)

3.)链接符

链接符不一定存在,弱存在只为一个单符号

  • @ 寓意规则
  • _ 应付性
  • & 键盘规则

前缀和后缀是有区别的,像woshi更应该做为前?#28023;琿we,888应该做为后缀,前缀可以为空,链接符可以为空,后缀可以为空

拆分密码

4.)组合方式

  • 前缀+关键字
    • 前缀多应付性和寓意性
  • 前缀+关键字+链接符+后缀
    • 关键字多为寓意性
  • 关键字+后缀
    • ALL
  • 关键字+链接符+后缀
    • 后缀多为键盘规则和连续性

0x02 总结


一切非随即密码都是为了方便?#19988;洌?#29616;在爆破的核心不是弱密码,而是使用有规则密码的弱用户。人是懒惰的,为了方便?#19988;?#20250;将自己的?#19988;?#20570;为密码?#19988;洹?/strong>

注①:《电脑键盘字母的优化排?#23567;?这篇文章仅仅是我写社工字典程序的理论框架,如果有与科学理论违背的地方,以科学理论为主

]]>
http://www.uryjp.tw/25986.html/feed 0
数据安全治理:从严防死守到价值流动 http://www.uryjp.tw/25948.html http://www.uryjp.tw/25948.html#respond Wed, 20 Nov 2019 05:21:03 +0000 http://www.uryjp.tw/?p=25948 ]]> 2009年,那时的中国还没有数据安全,只有网络安全;也正是在那一年,安华金和成立了。现在回想起来,这家公司就是从一片?#21738;?#33324;的中国数据安全领域破土而出的。如今,数据安全已形成一个独立的行业,在国家层面和企业层面都得到了高度重视和投入。如果你问我,到底是什么改变了数据安全的地位?我的回答是:数据本身的价值。

【你做的所有生意,都是数据!】

数据安全治理:从严防死守到价值流动

记得互联网预言大神 凯文 · 凯利 曾在对未来趋势的总结中说过:人类正处在一个数据流动的时代,数据的重要性空前提升且不断发展,处理数据已变得同处理客户一样重要。”事实上,只要想想人们现在每天花费多少时间用手机浏览各种图文和视频信息,每分钟有多少笔在线支付或转账在发生,还?#24515;侵?#25163;可热、野蛮生长的区块链和比特币等等…就不难发现,人类社会的知识、财?#33618;?#33267;历史正在经由数据?#24615;兀?#32780;由此产生的、源源不断的数据,又进一步推动着商?#30340;?#24335;创新的车轮滚滚向前,数字化已渗透至社会的各个角落。

然而不得不承认,当数据所蕴含的价值被不断挖掘和发现的同时,一种好人都不会?#19981;?#30340;“生意”正于暗地滋生——黑产;对于其中具有代表性的部分,我简单梳理了一下:

1、非法交易数据:“内鬼”泄露并出售你的?#20309;?#35760;录、行动轨迹等个人数据变现,之后你便可能收到一连串推销短信甚至诈骗电话;

2、?#36134;?#30149;毒攻击:企业、医院、高校乃至个人的电脑一旦感染?#36134;?#30149;毒,导致重要文件被?#29992;埽?#24819;要恢复数据就必须支付给攻击者比特币赎金。之所以选择这种“全新”类型的赎金,是因为它无法追踪,免去了不法分子的后顾之忧;

3、滥用数据牟利:互联网企业、大数据分析公司等数据持有者“明修栈道,暗度陈仓?#20445;?#21033;用合法采集到的用户数据进行非法牟利活动;

4、盗用数据牟利:近年来最典型的案例当属Facebook“数据门”了,5000万用户信息被外国商业分析公司盗用,疑被用于在美国总统大选中左?#24050;?#27665;意?#23613;?/p>

【4%的全球营业额罚款意味着什么?】

令人欣慰的是,在意识到数据安全问题对个人、企业、社会乃至国家政治潜在的巨大威胁后,世界各国开始陆续出台与数据安全相关的法律法规。中国的《网络安全法》、欧盟的GDPR等法?#21830;?#20363;中都明确规定了处罚标准,GDPR更因其“最高可处2000万欧元或全球营业额的4%(以较高者为准)”的天价罚款被视作“史上最严”数据监管条例!

那么全球营业额4%的罚款到底是个什?#27492;?#24179;?#35838;一?#19968;?#32622;?#36848;方式,大家应该就能更有体会了——实际上很多公司全年的净利润都到不了其营业总额的4%。更重要的是,GDPR绝非纸上谈兵,条例颁布以来,已有多家世界级企业因数据泄露等安全问题收到其开出的上亿美金巨额罚单。

现在我们把目光转回国内看看,自《网络安全法》正式施行以来,《数据安全法》、《个人信息保护法》、《个人数据和重要数据出境安全?#25318;?#21150;法》、《关键信息基础设施保护条例》等均在积极制定当中,这些变化一方面对数据安全行业的发展起到了非常重要的保护和促进作用,同时也对企业的数据安全管理工作提出了更高的要求,也造成了更多的影响。

这里特别一提的是,Gartner在2018年曾发布过一份“颇为有趣”的资产负债表,指出数据资产可能造成债务问题——过度收集数据可能影响企业的风控,因而从财务角度数据要被视为负资产;此外,企业为所持有的数据提供保护也需要在资金、人力等方面投入更多成本。

所以我想说的是,在政策要求、法律法规、行业标准和舆论监督等诸多“?#38469;?#20043;下,企业的确因数据安全问题面临着极大的经营性挑战:

1、因数据出境问题,基因研究机构收到科技部行政处罚及证监会询问函;

2、因用户信息被竞争对手利用,教育培训平台蒙受生?#27492;?#22833;;

3、因乘客信息泄露,国际航空公司面临GDPR巨额罚款,股票大幅下跌;

4、因GDPR正式颁?#36857;?#30005;商公司被迫选择终止?#20998;?#19994;务;

5、因用户数据泄露,社交网站签署巨额和解协议,并重新定义企业战略;

6、因公司数据和备份全部被黑客删除,?#22987;?#26381;务供应商宣告破产。

此外,数据安全不仅会影响企业的正常经营和发展,与政府机构的稳定运转同样紧密相关。2015年的中国社保信息泄露事件、2016年的徐玉玉案件、2017年个人信息纳入刑法保护?#27573;?#20197;及近年来因涉嫌数据泄露等安全问题被依法惩处、?#34892;?#30340;国家公职人员案例,这些都表明了国家在鼓励数据开放共享的同时,面临着层出不穷的威胁和隐?#36857;?#38543;之对数据安全的监管和要求也提升?#21015;?#30340;高度。

在这种背景下,数据究竟该如?#20266;?#20351;用和共享呢?如果企业、政府等用户无法掌握敏感数据的分?#36857;?#19981;能明确数据泄露的责任归属,也没?#24515;?#21147;保障数据的安全,那么对数据的开放反倒会成为一种困扰,不论是监管还是黑产,都将阻碍数据真正实现自由的流动与安全的使用。面对数据这?#36873;?#21452;刃剑?#20445;?#35813;如何应对上述问题呢??#26790;?#20204;继续往下看:

?#23613;?#38646;信任”带来的可能只是“过?#30830;?#24481;?#34180;?/strong>

数据安全治理:从严防死守到价值流动

过去做攻防对抗、防黑客防漏洞等等,采用“御敌于国门之外”的思?#32602;?#21363;筑起一道边界,做好严密的防御和监控,让外部攻击无法侵入,从而实现内部数据的“安全?#20445;?#28982;而在我看来,在这种保护下的数据更像是被戴上了枷锁,不能被自由的流转和使用,其价值也就得不到发挥?#25442;?#21477;话说,如果一味遵循以“零信任思?#21450;?#20840;”的观点看待数据安全,带来的可能只是“过?#30830;?#24481;?#20445;?#20174;而导致?#35797;?#28010;?#36873;?#24615;能下降、事倍功半等问题。这种数据安全是低效甚至无效的安全,而我认为数据是需要“走出去”的。

这也是为什么,安华金和提出以数据为中心的场景化安全理念,即根据用户对数据使用场景的分析研究,有针对性的制定防护措施,从而在保障数据安全使用的同时,省却非必要的投入。比如,测试开发系统如果只需要使用具备生产数据特征及其相互间关联关系的仿真数据,那么只要对数据进行脱敏一项防护措施就可以解决问题,而不是盲目的把审计、?#29992;?#31561;一系列产品全都配置上去。在这类场景中,即做到了有分析规划、?#24515;?#30340;性的取舍。

除数据场景化安全防护外,伴随时代步伐的迈进,数据安全建设要合规、要安全、要稳定、要灵活、要高效等等等等,需要考量和应对来自不同层面的问题和要求。未来,想要应对?#20013;?#21464;化发展的数据安全环?#24120;?#26082;不能靠单一技术的应用,也不能靠安全产品的加码堆砌,而要靠对数据安全的治理。如果?#26790;?#26469;形容的话,数据安全治理其实是一套方法论,也是一个体系化的工程,需要建设科学的组织架构。而做到这些,需要国家、行业和企?#31561;?#32773;共建生态、共同协作来实现。

【开放合作,共建数据安全治理大生态】

在国家层面上,由政府出台政策,由公安、网信、工信、保密局、密码局等主管部门制定法律和标准;在行业层面上,由金融、教育、医疗等行?#23548;?#31649;单位提出规范和要求,带动行业整体意识和行动;在企业层面上,由数据安全相关技术厂商和产品提供商提供技术支撑,更需要广大用户?#20013;?#25552;升数据安全意识与自主防护能力。

作为中国专业的数据安全企业,安华金和一直致力于数据安全治理生态体系的理念倡?#21152;?#23454;践。公司于2017-2019连续三年举办“中国数据安全治理高峰论?#22330;保?#20998;享?#21028;?#26696;例,交流实践经验。而在推动这一理念普及发展的过程中,也欣喜的看到,国家和很多行?#24471;?#20307;正在成为数据安全治理的最大提倡者。

同时安华人对生态的理解,是要坚持做自己,即不为?#38750;?#30701;期的商业利益去模仿或照搬,而是通过广泛合作,集合各方所长构建符合中国国情和需要的数据安全治理大生态,最终实现数据安全治理工作的价值最大化。帮助广大用户在这个流动的时代里,让数据使用自由而安全!

]]>
http://www.uryjp.tw/25948.html/feed 0
?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航 http://www.uryjp.tw/25972.html http://www.uryjp.tw/25972.html#respond Wed, 20 Nov 2019 03:02:23 +0000 http://www.uryjp.tw/?p=25972 ]]> 11月14日至17日,第?#31169;霻OP100全球软件案例研究峰会活动在?#26412;?#22269;际会议中心举行。本次大会由18位垂直专题领域的?#21040;?#19987;家担当联席主席,负责专题案例评审、甄选,最?#31449;?#36873;出120件案例,涉及议题既包括:Kubernetes、人工智能等前沿技术,覆盖产品创新/体验设计/运营增长、工程效能/团队管理/工程文化、架构演进/工程实践/大前端、数据平台/AI实践/数据驱动、测试实践/DevOps/工具链、数字化转型/学习型组织/案例教学等等企业关注的18大专题。

11月14日下午,以“数字化转型与指数组织创新战略”为主题的开幕?#20132;?#21160;正式开启。主题旨在通过领?#32469;?#19994;的核心思路及创新战略方法,帮助企业改善转型过程中的薄弱?#26041;冢?#36716;换新动能,推动组织数字化转型成功,并成为领军者。开幕式现场大咖云集分享前沿趋势。超过1500+?#21040;?#21516;仁汇聚一堂。期间,中国国际人才交流协会原主任?#23637;?#26126;受邀参会,并以科技创新为核心进行致辞。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲中国国际人才交流基金会原主任 ?#23637;?#26126;

驱动指数型企业演进的七个属性

2019年全球经济增速放?#28023;?#24456;多企业都有强烈的紧迫?#26657;?#29978;至遭遇危机;但是有另一部分企业,却在?#25163;?#25968;?#23545;?#38271;,比如:字节跳动、拼多多。那么,这些高速增长的企业,?#24515;?#20123;主要特性?技术在其中扮演着怎样的角色?大会主办方msup创始人兼CEO刘付强,总结出驱动指数型企业演进的七个属性!

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲msup创始人兼CEO 刘付强

第一,Think big。指数型企业都有宏大的变革目标,这将会激发组织创造出自身的社区、群体和文化。企业愿景本身就是一种竞争优势,他可以帮企业打?#24179;?#23616;、惯性,形成开放氛围,建立先进的创新文化。

第二,Open Source。开源,意味着公司没有围?#21073;?#26500;建开源社区连接外部力量,得到社区成员参与帮助,自我改进并不断创新,由此获得源源不断的社会力量,有了群众的智慧,在开源的基础上创造?#24405;?#20540;。

第三,hackathon。很多?#21028;?#20844;司在采用编程马拉松的模式创新业务、激活团队,这种方式的精髓在于,夸部门的成员在一段特定的时间内,相聚在一起碰?#30149;?#23454;验。鼓励内?#23458;?#38431;,跨部门整合,在长达几个周或者几个月的一段时间内,以小组的?#38382;剑?#36827;行共?#30784;?/p>

第?#27169;珼ata driven。打造数字化组织主要从三个维度入手。一是,侧重营销端的数字化,抓住用户与市场从而推动营?#25214;导ǎ?#21478;一个是,侧重内部运营端的数字化?#24403;?#22686;效,提升效能;最后是,侧重数字化产品与服务的打造,提升产品基本面的竞争力。

第五,Cloud S。未来每家组织都通过员工在线、产品在线、客户在线、管理在线来提升组织效率,意味着未来每个人都将更高效地使用技术,更涉及到组织的行为模式的彻底变革,使团队能够?#20005;?#27861;更快速地推向客户,快速的反馈,敏捷的迭代产?#32602;中?#22320;满足客户需要,加速创新。

第六,Ownership。未来,越来越多的?#21028;?#20225;?#21040;?#20197;自组织的架构形态存在,企业在组织架构形态上会不断重组,从金字塔组织到创新型组织以及未来的进化型自组织,企业的组织一直在不断演进。组织的最重要功能是赋能,让个体变成管理者,也是执行者,让“能听见炮火声的人做指挥官?#34180;?/p>

第七,Infrastructure。构建中台系统、打造技术型企业,开发者的工作流程将推动并影响整个组织的业务流程与功能,每个公司的价值创造和增长,将越来越多地取决于开发者的选择,开发者会变成公司面对挑战升级中的重要建设者。

驱动数字化转型的“三驾马车”

在推动企业不断演进的进程中,有一个词特别重要,那就是数字化转型。IDC报告显示,已有40%的企业开启了数字化转型征程。但是,在2019年埃森哲的一项研究中显示,40%进行数字化转型的企业中,只有9%转型成功。这些“转型领军者”如何?#24403;?#25968;字化?网易(杭州)副总裁兼智慧企业部总经理阮?#36857;?#20855;体介绍了网易对于数字化以及相关技术的看法,并提出驱动数字化转型的“三驾马车?#20445;?#21363;:强化新的技术建设、构建新的业务框架以及完善新的组织生态,将发挥越来越关键的作用。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲网易(杭州)副总裁兼智慧企业部总经理 阮良

结合网易的实践经验,阮良具象地剖析了传统行业数字化转型中遇到的痛点以及如何突围。网易深耕企业服务领域已经?#20013;?#22810;年,向传统行业的赋能日渐深入。如今,在金融、零售、房地产等诸多典型行业的成功实践中,都能找到这“三驾马车”的身影。

在金融行业,网?#33258;?#20449;携手飞虎互动,助力南京银行数字化转型,使其成为远程视频银行的先行者,为业务的开展,成本的节省以及服务渠道向线上转型提供了强大的支持。

在零售领域,网易七鱼帮助沃尔玛通过小程序?#21543;?#29595;购”扩展线上服务,不仅有效扩展了触达用户的渠道,也赋予了这家传统零售巨头数字化的新元素。

针对房地产企业人员培训的硬需求与现实困?#24120;?#32593;?#33258;?#20225;课助力广州富力打造了最专业的的房产行业线上大学,使员工获得高质量且系统化的职业培训不再是难题。

针对消费者洞察、营销、分析等各个传统行业共同难题,网易定位携手央视调研构建?#25918;?#19982;亿级消费者的桥?#28023;?#26500;建?#30340;?#26368;丰富的消费者标签体系,将极速调研项目实践缩短为传统项目的15%。

可?#36816;担?#25968;字化对于所有企业来说,都是绕不开的命题,企业的态?#32570;?#39035;随着时代的变化而转变。但是数字化转型并非是一件容易的事,要有正确的方式方法。在企业数字化转型2.0时代,快速实现规模化创新是核心要务,而网?#23383;?#24935;企业部秉承着全价值链理念,帮助企业快速实现转型。

当然,数字化转型也不是一件多么可怕的事儿,钉钉技术副总裁杨威表示,数字化时代,唯一不变的是变化。如何应对变化,重新定义组织是至关重要的。作为一个技术负责人,随着?#26377;?#22242;队到大团队,必须要去打造?#24515;?#26631;感的敏捷性团队。

数字化时代下,信息更加?#35813;鰨?#25152;以打造互信和目标共享的管理体系尤为重要。OKR就是非常适合?#24403;?#21464;化的的管理体系方法论,这就是为什么大家都在谈OKR的原因。O 是目标,KR是对目标进展和是否准确的?#24049;恕?#22823;家在谈OKR的本质是在谈数字化时代下对组织和团队管理的期望,它也是在数字化时代非常好的方法论。同时,钉钉在不断的沉淀各行各业?#21028;?#30340;数字化工作方式,现在已经覆盖了制造、金融、地产、零售、政府等各具特色的行业。最后,杨威表示,我们现在处在迅速多变的数字化时代,只有用可复制的方法去不断的创新才可能转型成功。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲钉钉技术副总裁杨威

新技术裂变时代的云平台建设思考

不管是从推动企?#24403;?#38761;的角度看,还是为了应对数字化转型,新技术都已成为重要武器。Cloud、AI、5G、IOT的?#20013;?#28145;度融合将产生类似核裂变的反应,释放巨大能量,加速企业基础设施的升级和业务创新,各个行业都在加速技术融合,通过创新实现商?#30340;?#24335;的落地。而云服务的本质,是商?#30340;?#24335;发生了变化,达到盈亏平衡点需要的时间更长。

“传统的产品管理包括需求收集、需求决策、生命周期管理;对于云服务来说,产品上线只是开始,后续的运维运营也非常关键,云服务产品管理需要从产品交付到产品运营的改变。?#34987;?#20026;云应用平台领域副总裁汪维敏,介绍了华为云产品管理的实践、探索和思考。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲华为云应用平台领域副总裁 汪维敏

华为云基于华为30年研发实践,前沿研发理念,先进研发工具,打造出华为云DevCloud,加速企业和行业的数字化转型。对于各个企业来说,可以利用华为云DevCloud的能力,进行协同开发,实现DevOps研发模式的落地应用。

人工智能带来的价值

在技术引领企业创新的时代,人工智能扮演着重要角色。科大?#26007;?#21103;总裁刘鹏表示,人工智能使企业有机会为客户提供个性化的服务、广告和互动。他希望AI也能够拥有保?#38556;?#21806;员的一些能力,不仅仅通过数据分析用户,让销售信息精准触达,?#19981;?#36827;行更多的情感表达。

目前人工智能主要研究四个层面的问题,这其中包括运算智能、感知智能、认知智能和运动智能。运动智能是最基本的;感知智能是替代人的五官,听说?#21015;矗?#26368;困难的在于认知智能,认知问题是极端困?#36873;?#20154;工智能在营销和服务领域做过语音互动广告、电话外呼机器人、Martech及智能音响。

对于人工智能而言,目前依然有许多的挑战和困难,其一,目前人脸识别、语音识别等感知智能能力进步迅速;其二,认知智能能力挑战巨大;其三,创意生成能力有重大突破。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲科大?#26007;?#21103;总裁 刘鹏

在智能时代背景下, 随着计算机技术?#25214;?#24191;泛地融入人类生活各个领域,人机交互也越来越无处不在、无时不在。移动互联网的普及使得人们可以时刻在线,自然交互技术使各个年龄段的人都可以无障碍使用计算机,虚拟现实的?#20284;?#20351;人们可?#36816;媸背?#28024;到数字世界,而人工智能的突破则使机器能更好地理解人的意图, 满足人的需求。然而,随着AI技术不断的发展,智能技术全面模仿,接近甚至超越人类的各种能力,人机交互逐渐转变为人机共生,针对人机界限是机乎还是人乎?董建明博士指出我们能够做的,是让技术服务于人。他提出了三点,即:1、在技术能力增强的同时,更多的意识到技术的双面性,从人出发,而不是从技术出发去定义产品。2、增加人文意识,知识和素养,遵从人文规律,积累最佳实践 ,形成稳定的人机交互规则。3、把对技术的人文和伦理的关注传递到更多的人,让每个产品的成功都建立在人文的基础之上。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲前华为首席用户体验架构师 董建明

针对数字化转型、人工智能、机器学习、软件开发、敏捷型团队构建,最有发言权的当属ThoughtWorks全球技术战略委员会成员王妮,她从技术、工具、平台和语言及框架角度分析了各种前沿技术的发展趋势,从具体实践角度分享了很多行业经验。

?#24403;?#25968;字化,探寻指数级组织创新路径——第?#31169;霻OP100全球软件案例峰会正式起航

  ▲ThoughtWorks全球技术战略委员会成员 王妮

第?#31169;霻OP100全球软件案例研究峰会是一场时尚的“技术秀?#20445;?#21516;时也是所有技术人每年一次的饕餮大餐。对于广大参会者来说,是向新锐公司和早期实践者学习成长经验的绝佳机会!之后几日的案例分享,汇集了Google、Facebook、Linkedln、Uber、亚马逊、box、BAT、京东、美团、字节跳动、滴滴等百家领?#32469;?#19994;的最佳实践,愿大家能早日走出困惑,与?#21028;?#27604;肩,向榜样看齐!

]]>
http://www.uryjp.tw/25972.html/feed 0
一份不可多得的数据科学与机器学习Python库 http://www.uryjp.tw/25949.html http://www.uryjp.tw/25949.html#respond Tue, 19 Nov 2019 14:06:38 +0000 http://www.uryjp.tw/?p=25949 ]]> 一份不可多得的数据科学与机器学习Python库

图片来自 Pexels

根据当前技术界的广泛需求,本文将以如下顺序重点介绍,市场上适合于数据科学和机器学习实现的?#21028;?Python 软件:

数据科学与机器学习的介绍

为什么要使用 Python 进行数据科学和机器学习?

用于数据科学和机器学习的 Python 库

一份不可多得的数据科学与机器学习Python库

数据科学与机器学习的介绍

众所周知,我们正处在一个大数据的时代,数据是驱动机器模型发展的“燃料?#34180;?/p>

实际上,数据科学和机器学习?#38469;?#20110;技能范畴,而不仅仅是两项孤立的技术。

它们需要开发人员在技能上具备:从数据中获得实用的见解,通过建立预测模型,进而解决问题的能力。

就字面定义而言:

数据科学,是从数据中提取有用信息,以解决实际问题的过程。

机器学习,是如何通过所提供的大量数据,来解决问题的过程。

那么两者之间的关系可以被描述为:机器学习是数据科学的一部分,它利用机器学习算法和其他统计学技术,来获悉数据是如何影响并发展业务的。

为什么要使用 Python 进行数据科学和机器学习?

Python 在那些用于实现机器学习和数据科学的流行编程语言中排名第一。这是为什么呢?

一份不可多得的数据科学与机器学习Python库

①易于学习:Python 使用的是非常简单的语法,可被用于实现简单的计算。

例如:将两个字符串添加到复杂的计算过程中,以构建出复杂的机器学习模型。

②更少的代码?#26680;?#28982;为了实现数据科学和机器学习会涉及到许多种的算法,但是得益于 Python 对于预定义包的支持,我们不必从零开始编?#27492;?#27861;。

同时,为了简单化,Python 也提供了一种“在编码时就进行检查(check as you code)”的方法,进而有效地减轻了测试代码的工作量。

③预建库:Python 有着 100 多种预建库,可用于实现各种机器学习和深度学习的算法。

因此,用户?#30475;?#22312;数据集上运行算法时,只需通过单个命令去安装和加载必要的程序包即可。

其中,比较流行的预构建库包括:NumPy、Keras、Tensorflow、以及 Pytorch 等。

④与平台无关:Python 可以运行在包括:Windows、macOS、Linux、以及 Unix 等多?#21046;?#21488;上。

在将代码从一个平台转移到另一个平台时,您可以使用诸如 PyInstaller 之类的软件包,来解决所有?#35272;?#24615;的问题。

⑤大量的社区支持:除了拥有大量的支持者,Python 还拥有多个社区与论?#24120;?#21508;类程序员可以在其中发布他们自己的错误,并互相提供帮助。

用于数据科学和机器学习的 Python 库

Python 在人工智能(AI)和机器学习领域得到广泛使用,其中一项重要的原因是:Python 提供了数千种内置库。

通过各种内置的功能和方法,这些库能够轻松地进行数据分析、处理、整理、以及建模等任务。

下面我们将重点?#33268;?#22914;下类型的任务库:

统计分析

数据可视化

数据建模与机器学习

深度学习

自然语?#28304;?#29702;(NLP)

统计分析

统计是数据科学和机器学习的一项基础。所有的机器学习和深度学习(DL)算法、及相关技术均基于统计学的基本原理和?#25293;睢?#32780; Python 则专为统计分析提供了大量的软件库。

在此,我们将重点介绍那些能够执行复杂统计计算极具推荐价值的软件包与内置函数。

它们分别是:

NumPy

SciPy

Pandas

StatsModels

①NumPy

一份不可多得的数据科学与机器学习Python库

NumPy、或称 Numerical Python 是最常用的 Python 库之一。该库的主要功能是:支持用于数学和逻辑运算的多维数组。

用户可以将 NumPy 用于索引、分类、整形、传输图像、以及声波类型的多维实数数组。

下面是 NumPy 的具体功能列表:

执行从简单到复杂的数学和科学计算。

对多维数组对象提供的强大支持,用于处理数组元素的函数和方法集合。

提供傅里叶变换和数据处理例程。

执行线性代数计算,这对于包括?#21512;?#24615;回归、逻辑回归、朴素贝?#31471;?#31561;机器学习算法,是十分必需的。

②SciPy

一份不可多得的数据科学与机器学习Python库

建立在 NumPy 之上的 SciPy 库,是一组子软件包集合。它能够协助解决与统计分析有关的各种基本问题。

由于适用于处理使用了 NumPy 库定义的数组元素,因此 SciPy 库通常可被用于计算那些使用 NumPy,仍无法完成的数学?#21280;?#24335;。

下面是 SciPy 的具体功能列表:

通过与 NumPy 数组一起使用,它提供了一个数值积分和优化方法的平台。

它带有可用于矢量量化、傅立叶变换、积分、插值等子软件包的集合。

提供了完整的线性代数函数堆栈。这些函数可使用诸如 k-means 算法,来进行聚类等高级计算。

提供了对于信号处理、数据结构、数值算法、以及创建稀疏矩阵等方面的支持。

③Pandas

一份不可多得的数据科学与机器学习Python库

作为另一个重要的统计库,Pandas 主要被用于统计、金融、经济学、数据分析等广泛的领域。

该软件库主要?#35272;?NumPy 数组,来处理 Pandas 的数据对象。毕竟,NumPy、Pandas 和 SciPy 在执行科学计算、以及数据处理等方面,有着深度的彼此?#35272;?#24615;。

下面是 Pandas 的具体功能列表:

使用预定义和自定义的索引,来快速创建有效的 DataFrame 对象。

可被用于处理大型数据集,并执行子集、数据切片、以及索引等操作。

提供用于创建 Excel 图表,和执行复杂数据分析任务的内置功能,例如?#22909;?#36848;性的统计分析,数据整理、转换、操作、以及可视化等。

提供对于处理时序数据的支持。

我个人认为:Pandas 是处理大量数据方面的?#21028;?#36719;件库;NumPy 对于多维数组具有出色的支持;而 Scipy 则提供了一组针对执行大多数据统计分析任务的子软件包。

④StatsModels

建立在 NumPy 和 SciPy 之上的 StatsModels Python 软件包,是创建统计模型、数据处理和模?#25512;拦?#30340;最佳选择。

除了使用到 SciPy 库中的 NumPy 数组和科学模型之外,它还能够与 Pandas 相集成,以实现有效的数据处理。StatsModels 比较擅长于统计计算、统计测试和数据探索。

下面是 StatsModels 的具体功能列表:

弥补了 NumPy 和 SciPy 库的缺陷,能够执行统计检验和假设检验。

提供了 R-style 公式的实现,以便更好地进行统计分析。统计人员可以沿用 R 语言。

由于它能?#36824;?#27867;地支持统计计算,因此通常可用于实现广义线性模型(GLM,Generalised Linear Models)和普通最小二阶线性回归(OLM,Ordinaryleast-square Linear Regression)模型。

支持包括假设检验(零理论,Null Theory)在内的统计检验。

数据可视化

数据可视化就是通过图形,来有效地表达来自数据的各种关键洞见。它包括?#21644;夹巍?#22270;表、思维导图、热图、直方图、密度图等?#38382;剑?#36827;而研究各种数据变量之间的相关性。

一份不可多得的数据科学与机器学习Python库

在此,我们将重点介绍那些可以通过内置函数,来研究各种数据之间?#35272;?#20851;系的 Python 数据可视化包。

它们分别是:

Matplotlib

Seaborn

Plotly

Bokeh

①Matplotlib

Matplotlib 是 Python 中最基本的数据可视化软件包。它支?#31181;?#22914;:直方图、条形图、功率?#20303;?#35823;差图等各类图形。

通过该二维图形库,用户可以生成各种清晰明了的图形,这对于探索性数据分析(EDA)是至关重要的。

下面是 Matplotlib 的具体功能列表:

用户可以针对 Matplotlib 选择合适的线条样式、字体样式、格?#20132;?#36724;等功能,以便轻松地绘制出各种图形。

作为一种推理定量信息的工具,它可通过创建图形,来协助用户了解趋势、模式并进行关联。

作为 Matplotlib 软件包的最佳功能之一,其 Pyplot 模块提供了与 MATLAB 非常相似的用户界面。

提供面向对象的 API 模块,可通过诸如 Tkinter、wxPython、以及 Qt 等 GUI 工具,将图形集成到应用程序中。

②Seaborn

一份不可多得的数据科学与机器学习Python库

虽然以 Matplotlib 库为基础,但是与 Matplotlib 相比,Seaborn 可用于创建更具吸引力和描述性的统计图表。

除了对数据可视化提供广泛的支持,Seaborn 还自带有一种面向数据集的内置 API,可用于研究多个变量之间的关系。

下面是 Seaborn 的具体功能列表:

可分析和可视化单变量和双变量的数据点,提供了将当前数据与其他数据子集进行比较的选项。

针对各种目标变量的线性回归模型,支持自动化统计估计和图?#20301;?#34920;示。

通过提供对于高级抽象功能的执行,可构建多图网格(multi-plotgrids)的复杂可视化。

通过各种内置主题,可实现样式设置,并创建 Matplotlib 图。

③Plotly

一份不可多得的数据科学与机器学习Python库

作为知名的图形 Python 库之一,Ploty 通过交互式图形,以方便用户了解目标变量和预测变量之间的?#35272;?#24615;。

它可以被用于分析与可视化统计,针对财务、商业和科学数据领域,生成清晰明了的图形、子图、热图、以及 3D 图表等。

下面是 Ploty 的具体功能列表:

具有 30 多种图表类型,包括:3D 图表、科学和统计图、SVG 地图等,可实现清晰的可视化。

通过 Python API,您可以创建由图表、图形、文本和 Web 图像组成的公共/私有的仪表板。

可创建基于 JSON 格式序列化的可视化图像,用户可以在 R、MATLAB、Julia 等不同平台上轻松地访问到它们。

通过名为 Plotly Grid 的内置 API,用户可以直接将数据导入 Ploty 环境。

④Bokeh

一份不可多得的数据科学与机器学习Python库

Bokeh 是 Python 中交互性最强的库之一,可用于为 Web 浏览器构建描述性的图?#20266;?#31034;?#38382;健?/p>

它可以轻松处理庞大的数据集,并构建通用图,进而有助于执行广泛的 EDA。

通过定义完善的特征,Bokeh 能够构建交互式的图表、仪表板和数据应用程序。

下面是 Bokeh 的具体功能列表:

可以通过简单的命令,帮助用户快速地创建复杂的统计图。

支持 HTML、Notebook、以及服务器?#38382;?#30340;输出。它还支持多种语言的绑定,包括 R、Python、lua、以及 Julia 等。

通过与 Flask 和 Django 的集成,您可以在应用程序上表达特定的可视化效果。

通过提供对于可视化文件的支持,用户可以将其转换为诸如 Matplotlib、Seaborn、以及 ggplot 等其他库。

机器学习

创建可以准确预测的结果、并解决特定问题的机器学习模型,是任何数据科学项目中最重要的部分。

然而,实施机器学习与深度学习往往会涉及到数千行的代码。而当您需要通过神经网络解决复杂问题时,其对应的模型则会变得更加麻?#22330;?/p>

不过值得庆幸的是,通过 Python 自带的多种软件包,我们可以无需编写任何算法,轻松地实现各种机器学习的技术应用。

一份不可多得的数据科学与机器学习Python库

在此,我们将重点介绍那些可以通过内置函数,来实现各种机器学习算法极具推荐价值的机器学习软件包。

它们分别是:

Scikit-learn

XGBoost

ELI5

①Scikit-learn

一份不可多得的数据科学与机器学习Python库

作为数据建模和模?#25512;拦?#30340; Python 库之一,Scikit-learn 自带了各种监督式和无监督?#20132;?#22120;学习算法。

同时,它可以被用于集合式学习(Ensemble Learning)和促进?#20132;?#22120;学习(Boosting Machine Learning)的明确定义。

下面是 Scikit 的具体功能列表:

通过提供标准的数据集(如:Iris 和 Boston House Price),以协助用户开展机器学习。

可用于执行监督式和无监督?#20132;?#22120;学习的内置方法,包括解析、聚类、分类、回归、以及对各种文件进行异常检测。

带有用于特征提取和特征选择的内置功能,可协助识别数据中的重要属性。

通过执行交叉验证,它提供了?#25318;?#27169;型性能的不同方法,可优化模型的性能、并调整各项参数。

②XGBoost

一份不可多得的数据科学与机器学习Python库

XGBoost 即为“极端梯度增强(Extreme Gradient Boosting)?#20445;?#23427;属于 Boosting 机器学习类 Python 软件包。通过梯度增强,XGBoost 能够提高机器学习模型的性能和准确性。

下面是 XGBoost 的具体功能列表:

由于是用 C++ 编写的,因此 XGBoost 被认为是提高机器学习模型性能最快、且有效的软件库之一。

由于 XGBoost 的核心算法是可并行化的,因此它可以有效地利用多核计算机的性能。同时,XGBoost 也可以处理大量数据集、并能够跨多个数据集合开展网络工作。

提供可用于执行交叉验证,参数调整,正则化,以及处理缺失值的内部参数,还能够提供与 Scikit-learn 相兼容的 API。

由于 XGBoost 经常被用于顶级的数据科学和机器学习竞赛中,因此被普遍认为优于其他算法。

③ELI5

作为另一种 Python 库,ELI5 主要致力于改善机器学习模型的性能。由于相对较新,因此它通常会与 XGBoost、LightGBM、以及 CatBoost 等一起被使用,进而提高机器学习模型的准确性。

下面是 ELI5 的具体功能列表:

提供与 Scikit-learn 软件包的集成,以表征特征的重要性,并解?#36884;?#31574;树和基于树的集成性预测。

能够分析并解释由 XGBClassifier、XGBRegressor、LGBMClassifier、LGBMRegressor、CatBoostClassifier、CatBoostRegressor 和 Catboost 所做出的预测。

提供了对实现多种算法的支持,并能够检查黑?#24515;?#22411;。其 TextExplainer 模块可以解释由文本分类器所做出的预测。

能够协助分析那些?#19978;?#24615;回归器、和分类器给出的 Scikit 学习通用线性模型(GLM,General Linear Models)的权重和预测。

深度学习

机器学习和人工智能的进化离不开深度学习。随着深度学习的引入,我们可以构建出复杂的模型,并处理庞大的数据集。

有了 Python 提供的各种深度学习软件包,我们可以轻松地构建出各种高效的神经网络。

一份不可多得的数据科学与机器学习Python库

在此,我们将重点介绍那些可以通过内置函数,来实现复?#30001;?#32463;网络极具推荐价值的深度学习软件包。

它们分别是:

TensorFlow

Pytorch

Keras

①TensorFlow

一份不可多得的数据科学与机器学习Python库

作为深度学习的 Python 库之一,TensorFlow 是一款可用于横跨各项任务进行数据流编程的开源库。

TensorFlow 通过一个符号数学库,来构建出强大而精确的神经网络。它提供了直观的多平台编程界面,可在不同的领域中实现高度扩展性。

下面是 TensorFlow 的具体功能列表:

面对大型项目和数据集合,它可以构建和?#30423;?#22810;个神经网络。

除支持神经网络,它?#22266;?#20379;了各种执行统计分析的功能与方法。例如:它自带有可用于创建概率模型和贝?#31471;?#32593;络(包括:Bernoulli、Chi2、Uniform、Gamma 等)的内置功能。

TensorFlow 提供了分层的组件,这些组件可以对权重和偏差执行分层的操作,并且可以通过实施正则化技术(例如:batch normalization、Dropout 等)来提高模型的性能。

它自带有一个被称为 TensorBoard 的可视化程序,该可视化程序能够创建交互式和可视化的图形,以获悉数据特征的?#35272;?#24615;。

②Pytorch

一份不可多得的数据科学与机器学习Python库

Pytorch 是一个基于 Python 的开源科学计算软件包,可用于在大型的数据集上实施深度学习技术和神经网络。

Facebook 使用此软件库来开发其神经网络,进而实现了面部识别和自动化标记等任务。

下面是 Pytorch 的具体功能列表:

提供了易用的 API,能与其他数据科学和机器学习的框架相集成。

类似于 NumPy,Pytorch 提供了被称为 Tensors 的多维数组,并且可以被使用在 GPU 上。

它不仅可以用于针对大型神经网络进行建模,而?#19968;固?#20379;了一个界面,支持多达 200 多种能被用于统计分析的数学运算。

其代码可执行在每个节点上,以创建动态计算图,进而协助时序分析,并能够实时地预测销售量。

③Keras

一份不可多得的数据科学与机器学习Python库

同样作为 Python 中?#21028;?#30340;深度学习库之一,Keras 能够为构建、分析、?#25318;?#21644;改进神经网络提供全面支持。

Keras 是基于 Theano 和 TensorFlow Python 库构建的。它提供了用于构建复杂的大规模深度学习模型所需的各种附加功能。

下面是 Keras 的具体功能列表:

为构建所有类型的神经网络提供支持,包括?#21644;?#20840;连接、卷积、池化、循环、以及嵌入等。能够针对大型数据集与问题,通过将各种模型进一步组合,以创建完整的神经网络。

具有执行神经网络计算的内置功能,包括:定义层与目标,激活功能;能够通过优化器和大量的工具,来轻松地处理图像和文本数据。

自带有一些预处理的数据集和经过?#30423;?#30340;模型,包括:MNIST、VGG、Inception、SqueezeNet、以及 ResNet 等。

易于扩展,能够对新增功能和方法等模块提供支持。

自然语?#28304;?#29702;

Google 运用 Alexa 来准确地预测用户搜索的内容,而在 Siri 等其他聊天机器人的背后都会用到自然语?#28304;?#29702;(NLP)技术。

NLP 在设计 AI 的系统中,发挥了巨大的作用。该系统有助于描述出人类语言与计算机之间的交互关系。

一份不可多得的数据科学与机器学习Python库

在此,我们将重点介绍那些可以通过内置函数,来实现高级 AI 系统极具推荐价值的自然语?#28304;?#29702;包。

它们分别是:

NLTK

spaCy

Gensim

①NLTK(自然语言工具包,Natural Language ToolKit)

一份不可多得的数据科学与机器学习Python库

NLTK 被认为是分析人类语言和行为的?#21028;?Python 软件包。作为大多数数据科学家的首选,NLTK 库提供了易用的界面,其中包含 50 多种语料库和词汇?#35797;矗?#26377;助于描述人与人之间的互动,以及构建出诸如推荐引擎之类的 AI 系统。

下面是 NLTK 的具体功能列表:

提供了一整套数据和文本处理的方法,可用于针对文本分析的分类、标记、词干、解析和语义推理。

包含了用于工业级 NLP 库的包装器,通过构建复杂的系?#24120;?#20197;协助进行文本分类,并查找人类语音的行为趋势和模式。

它自带有实现计算语言学(Computational Linguistics)的综合?#25913;稀?#20197;及完整的 API 文档?#25913;希?#21487;帮助新手程序员上手使用 NLP。

它拥有庞大的用户和专业人员社区,能够提供全面的教程与快速?#25913;希?#26041;便用户学习如?#38382;?#29992; Python 进行计算语言学。

②spaCy

一份不可多得的数据科学与机器学习Python库

作为一款免费的 Python 开源库,spaCy 可被用于实现高级自然语?#28304;?#29702;(NLP)的相关技术。

当您在处理大量文本时,可以通过 spaCy 来轻松地获悉文本的形态学意义,以及如何将其分类成为人类可理解的语言。

下面是 spaCy 的具体功能列表:

除了语言计算之外,spaCy ?#22266;?#20379;了单独的模块,可用来构建、?#30423;?#21644;测试各种统计模型,进而更好地协助用户理解单词的含义。

它带有各种内置的语言注释,可协助分析句子的语法结构。这不仅有助于理解各种测试,还有助于查找出句子中不同单词之间的关系。

可被用于针对包含缩写和多个标点符号的复?#24551;短?#26631;记(nestedtokens),以实现标记化。

除了本身的强大功能和效率,spaCy 还支持 51 种以上的语言。

③Gensim

一份不可多得的数据科学与机器学习Python库

Gensim 是另一种开源的 Python 软件包,该建模旨在从大型文档和文本中提取语义主题,以通过统计模型和语言计算来予以处理,进而分析和预测人类行为。

无论是原始数据还是非结构化的数据,它?#21152;心?#21147;处理和应对庞大的数据集合。

下面是 Genism 的具体功能列表:

通过理解每个单词的统计语义,以构建有效的分类文?#30340;?#22411;。

它自带有诸如 Word2Vec、FastText、潜在语义分析(Latent Semantic Analysis)之类的文本处理算法。

这些算法能够研究文档中的统计共现模式,通过过?#35828;?#37027;些不必要的单词,进而构建出仅有重要特征的模型。

提供可供导入、并支持多种数据格式的 I/O 包装器与读取器。

其简单直观的界面,可供初学者轻松地进行试用。同时,其 API 学习曲线比较?#20132;海?#22240;此备受各界开发人员的?#19981;丁?/p> ]]> http://www.uryjp.tw/25949.html/feed 0 互联网企业安全运维实践 http://www.uryjp.tw/25924.html http://www.uryjp.tw/25924.html#respond Wed, 13 Nov 2019 13:28:04 +0000 http://www.uryjp.tw/?p=25924 ]]> 互联网企业安全运维实践

安全领域众多,分享这个议题,是因为在之前的工作过程中我们发现像大家非常关心的机密数据泄露 、资产盗窃、数据篡改、服务中断,以及物理逻辑的破坏行为通常都发生在运维安全?#26041;冢?#38656;要通过安全运维确保整个系统在一定的安全级别中运行。

一、安全建设思考

互联网企业安全运维实践
当企业开始着手考虑安全建设时,要考虑的因素有很多,其中包括管理层的期望、业务部门的安全诉求、组织环境、企业治理模式等。综合了解这些信息后,需要?#25318;?#36825;个时候安全所处的阶段,可能还会做一下同行差距分析,然后才着手做安全规划,就需要引入企业安全建设的有一份论,一般来?#21040;?#35774;信息安全有四个阶段。

第一个阶段通常是?#28982;穡?#20248;先解决业务痛点,同时做一些基础的“保命”工作,来?#26723;?#23433;全事件发生的概率,快速找到可能导致内外网安全入侵的安全隐患并修复,比如无线安全、VPN远程访问、弱口令、服务器后门等。这个时候也是最困难的,要人没有,钱也很有限,关键买设备也来不及,就得根据以住渗透经验转换成防御方法,做最有效的工作,按照2/8法则。另一个方面快速组织团队,因为这个时候,你的安全项目计划里已经有很多活等着干了。

第二个阶?#38382;?#20307;系化建设阶段。过了?#28982;?#26399;,可以稍微喘口气,进行有序的安全建设。主要精力是在基础安全建设,比如安全?#20808;?#26679;、堡垒机、双因素、VPN之类的。这个阶段还互联网不了,因为团队里基本上不具备开发能力,主要是以商业安全设备为主,外?#30001;?#37327;的安全工具自?#26657;?#25552;升运维的效率;这个阶段也可以考虑?#24944;糏SO27001体系出台三、四级的管理规范,并推动落地,这样确保从源头解决问题,否则你永远处在擦地板的过程,因为水桶有洞,水在不?#31995;?#20986;来,擦一?#38382;歉删?#20102;,过一会儿又流出来了。

第三个阶?#38382;?#20110;安全的高阶阶段,商用系统可能并不能很好地满足需求,所以就需要大量自研工具来解决实际问题,?#24515;?#21147;的话安全大数据和APT也可以考虑进来。

第四个阶段进入安全的智能级别,智能的检测、阻断、响应代表公司安全未来的方向。

互联网企业安全运维实践
架构一词,起源于?#24597;?#39532;时代,就是描述如何去构建一个建筑物以及它的实用和非实用功能绘画的过程和相关的艺术科学,这个词,同样在IT领域广泛使用。

拿这个图说例子,可以更好地帮助理解IT系统的安全架构 。因为软件架构尤其在运行环境中会比较抽象。以往我们做安全系统的架构,由于对系统缺乏全面的了解,通常都是拿一张平面的网络拓扑图;做架构设计之前需要对系统做有机的分析,架构是分不同的层次和视图的。根据业务的差别,功能的不同,观众人员的差别,就需要不同视角的视图。

回到我们的主题,系统安全的架构应该包含哪些东西? 我认为它至少应该包含三个主要的维度,第一个就是系统自然的技术堆栈,这个在IT技术里面,任何一下系统的技术堆?#27426;?#26159;天然存在的。我们最常见的系统分层架构,有客户端或者浏览器、APP,下面有运行的代码,它可能运行在中间件服务器上,再下面可能是数据库、操作系统、服务器、网络和基础设施,这是一个最简单的分层方式;

第二个维度是业务流程视角,这个业务流程视角,其实和安全这个课题是没有太大关系的,它更多是关注业务功能实现。比如说支付业务有支持业务的流程,网购有网购业务的流程,理财业务有理财的流程,它是随着系统差别,实现不同的业务目标;

第三个维度安全视图,比如客户端、应用、中间件、DB都有不同的保护机制。在另外一个维度就是业务流程,业务的每个模块也需要不同的保护机制,这些保护机制最后贯穿成一个网状的结构, 如何选择合适的保护机制?#36816;?#36827;行保护,那就需要第三个轴安全技术构成三维视角,在安全的机制里面其实它分为2类:第一类是系统自身的防护;第2类是对业务系统的保护。

为了便于理解,我们把这个框架对应到建筑架构上,第一层可能是地基代表基础设施,第二层是网络,第三层是服务器,第四层是中间件及应用,再往上就是应用、客户端,系统堆栈的?#25293;?#27604;较好理解。

业务系统视图对应的横轴,比如我可能有101、102、103房间 业务流程我把它想象在,101 房间先办理注册,102 房间去选1个东西,103加到?#20309;?#36710;,104我可能是支付,105完成退出。

接下来我们看第三个轴,系统自身的保护。你构建一个房子,自身要坚固,柱子要牢靠,墙体要结实,这样这个建筑?#25293;?#31283;定在这里。 除了本身安全,还要考虑在里面住的住客,要为他们提供安全保护,走?#21462;?#28040;防、空调的排布是不是合理的,能否有效保护内部用户的安全。这里你就能看出系统安全架构的基本维度,而对于保护机制的选择有一个逐步?#25318;?#20998;解的过程。这里还需要大家注意每一个IT系?#24120;?#19981;管是系统开发还是安全开发,都有生命周期的?#25293;睿?#32780;生命周期对安全架构的设计是有影响的。

互联网企业安全运维实践
今天我们能感觉到网络攻击已经在进化,比如基于国家、政治团体、有组织的犯罪机构发起的攻击越来越多,攻击者更?#24515;?#24515;,可能会从不起眼的用户入手。还有一个变化是一些高级的攻击?#21491;?#25216;术越来越先进。还有一些攻击是针对我们的个人,针对人的弱点进行社会工程学的攻击,非常难防范,会突破我们原来认为不会被攻破的防御系?#24120;?#25226;一些恶意的程序注入到你的系统里面去。

但是我们仍然可以继续遵循基本的计算机安全实践,来构建安全体系。按照合规的方法去做,其实这一点是非常重要的。我们都知道之前在禁止酒驾立法之前,发生非常多酒驾引起的人员伤亡的事故,但是立法之后很少有人去触碰法律的红线。信息安全也一样,如果真正做到监管合规的要求,你安全的等级已经到一个比较高的维度了。

第二个身份管理,这个人是谁,在我的系统里面有什么样的权限,授予他可以访问哪些数据。第三个是数据保护,数据保护目前仍是很多企业最关心和最担心的问题,因为全球90%的企业都认为自己可能有数据泄漏方面的风险。

从整个2016年来看,全球总共爆发900多起非常严重的数据泄露事件,泄漏数据达到5亿多条,包括小?#20303;?#20140;东、雅虎在2016都发生过大规模的数据泄漏的事件。

另外一块是日志,记录和监控可以协助发现未经经授权的安全事件,有助于确定安全措施有意义的改进,以保护您的公司的机密信息。这里只是一个示例,我们在构建技术保障体系的时候,按分层原则,每个层次上?#22841;?#35201;考虑相应的保护机制。

互联网企业安全运维实践
除了像BAT一样的先进公司,大多数企业在安全运维层面还是离不开找到合适的人、买到合适的设备这两条。我谈谈买到合适的设备时的一些经验。

给大家讲个与?#20064;?#20559;好相关的真实案例。之前?#20064;?#20256;达的信息是买设备,别买大了,省下的钱公司用于投资,会产生更多的?#25214;妗?#21548;上去没毛病,所以我们在选购数据中心边界防火墙时,按年30%的复合增长计算,1套墙满意3年业务增长是没有问题的,到第?#21738;?#25554;块板卡,就能扛5年。结果2年后,业务以每年超过100%的速度增长。在这个过程中,新?#20064;?#19978;任了,?#31561;?#37327;怎么不够了,就把之前的设计翻出来,也说得通,那就买板卡扩容吧。没?#19978;?#21482;过了6、7个月,容量又报警了,业务成长实在太快了。只好去找新?#20064;?#35828;板卡已经扩到头了;只能换一?#36184;看?#29702;能力的设备;你们可以体会一下向?#20064;?#20570;汇报的心情。

第二个案例是关于?#25918;?#30340;。在采购过程中,有个?#25918;?#20026;了进来,杀?#22270;?#20013;标。都是国际一线?#25918;疲?#25353;道理来?#24471;?#20160;么问题。但是有点水土不服,各种妖怪问题全来了,在短时内就发生了7次严重故障,所以用了不到1年,果断换掉。这次之后,我们对?#25918;?#30340;考虑更?#30001;?#37325;,和采?#26680;攬模?#25552;升技术评分的比例,确保不让不符合预期的产品进来。

关于中心端产品的容量,如果是互联网公司,我建议按当前量,放大5至10倍考虑,因为业务的增长往往是倍数成长,非常吓人,不能总是出?#20013;?#33021;瓶颈;另外一方面需要考虑架构优化,用Scal Out方式横向扩容。

关于测试,这里指实际环境测试。实验室不全面,如果条件允许,时间、人充足,测试当然没有坏处。如果时间紧、人手不足的情况下,就选择性地进行测试,比如性能类产品首次选择使用时,最好先测试一下。

另外,这几者之间要互相平衡,它们之间都是有联系的 。比如容量估算不准,?#32622;?#20570;实际环境测试,等设备买来,一上线直接?#19994;?#20063;是有可能的。

二、安全运维之术

这一部分主要介绍一下,安全运维需要考虑的一些点。

互联网企业安全运维实践
这里讲两个重要?#25293;睢ue care中文通常翻译成?#35782;?#20851;注或应用的注意,Due diligence翻译成?#35782;?#21220;勉或是尽职调查;

在信息安全领域,Due care实际上是说一个企业要制定各种各样的策略、规程和标准等,用来对企业信息资产的保护,也就是企业应该做的事情。而Due diligence则是要保证Due care要做的那些事情一直保持在最新状态。

举个例子?#24471;鰲?#20320;要外出时,做了两个动作:

1、想着手机会不会电不够用呢,不够用怎么办;

2、随手把充电宝装口袋了。

1是你的思想活动,有没有“想”就属于Due care,也可能会顺手查看手机电量。想过之后,可能会觉得电够用不带充电宝,也可能会觉得不够用而带上充电宝,这都不重要,重要的是你“想没想?#20445;?#26377;没有检查手机电量的意识(这根弦)。

2是你的实?#35782;?#20316;。如果你觉得电不够用带了充电宝,但没检查充电宝是否有电,或忘了充电线,那就是没做到Due diligence。也就是说虽然采取了相应的动作,但没达到预期的效果。

而对于安全来说,需要想到,如果没有采取这个措施,可能存在怎样的安全风险,为了?#26723;?#39118;险,采取了一定的行动,并且要确保这个行动是有效的、而且一定要真实的执行。

互联网企业安全运维实践
IT系统会有各种各样的变更,如发布、升级、割接、改造等。变更是最容易引发系统故障的操作,为了?#26723;?#21464;更对系统的影响,我们推进三思而行的三步工作法。做变更之前先问自己三个问题,首?#20219;?#26159;这项工作的合适人选吗?其次我?#24515;?#21147;执行这个任务吗?最后我能控制整个变更吗?

当三个问题得到的答案是肯定的,?#20197;?#21435;申请执行这个变更。如果任何问题的答案有迟疑,会和自己的主管协商,制定最佳方案,包括变更失败的回退计划;通过这一举措,大大?#26723;?#20102;变更造成的业务影响。

互联网企业安全运维实践
研发的同事通常关注的是HTTP xxx返回值相关问题、延迟、扩展性、代码重用、Deadline、KPI、需求变更、框架、?#38382;皆础?#21151;能如?#38382;?#29616;、以及代码质量等问题,最主要关注代码有没有bug;运维的同事通常关注HTTP 4xx及5xx错误、性能、可靠性、对阀?#21040;性?#35686;、监控?#32423;?#23830;、是否出现异常,最关心别出故障;

研发和运维的同事对安全的理解会有不同,但大体上对安全的理解包括DDoS攻击、病毒木马、堡垒机、数据脱敏、拖库和数据泄露,只能理解和自己工作关系比较大的那个部分。而安全的同事关注的是1-7层上我的防护措施会不会被绕过,然后就是各?#33268;?#27934;,开源框架的、编程语言的,代码里的、逻辑上存在的各种安全漏洞公交站,传输过种中以及存储过程中的漏洞,bug的修复,更高级的漏洞利用方式。找出各种高、中、低危漏?#30784;?#38500;此之外还在时刻关注无线渗透、弱口令、0day、彩虹表、各?#33268;懟?#27880;入、后门。这里就不一一列举了,反正就是能黑进入能拿数据,能?#30331;?#30340;技术?#22841;?#35201;了解和防范,弦崩的还是很紧的 。

其它非技术部门的同事对安全的关注仅仅是看看热点,谁家出什么事了,旁观者心态。视野的不同决定了在安全这件工作上采取行动的不同。

互联网企业安全运维实践
在安全运维的过程中,有时不得不去做一些高危操作,就像给飞行中的飞机更?#36824;?#38556;发动机,因为站点业务是7*24服务的,不可能或很少拿到停机操作窗口。前面已经说过,做变更有一套方法规避风险,包括参与变更人?#34180;?#21378;商和我们工作师的配合。但总有疏漏的时候,有一次我们更换防火墙引擎故障,结果导致防火墙双活,业务中断约10分钟。后来复盘故障时领导也民觉得这类操作的确很危险,即使再小心,也是十分危险的 。所以就设定了Outage Window操作,高危操作放在这个窗口内,订单损失是不计入ATP监控的,并没有人会因此滥用这个窗口。

互联网企业安全运维实践
关于漏洞

漏洞年年有,今年特别多,像前段时间出的Struts2,还有4月15日国外黑客组织Shadow Brokers泄露出了一份机密文档,其中包含了多个Windows远程漏洞利用工具,可以覆盖全球70%的Windows服务器,影响程度非常巨大。这两?#38382;?#20214;影响面都非常的广,修复花很大力气,在企业里面推动补丁管理还是挺难的,简单来说就是补洞的人不懂安全,懂安全的插不上手。需要说的是补丁是必须要打的,不然你就给入侵者留下方便之门,不做为,亦作恶。

关于安全意识

需要足够的耐心,一?#26410;?#30340;去宣讲,普通员工到技术人员到管理层,大家整体的安全意识才会提高,特别是管理层,宣讲的时候讲技术通常效果不好。这时应该选择讲案例,将安全与商?#23548;?#20540;联系起来管理层才会真正重视。安全工作成功的关键是高层和重视和?#20449;怠?/p>

关于变化

这个也好理解,整个IT环境是不断动态变化的,当前有效的安全防护措施,因为某个不安全系统的上线,就有了突破口,需要?#20013;?#30340;检查,发?#30452;?#21270;带来的新风险。

关于坚持

其实安全运维是整个安全的基石,你需要耐心去踏踏实实做一些事情,而很多我们身边的大牛在最初入行时也是从调设备写代码开始的,通过一些真正的接触一线的工作,你在后期的提升会比较快,而不是说看几本安全的书就能怎样。

三、安全运维自动化

互联网企业安全运维实践
我们为了提升安全运维效率,在运维自动化方面有过很多尝试,比如防御DDoS攻击方面,分布式漏洞扫描方面、交换机封IP、基于VPN的链路容灾方案,防火运维自动化方面等等,在DevOps深入推进的今天,可?#36816;的?#22815;自动化你想自动化的一?#23567;?/p>

互联网企业安全运维实践
关于DDoS攻击分为两种类型,一种是已经被打怕的人,另外一种是已经被打习惯的人。DDoS攻击目前仍是网络安全的头号大?#26657;?#36229;过100G规模的攻击很常见。我们是被打习惯的一类人,在战斗中增加经验值,并且考虑了一些自动化的防御手段,比如自研DDoS攻击看板,实时了解受攻击情况,与运营商BGP联动,实现被攻击IP一键丢黑?#30784;?#24555;速释放被攻击带宽;云端防护是必须要借助的,因为现在的攻击量太大了,需要云清洗能力。

互联网企业安全运维实践
这个是我们自研的DDoS攻击看板,分成三个状态,第一块是谁正在被攻击,第二块是哪些被攻击系统正在引流,第三块显示哪些被引流的系统正在做流量清洗,正在做流量清洗的系?#24120;?#38656;要特别关注业务的运行情况,确保业务得到保护。

互联网企业安全运维实践
第二个讲一下交换器封IP,由于我们系统架构的特殊性,需要由交换机设备完成IP自动封锁的任务。我们先看一下流程,比较简单,分为4个过程,发现恶意IP,可以通过IPS或其它系统检测出来,送入IP封锁系统进行规则匹配,符合封锁条件的IP直接自动下发到交换机进行封锁,达到封锁时间则自动解封。

互联网企业安全运维实践
我们看一下实现原理。最上面通过API对接Web Portal和恶意IP识别系?#24120;琖eb可以实现IP的增删查以及交换机ACL查询,有IP白名单机制,确保受保护IP不会被封锁。比如分公司IP或合作伙伴IP地址,ACL下推到交换机时增加了?#26469;?#26426;制,防止系统发生将不该封的IP封锁或是大批量封锁用户IP的情况发生。这些系统我们在之前的一些文章或在专利里面都具体讲了实现的方法,有兴趣的朋友可以去?#24944;?#19968;下。

互联网企业安全运维实践
这个是一个基于VPN的链路容灾系统设计,这里面我们做的自动化有几块。一个是全国有几百家汽车站需要与总部系统通讯,如果采购商用VPN系统造价很高,那我们在某宝上买了Netgear的路由器,安装Openwrt开源固件提供VPN服务,大约节省80多万元成本。在这个设计里的专利部分是设计了一套全冗余的结构,冗余的程度达到就算任何一个机房的链路坏了、设备坏了甚至其中1个IDC全部crash,我的这套系统仍然是可以?#20013;?#36816;行。

互联网企业安全运维实践
维护和管理几百条VPN隧道是非常麻烦的事情,我们开发了VPN管理工具,可以批?#21487;?#25104;中心端VPN的配置信息,远端的VPN小盒子也通过脚本实现即插即用。大大?#26723;?#20102;维护的复杂度。上图界面是VPN隧?#26469;?#27963;情况的监控。

互联网企业安全运维实践
随着互联网技术的不断发展,在线网站的规模越来越大,防火墙作为网络的安全屏障在广泛使用,其数量也在相应的增加。这张拓扑图展示的一些较大规模互联网公司或企业典型的防火墙部署示意图,体现了边界防护、重要业务系统隔离保护、办公与生产隔离的一些保护需求。

据我了解使用几台到几十台的企业有很多,也有一些大?#22270;?#22242;公司或跨国公司使用数百台防火墙。面对这么多防火?#21073;?#35201;把它管理好,难度是很大的。有些厂商就说了,你可以使用我们的防火墙集中管理系统帮助?#26723;?#36816;维复杂度。但当告诉他,我们有好几个?#25918;?#30340;?#21073;?#20182;们往往会说对不起,他的系统管不了,只能管自家的墙。有商用产品可以实现不同?#25918;?#38450;火墙策略集中管理,但是按License算钱,价格昂贵,而且不灵活,不能实现个性化的需求。在这种多?#25918;疲?#22810;数量的情况下,防火墙系统的运维难度和挑战将变得非常的大。

互联网企业安全运维实践
我们自主开发了防火墙运维管理系?#24120;?#36825;张图是核心功能模块的索引和实现功能简介。拓扑计算,通过计算路由,生成防火墙拓扑,判断出一个策略需求,经过哪几台防火墙。策略查询2个功能,一是用户自助查询2点间的防火墙策略;二是申请策略时后台会自动判断是否已有策略支持,如果有的话,会返回消息告诉用户说已经有策略了,无须申请。

策略生成模块,抽象策略对象,判断策略申请是增删改哪种场景生?#19978;?#24212;的工艺。工单对接是指如何与企业中的变更管理工单管理系统对接。自动化不能逾越流程,反而要严格遵循流程。在工单对接?#26041;?#20250;重点强调。其它工具,VPN管理、改密码、审批关系维护、墙元素查询,都非常有价值,极大提升运维工作效率。

总结

互联网企业安全运维实践
最后简单谈一些感想。第一做安全运维也要理解业务,理解业务?#25293;?#38024;对不同业务实施不一样的保护级别,如果全部采用相同保护级别的话,你的安全成本会非常高。

第二个要有充分的预案,因为我们不知道接下来会发生什么,我们通常认为防火墙HA部署的可靠性已经很高了,但是极端情况下会出现两台防火墙同时?#26723;?#30340;悲剧,就需要有应急预案处理这样的极端情况。

第三个是定期演练。即使有了预案,还需要定期演?#32602;?#19981;然真出现问题,对方案不熟悉或是预案针对的环境已经发生变化,预案早已不再有效却没有及时发现。

第四是善用乙方的?#35797;矗?#22312;系统的专业性方面,已方的工程师可能比较强,但对于业务本身,当然是甲方工程师更清楚,要利用相应的优势,为业务提供保护。

第五是创?#28388;?#32500;,就是用创新的想法去解决实际问题,并且成为一种能力。

第六是全面安全视角,安全运维不仅是对各种安全设备和软件进行运维保障系统安全,还要兼顾运维安全,解决研发、运维同事产生的各种危险坑点,基本上是涵盖了整个系统安全的方方面面。所以需要有全面的安全视角,?#25293;?#24212;对不断产生的安全风险和挑战。

]]>
http://www.uryjp.tw/25924.html/feed 0
双十一买了吗?来看物联网是如何助力快递物流的 http://www.uryjp.tw/25922.html http://www.uryjp.tw/25922.html#respond Wed, 13 Nov 2019 13:14:40 +0000 http://www.uryjp.tw/?p=25922 ]]> 一年一度的双十一狂欢节,相信很多人都开启了买买买模式。与往年“双十一”后大秀“望眼欲穿”不同,如今“剁手节”后首日,居然就已有不少人开始在朋友圈里,高调展示?#24403;А?#21452;十一?#21271;?#36125;的甜蜜,感?#23613;?#24184;福来得太快!”小编?#20063;?#20102;下物流,快递竟然在?#20260;?#20013;!!!

双十一买了吗?来看物联网是如何助力快递物流的

11月12日零点刚过,2019天猫双11全球狂欢节全天成交额出炉。2019天猫双11全天成交额为2684亿元人民币 ,超过去年的2135亿元人民币,再?#26410;?#19979;?#24405;?#24405;。

2019年11月11日,国家邮政局数字显示,全国快递行业?#23454;?#20214;业务量将达28亿件,210万名一线快递员平均每人每天要送240多件快递。在巨量成交洪峰下,中国的快递小哥们好像不仅顶住了压力,怎么还大有从容应对的小“?#20004;俊薄?#24110;他们搞定这事儿的除了洪荒之力,还有越来越牛的物联网技术。

目前,很多快递企业已经全面应用以物联网技术为核心的智慧物流系统。包括智能分拣、智能配送等,配合智能仓储中心、智能货柜、新零售智慧供应链等其他技术设施。目前,快递业已在全国30个省区市二百多个城?#26657;?#23454;现了“分钟级配送?#20445;?#22823;大提升了物流配送效率。

什么是智慧物流呢?

“智慧物流”是通过智能硬件、物联网、大数据等智慧化技术与手段,提高物流系统分析决策和智能执行的能力,提升整个物流系统的智能化、自动化水平。物流体系中的每一件货物从原来?#27426;?#30340;管理模式向主动组织协同模式跨越,实现被管理的实体对象与管理者按需互动与协同,实?#30452;餛交?#21644;末端业务驱动,能够助力物流企业在运输、仓储、配送、信息平台建设等各?#26041;?#36827;行智能化、数字化、可视化的全面转型升级,从而在行业运营成本、人力成本高企的情况下,实现?#24403;?#22686;效。

下面我们来看物联网是如何助力快递物流的

演绎10秒分拣 无人?#20013;?#29575;提升10倍

挪不开脚的货仓,匆匆忙忙的车辆,风风火火的分拣工,这些out啦!随着机器人仓库的快速迭代,分拣这活儿已被抢了。目前,?#22235;?#32593;络、京东、苏宁等?#36861;?#22312;上海、天津、广东、浙江、湖北等地上线了各类机器人仓库,自动化流水线、AGV机器人和繁忙的机?#24403;?#25104;为主角。在统一算法驱动下,仓库中上百台AGV机器人把扫码、称重、分拣功能集于一身,还能识别面单信息、实现最优路线投递。除此之外,现在的分拣机器人还能在相互识别基础上,根据任务优先级展开高效协作。而机器人仓库的分拣效率更高得没话说,单件商品平均拣货时间已降为10秒,拣选准确率仍保持99.99%以上。正是在这些技术帮助下,才使得出单、发货如此之快。

智能运输监测 提高运输效率

通过物流车辆管理系统对运输的货车以及货物进行实时监控,可完成车辆及货物的实时、定位跟踪,监测货物的状态及?#29575;?#24230;情况,同时监测运输车辆的速度、胎温胎压、油量油耗、车速等车辆行驶行为以及刹车次数等驾驶行为,在货物运输过程中,将货物、司机以及车辆驾驶情况等信息高效的结合起来,提高运输效率、?#26723;?#36816;输成本,?#26723;突?#29289;损?#27169;?#28165;楚地了解运输过程中的一切情况,有效保证你的“宝贝"安全。

智能仓储管理 着实提高出入?#28825;?#24230;

在传统的仓储中,往往需要人工进行货物扫描以及数据录取,工作效?#23454;?#19979;;同时仓储货位有时候划分不清晰,堆放混乱,缺乏流程跟踪。将物联网技术应用于仓储中,形成智能仓储管理系?#24120;?#33021;提高货物进出效率、扩大存储的容量、减少人工的劳动力强度以及人工的成本,且能实时显示、监控货物进出情况,提高交货准确率,完成收货入库、盘点调拨、拣货出库以及整个系统的数据查询、备份、统计、报表生产及报表管理等任务。

物联网技术使得物流企业在出库、入库货物管理上,减少查找、识别货物的人力、时间成本,能够让管理人?#22791;?#21152;方便地寻找到物资。通过使用二维码、RFID技术以及无线传感器等技术和设备,验货的速度可得?#21280;?#20493;提升,方便管理人员在不用开箱验货的情况下,同时查询调度更多物资。物联网技术显着提高了物流公司的出仓、入仓和清?#28825;?#24230;,并?#26723;?#20102;人工管理成本,从而使仓库管理更精细化、标准化和?#35813;?#21270;。

随着快递行业的快速发展,为应对高速增长的快递包裹数量和物流运输压力,很多快递公司应用了智慧物流系?#24120;?#26356;好地分配运力?#35797;矗?#25552;高行业生产力。通过“物联网+大数据”技术,快速用数字代码进行地域分单,在监测实时配送信息同时,用数据预测各快递节点的收包裹量,进?#20449;淥土?#37327;及时调配,在不增加大量人力的基础上有效提升了效率。

写到最后,小编我不得不感叹物联网给我们带来的便利!啥都不说了,坐等收货!

]]>
http://www.uryjp.tw/25922.html/feed 0
互联网?#39034;?#20043;下,聊聊 90 后所面临的困境 http://www.uryjp.tw/25920.html http://www.uryjp.tw/25920.html#respond Wed, 13 Nov 2019 13:13:57 +0000 http://www.uryjp.tw/?p=25920 ]]> 作为一名 90 后,从曾经被认为玩世不恭的一代,到现在自称佛系养生的一代,这十年间经历了什么?

互联网?#39034;?#20043;下,聊聊 90 后所面临的困境

如今大家很少在说 90 后这个词,因为 00 后成为了互联网的话题焦点,因为他们已经开始成年,开始步入社会。

90 后接过了 80 后的接力棒,来到了这个社会的主?#21280;?#19978;,他们是这个时代的新生力量,即将成为八零后的接班人,成为?#20474;?#37324;的主力军。

我经常在想,我们这些 90 后在成长过程中背负了多少压力,承受着多少争议,要面对多少的挑战,以及不公平的对待。

当今的 90 后,也是时候想想自己的出路到底是什么了。

90 后的遭遇或许和 80 后更加类似,他们大多都要经历?#25293;?#20041;务教育,参加高考。

可能有更多的 90 后选择了?#35010;校?#20294;他们最终都要面临着就业的压力,?#32469;?0后,90 后的学业压力是更加大的,因为每年的考生越来越多,大学生的数量也越来越多,直到大学生已经失去了原有的价值,读研成为了很多 90 后,00 后不得不选择的一个方向。

越来越多的 90 后开始考虑读博,为自己更长远的职业生涯做规划。

很多年前还有一种?#26376;?#22312;说 90 后是垮掉的一代,现在他们却不得不承认,九零后可能是最有压力的一代,因为他们的?#21103;?#25152;在的时代,可?#36816;?#26159;百废待兴,他们有很多的机会去改变自己的命运。就算是 70 后,80后,可能早年投资一?#36861;?#20135;,多年之后就改变了命运。

90 后似乎已经成功地避开了这一些时代红利。

虽然在互联网时代,如今的 90 后改变命运的方式实际上更多,但是也?#20960;?#21152;困难,因为竞争更激烈了,成功的比例更小了。

与此同时,他们要面对更多的来自现实生活的压力,他们必须要在小学、中学、大学都保持成绩优异,还需要在毕业后找到一份好工作,找到一个好对象,并且能够达到有车有房的标准配套,才算是一个人们眼中的成功人士。

90 后的压力大吗?其实还是挺很大的。这也是为什么越来越多 90 后选择佛系生活,学会了养生。因为他们真的太累了,九零后是中国互联网时代?#35813;?#21457;展的见证者,他们见证了移动互联网最辉煌的时期。

00 后在移动互联网末期享受最好的时代馈赠,而 90 后在这个时代交替的关键时刻经历了这一?#26657;?#20182;们中有很少数人可以抓住这个时代的机遇,更多人则只能沉迷于这个时代快速发展带来的副产?#32602;?#27604;如泛娱乐、游戏等等足以占据年轻人所有时间的事物。

这也不能怪他们,因为这个时候的九零后大多还在学校,还未踏入?#20474;。?#20182;们虽然经历了这世界的变迁,却很难去改变什么,他们通常是心有余而力不足的。

他们接受着互联网?#39034;?#30340;洗礼,他们去体验每一款互联网产?#32602;?#20182;们?#19981;?#20998;享,传播各种有意思的东西。同时他们在变化之中,倍感?#23396;牽?#20182;们无所适从,?#20174;?#24076;望抓住什?#30784;?/p>

他们在这个信息爆炸的时代里,不断?#20801;?#33258;己。因为这个时代是个娱?#21482;?#30340;时代,他们被一样又一样的新鲜事物所吸引,却无法从中获得自?#21512;?#35201;的东西,他们只能够从中获得短暂的欢愉。

当然当今也有很多 90 后已经迈出了他们改变这个时代的第一步,他们也许可以成为?#20474;?#20013;的佼佼者,也许可以成为这个时代的领军人物。

在二次元圈子里,九零后绝对是主力军,在直播时代,网红经济的时代里,90 后的身影也随处可见,他们都是最有创造力的人,他们都是很具有时代特征的 90 后。

但是与此同时也有很多 90 后还没从这个泛娱乐时代里走出来,他们没?#24515;?#22815;把握住这个时代的命脉,没有把握住属于自己的机会,于是他们在这个时代的洗礼中不断老去,直?#21280;?#20026;了自己最讨厌的那种人而不自知。

也许这就是泛娱乐时代带来的冲击吧,要?#20174;槔种了潰?#35201;么就应该更加懂得生活。

我是一名 90 后,我希望有越来越多的 90 后可以理解,这个时代需要我们去改变,或者,让自己做出改变。

]]>
http://www.uryjp.tw/25920.html/feed 0
FIT大会全面升级!CIS 2019网络安全创新大会11月27日上海开幕 http://www.uryjp.tw/25906.html http://www.uryjp.tw/25906.html#respond Tue, 12 Nov 2019 06:25:15 +0000 http://www.uryjp.tw/?p=25906 ]]> 网络安全从未像今天这样被重视,安全法规落地、安全技术进化、安全产品创新、安全意识普及……一个?#24863;?#30340;产?#23548;?#20803;已经到来!#CIS 2019#用创新开启虫洞,连接过去与未来,漫游在网络空间安全的无限可能中。

2019年11月27日~28日,以“?#24405;?#28459;游”为主题的CIS 2019网络安全创新大会将在上海宝华万豪?#39057;?#20030;办。本次大会由国内领先的网络安全新媒体FreeBuf、赛博研究院、上海市信息安全行业协会联合主办。

FIT大会全面升级!CIS 2019网络安全创新大会11月27日上海开幕

CIS 2019网络安全创新大会(2019 Cyber Security Innovation Summit,简称CIS)是原「FIT互联网安全创新大会」的全面升级。这是一场?#21040;?#26399;许已久年度国际安全盛会,更是一个大咖云集、内容精?#21490;壮?#30340;创新者舞台。就在今年,FreeBuf联手赛博研究院、上海市信息安全行业协会,5岁后的「FIT互联网安全创新大会」全面升级为「CIS网络安全创新大会」5000+从业者,16个专业论?#24120;?项WIT创新评选奖项,十余项特色白?#34987;?#21160;以及年度CSO高峰论?#24120;?#36992;您与来自全球的精英学者、行业专家、技术专家、前沿厂商、顶级白帽年末共聚,感受安全产?#31561;?#26032;月异下的创新突破。CIS 2019网络安全创新大会官网(cis.freebuf.com)现已正式上线。

大会议程

更多议程?#20013;?#26356;新中,可移步官网查看详细内容:https://cis.freebuf.com/

FIT大会全面升级!CIS 2019网络安全创新大会11月27日上海开幕

购票渠道同步全面开通!

>>点击【进入官网?https://cis.freebuf.com/】即可进入CIS 2019网络安全创新大会官网购票通道

或微信扫描下方二维码,进入购票页面

FIT大会全面升级!CIS 2019网络安全创新大会11月27日上海开幕

11月27-28日,上海,期待与你们在CIS 2019大会再次相遇。

]]>
http://www.uryjp.tw/25906.html/feed 0
代销福利彩票的条件 pk10牛牛网站 浙江11选5走势图任选基本走势图 腾讯分分彩计划软件 湖北十一选五遗漏一定牛 随时娱乐棋牌 贵州茅台股票分析结论 广东十一选五遗漏预测 丰禾棋牌怎么进不去了 3d直选定位7码复式 极速十一选五走势图