http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 3189|回复: 3

浏览器访问一个地址的过程详解

[复制链接]
发表于 2013-10-17 13:13:16 | 显示全部楼层 |阅读模式
  1. 我来回答这个问题吧,整个过程比较复杂,也不知道哪些步骤对你有用,就说得详细一些吧,采用分条的形式,看哪里你能用到就参考哪里吧,呵呵!
  2.   1.若DNS缓存中没有相关数据,则IE浏览器先向DNS服务器发出DNS请求:
  3.   这一过程的目的是获取这个域名所对应的IP地址;
  4.   IE浏览器向本机DNS模块发出DNS请求,DNS模块生成相关的DNS报文;
  5.   DNS模块将生成的DNS报文传递给传输层的UDP协议单元;
  6.   UDP协议单元将该数据封装成UDP数据报,传递给网络层的IP协议单元;
  7.   IP协议单元将该数据封装成IP数据包,其中目的IP地址为DNS服务器的IP地址;
  8.   封装好的IP数据包将传递给数据链路层的协议单元进行发送;
  9.   发送时如果ARP缓存中没有相关数据,则发送ARP广播请求,等待ARP回应;
  10.   得到ARP回应后,将IP地址与路由下一跳MAC地址对应的信息写入ARP缓存表;
  11.   写入缓存后,以路由下一跳地址填充目的MAC地址,并以数据帧形式转发;
  12.   这个转发过程可能会进行多次,这取决于DNS服务器在校园网中的位置;
  13.   DNS请求被发送到DNS服务器的数据链路层协议单元;
  14.   DNS服务器的数据链路层协议单元解析收到的数据帧,将其内部所含有的IP数据包传递给网络层IP协议单元;
  15.   DNS服务器的IP协议单元解析收到的IP数据包,将其内部所含有的UDP数据报传递给传输层的UDP协议单元;
  16.   DNS服务器的UDP协议单元解析收到的UDP数据包,将其内部所含有的DNS报文传递给该服务器上的DNS服务单元;
  17.   DNS服务单元收到DNS请求,将域名解析为对应的IP地址,产生DNS回应报文;
  18.   (所有应用层报文必须通过传输层、网络层和数据链路层,因此在下面的叙述中,我将简化这一过程的叙述,简化形式如下面的样子,其中单箭头为本机内部传递,双箭头为网络上的发送)
  19.   DNS回应报文→UDP→IP→MAC→→请求域名解析的主机;
  20.   请求域名解析的主机收到数据帧,该数据帧→IP→UDP→DNS→IE浏览器;
  21.   将域名解析的结果以域名和IP地址对应的形式写入DNS缓存表。
  22.   2.IE浏览器建立TCP连接:
  23.   IE浏览器发出TCP连接请求报文;
  24.   该请求TCP报文中的SYN标志位被设置为1,表示连接请求;
  25.   该TCP请求报文→IP(DNS)→MAC(ARP)→→校园网关→→www.sina.com.cn主机;
  26.   该TCP请求报文经过IP层时,填入的目的IP地址就是上面DNS过程获得的IP地址;
  27.   经过数据链路层时,若MAC地址不明,还要进行上面所叙述的ARP过程;
  28.   收到的数据帧→IP→TCP,TCP协议单元会回应请求应答报文;
  29.   该请求应答TCP报文中的SYN和ACK标志位均被设置为1,表示连接请求应答;
  30.   该TCP请求应答报文→IP→MAC(ARP)→→校园网关→→请求主机;
  31.   请求主机收到数据帧→IP→TCP,TCP协议单元会回应请求确认报文;
  32.   该请求应答TCP报文中的ACK标志位被设置为1,表示连接请求确认;
  33.   该TCP请求确认报文→IP→MAC(ARP)→→校园网关→→www.sina.com.cn主机;
  34.   收到的数据帧→IP→TCP,连接建立完成;
  35.   在这个过程中,任何一个报文出错或超时,都要进行重传;
  36.   这个过程被称为TCP建立连接的三次握手。
  37.   3.IE浏览器开始HTTP访问过程
  38.   IE浏览器向发出HTTP-GET方法报文;
  39.   该HTTP-GET方法报文→TCP→IP→MAC→→校园网关→→www.sina.com.cn主机;
  40.   收到的数据帧→IP→TCP→HTTP,HTTP协议单元会回应HTTP协议格式封装好的HTML超文本形式数据;
  41.   HTTP-HTML数据→TCP→IP→MAC(ARP)→→校园网关→→请求主机;
  42.   请求主机收到的数据帧→IP→TCP→HTTP→IE浏览器,浏览器会以网页形式显示HTML超文本,就是我们所看到的网页。
复制代码


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2013-10-17 13:13:36 | 显示全部楼层
4.断开TCP连接
  IE浏览器向发出TCP连接结束请求报文;
  该请求TCP报文中的FIN标志位被设置为1,表示结束请求;
  该TCP结束请求报文→IP→MAC(ARP)→→校园网关→→www.sina.com.cn主机;
  收到的数据帧→IP→TCP,TCP协议单元会回应结束应答报文;
  该结束应答TCP报文中的FIN和ACK标志位均被设置为1,表示结束应答;
  该TCP结束应答报文→IP→MAC(ARP)→→校园网关→→请求主机;
  这个过程需要双向进行,因此主机也会按上述流程再做一次;
  整个过程被称为TCP断开连接的四次握手。
  呵呵,好麻烦的一个过程对不对?我也写了好长时间诶,希望对你有所帮助!
  -------------------------------------------------------------
  这个人很耐心,已经解释得很详细了。不过我是个吹毛求疵的人,非得把每个细节都弄得很清楚。其中最让我纠结的是ip地址转换到mac地址的过程。或许你说那不就是arp协议吗?那你就想的简单了点。
  首先ip地址是网络层(layer 3)的概念,mac地址是数据链路层(layer 2)的概念。
  网络层主要任务是路由,而数据链路层是提供相邻两个网络实体间端到端的数据传输,可以理解成为局域网内两台机器间的数据传输。
  数据链路层的作用范围是局域网,那么其mac地址肯定是局域网内某台机器的mac地址。并且arp协议的作用范围也是局域网。但是ip数据包的目的地址未必都是局域网内的,如果不是,在局域网内进行arp广播查询该ip地址对应的mac地址,肯定没有人回应,因为大家谁都不拥有这个ip地址。
  于是先要知道ip地址是不是同一个局域网里的,这个不难,使用子网掩码就可以确定。如果是同一个局域网,那么就可以arp了。那如果不是呢??
  这就要靠网络层了。到这时候我才惊讶地发现,路由表不是只在路由器上才有的(以前我可都是这么以为的),本机上照样有,而且也有路由过程。在 windows下CMD下输入命令“route print”,就可以看到本机上的路由表(linux下是"route")。部分路由表项如下(我机器的ip是10.77.100.113,子网掩码是 255.255.255.0 ):
  ----------------------
  Network Destination        Netmask          Gateway        Interface             Metric
  0.0.0.0               0.0.0.0      10.77.100.1       10.77.100.113         10
  10.77.100.0         255.255.255.0    10.77.100.113     10.77.100.113         10
  ----------------------
  最后一条其实意思就是,如果ip地址是同一个局域网中的地址,则直接发送到该ip地址就可以了(表中看起来是路由给自己,我估计是这个意思,linux下就是一个星号表示的,更能理解)。
  中间那条其实就是默认路由路径(因为任何一个ip地址 AND 0.0.0.0 后肯定都是 0.0.0.0 的),其意思就是,如果其他路由项都不符合,则发送到默认网关。
  扯远一点。默认情况下,windows机器不会充当路由器的功能,它不会转发(forward)自己接受到的但是目的地址不是自己的包。但是这是可以设置的,通过开启路由转发功能,就能充当一个路由器了。这样,局域网中另一台机器就可以把默认网关设置为你的ip,然后他的所有到外网的包都先交给你,然后你再路由转发出去。貌似多次一举,但是这样你的机器可以控制别人的上网功能。譬如一个家里,老爸把他儿子的机器的默认网关设置为自己的机器的,当这个狡猾的老爸不想让儿子上网的时候,就关闭自己机器的路由转发功能,可怜的儿子就上不了网了,而且不知道为什么。-_-!!
  譬如XP下可以修改注册表项:HKEY_LOCAL_MACHINE \SYSTEM\CurrentControlSet\Services\Tcpip \Parameters 中的 IPEnableRouter=1。
  顺便说说命令“route -f”,它可以删除路由表中涉及默认网关的项。我曾经使用该命令删除掉中间那条,结果访问外网就不行了,实际错误就是找不到路由项。
  和同宿舍一个哥们讨论该问题,当他发现“route -f”可以让机器不能上外网时,立马说可以用这个搞恶作剧啊,让人上不了网,估计没几个人能找出问题来,只有重启机器。我汗-_-!!
  所以ip地址转换到mac地址的过程就更清晰了:
  ------------------------
  1、首先得到ip包需要送达的目的地址 ip-des ;
  2、查路由表,根据匹配 ip-des 的路由表项得到下一跳(next hop)的中间目的地址 ip-next (可以保证 ip-next 是局域网中的地址);
  3、在arp缓存中查找 ip-next 对应的mac地址,如果缓存中没有,再到局域网中使用arp协议进行询问;
  4、得到了mac地址,一切就好办了----将mac地址放到帧头,发送数据。
  ------------------------
  由此看出绝不是仅仅arp那么简单。
  几个有用的命令(注意linux下需要root权限):
  ------------------------
  查看本地路由表:
  windows: route print
  linux: route
  查看本地arp缓存:
  windows: arp -a
  linux: arp
  ------------------------
发表于 2013-10-25 09:20:46 | 显示全部楼层
强烈支持楼主ing……
发表于 2014-5-18 09:08:22 | 显示全部楼层
好强大啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-5-2 12:41

© 2014-2021

快速回复 返回顶部 返回列表