go语言标准库net/url库的过程

【导读】本文是一篇学习笔记,记录了作者学习 go 语言标准库 net/url 库的过程。
导入方式:
  import net/url url 包解析 url 并实现了查询的逸码,参见 rfc 3986。
func pathescape   func pathescape(s string) string pathescape 会将字符串转义出来,以便将其安全地放置在 url 路径段中。
func pathunescape   func pathunescape(s string) (string, error pathunescape 执行 pathescape 的逆转换,将 %ab 转换为字节 0xab 。如果任何 % 之后没有两个十六进制数字,它将返回一个错误。
pathunescape 与 queryunescape 相同,只是它不会将'+'改为''(空格)。
  func queryescape   func queryescape(s string) string queryescape 函数对 s 进行转码使之可以安全的用在 url 查询里。
func queryunescape   func queryunescape(s string) (string, error) queryunescape 函数用于将 queryescape 转码的字符串还原。它会把%ab 改为字节 0xab,将'+'改为' '。如果有某个%后面未跟两个十六进制数字,本函数会返回错误。
举例:
package main import( fmt encoding/base64 net/url crypto/rand io log)//sessionid 函数用来生成一个 session id,即 session 的唯一标识符func sessionid() string { b := make([]byte, 32) //readfull 从 rand.reader 精确地读取 len(b) 字节数据填充进 b //rand.reader 是一个全局、共享的密码用强随机数生成器 if _, err := io.readfull(rand.reader, b); err != nil { return } fmt.println(b) //[238 246 235 166 48 196 157 143 123 140 241 200 213 113 247 168 219 132 208 163 223 24 72 162 114 30 175 205 176 117 139 118] return base64.urlencoding.encodetostring(b)//将生成的随机数 b 编码后返回字符串,该值则作为 session id}func main() { sessionid := sessionid() fmt.println(sessionid) //7vbrpjdeny97jphi1xh3qnue0kpfgeiich6vzbb1i3y= encodedsessionid := url.queryescape(sessionid) //对 sessionid 进行转码使之可以安全的用在 url 查询里 fmt.println(encodedsessionid) //7vbrpjdeny97jphi1xh3qnue0kpfgeiich6vzbb1i3y%3d decodedsessionid, err := url.queryunescape(encodedsessionid) //将 queryescape 转码的字符串还原 if err != nil { log.fatal(err) } fmt.println(decodedsessionid) //7vbrpjdeny97jphi1xh3qnue0kpfgeiich6vzbb1i3y=} type url type url struct { scheme string //具体指访问服务器上的资源使用的哪种协议 opaque string // 编码后的不透明数据 user *userinfo // 用户名和密码信息,有些协议需要传入明文用户名和密码来获取资源,比如 ftp host string // host 或 host:port,服务器地址,可以是 ip 地址,也可以是域名信息 path string //路径,使用/分隔 rawquery string // 编码后的查询字符串,没有'?' fragment string // 引用的片段(文档位置),没有'#'} url 类型代表一个解析后的 url(或者说,一个 url 参照)。url 基本格式如下:
scheme://[userinfo@]host/path[?query][#fragment] scheme 后不是冒号加双斜线的 url 被解释为如下格式:
scheme:opaque[?query][#fragment] 注意路径字段是以解码后的格式保存的,如/%47%6f%2f 会变成/go/。这导致我们无法确定 path 字段中的斜线是来自原始 url 还是解码前的%2f。除非一个客户端必须使用其他程序/函数来解析原始 url 或者重构原始 url,这个区别并不重要。此时,http 服务端可以查询 req.requesturi,而 http 客户端可以使用 url{host: example.com, opaque: //example.com/go%2f}代替{host: example.com, path: /go/}。
  func parse func parse(rawurl string) (url *url, err error) parse 函数解析 rawurl 为一个 url 结构体,rawurl 可以是绝对地址,也可以是相对地址。
func parserequesturi  
func parserequesturi(rawurl string) (url *url, err error) parserequesturi 函数解析 rawurl 为一个 url 结构体,本函数会假设 rawurl 是在一个 http 请求里,因此会假设该参数是一个绝对 url 或者绝对路径,并会假设该 url 没有#fragment 后缀。(网页浏览器会在去掉该后缀后才将网址发送到网页服务器)
func (*url) isabs  
func (u *url) isabs() bool 函数在 url 是绝对 url 时才返回真。
举例:
package main import( fmt net/url)func main() { u := url.url{host: example.com, path: foo} fmt.println(u.isabs()) //false u.scheme = http fmt.println(u.isabs()) //true} func (*url) query func (u *url) query() values query 方法解析 rawquery 字段并返回其表示的 values 类型键值对。
举例:
package main import( fmt net/url)func main() { u := &url.url{ scheme: https, user: url.userpassword(me, pass), host: example.com, path: foo/bar, rawquery: x=1&y=2, fragment: anchor, } fmt.println(u.query()) //map[x:[1] y:[2]]} func (*url) requesturi func (u *url) requesturi() string requesturi 方法返回编码好的 path?query 或 opaque?query 字符串,用在 http 请求里。
package main import( fmt net/url log)func main() { u, err := url.parse(https://example.org/path?foo=bar) if err != nil { log.fatal(err) } fmt.println(u.requesturi()) ///path?foo=bar} func (*url) string  
func (u *url) string() string string 将 url 重构为一个合法 url 字符串。
字符串将 url 重组为一个有效的 url 字符串。结果的一般形式是以下之一:
scheme:opaque?query#fragmentscheme://userinfo@host/path?query#fragment 如果 u.opaque 不为空,则 string 使用第一种形式;否则它使用第二种形式。要获取路径,string 使用 u.escapedpath() 。
在第二种形式中,适用下列规则:
- if u.scheme is empty, scheme: is omitted.- if u.user is nil, userinfo@ is omitted.- if u.host is empty, host/ is omitted.- if u.scheme and u.host are empty and u.user is nil, the entire scheme://userinfo@host/ is omitted.- if u.host is non-empty and u.path begins with a /, the form host/path does not add its own /.- if u.rawquery is empty, ?query is omitted.- if u.fragment is empty, #fragment is omitted. 举例:
package main import( fmt net/url)func main() { u := &url.url{ scheme: https, user: url.userpassword(me, pass), host: example.com, path: foo/bar, rawquery: x=1&y=2, fragment: anchor, } //这是第一种形式 fmt.println(u.string()) //https://me:pass@example.com/foo/bar?x=1&y=2#anchor u.opaque = opaque //这是第二种形式 fmt.println(u.string()) //https:opaque?x=1&y=2#anchor} func (*url) escapedpath   func (u *url) escapedpath() string escapedpath 返回 u.path 的转义形式。一般来说,任何路径都有多种可能的转义形式。escapedpath 在 u.path 有效转义时返回 u.rawpath 。否则,escapedpath 将忽略 u.rawpath 并自行计算转义表单。string 和 requesturi 方法使用 escapedpath 来构造它们的结果。通常,代码应该调用 escapedpath ,而不是直接读取 u.rawpath 。
举例:
package main import( fmt net/url log)func main() { u, err := url.parse(http://example.com/path with spaces) if err != nil { log.fatal(err) } fmt.println(u.escapedpath()) ///path%20with%20spaces} func (*url) hostname   func (u *url) hostname() string 主机名返回 u.host ,没有任何端口号。
如果主机是具有端口号的 ipv6 文本,则主机名将返回不带方括号的 ipv6 文字。ipv6 文字可能包含区域标识符。
举例:
package main import( fmt net/url log)func main() { u, err := url.parse(https://example.org:8000/path)//ipv4 if err != nil { log.fatal(err) } fmt.println(u.hostname()) //example.org u, err = url.parse(https://[200185a300000370:7334]:17000) //ipv6 if err != nil { log.fatal(err) } fmt.println(u.hostname())//200185a300000370:7334} func (*url) port func (u *url) port() string port 返回 u.host 的端口部分,不带前导冒号。如果 u.host 不包含端口,则 port 返回空字符串。
func (*url) parse func (u *url) parse(ref string) (*url, error) parse 方法以 u 为上下文来解析一个 url,ref 可以是绝对或相对 url。
本方法解析失败会返回 nil, err;否则返回结果和 resolvereference 一致。
举例:
package main import( fmt net/url log)func main() { base, err := url.parse(http://example.com/directory/) if err != nil { log.fatal(err) } fmt.println(base) result, err := base.parse(./search?q=dotnet) if err != nil { log.fatal(err) } fmt.println(result)} 返回:
bogon:~ user$ go run testgo.go http://example.com/directory/http://example.com/directory/search?q=dotnet func (*url) resolvereference func (u *url) resolvereference(ref *url) *url 本方法根据一个绝对 uri 将一个 uri 补全为一个绝对 uri,参见 rfc 3986 节 5.2。参数 ref 可以是绝对 uri 或者相对 uri。resolvereference 总是返回一个新的 url 实例,即使该实例和 u 或者 ref 完全一样。如果 ref 是绝对 uri,本方法会忽略参照 uri 并返回 ref 的一个拷贝。
举例:
当 ref 是相对路径,则其将会相对于 u 来得到其的绝对路径:
package main import( fmt net/url log)func main() { //该相对路径的意思是 u, err := url.parse(../../..//search?q=dotnet)//相对路径的不同会影响返回的结果 if err != nil { log.fatal(err) } fmt.println(u) base, err := url.parse(http://example.com/directory/) if err != nil { log.fatal(err) } fmt.println(base) fmt.println(base.resolvereference(u))} 返回:
bogon:~ user$ go run testgo.go ../../..//search?q=dotnethttp://example.com/directory/http://example.com/search?q=dotnet 如果相对路径为。./..//search?q=dotnet,返回结果是相同的,即 http://example.com/search?q=dotnet
但是如果相对路径为。.//search?q=dotnet,将返回 http://example.com//search?q=dotnet,这并不是我们想要的结果。如果想要相对于 directory 目录,则相对路径写成。/search?q=dotnet
func (u *url) marshalbinary() (text []byte, err error) func (u *url) marshalbinary() (text []byte, err error) 举例:
package main import( fmt net/url log reflect)func main() { u, _ := url.parse(https://example.org) b, err := u.marshalbinary() //将其转成二进制 if err != nil { log.fatal(err) } fmt.println(reflect.typeof(b)) //[]uint8 fmt.println(b) //[104 116 116 112 115 58 47 47 101 120 97 109 112 108 101 46 111 114 103] fmt.printf(%s, b) //https://example.org} func (*url) unmarshalbinary   func (u *url) unmarshalbinary(text []byte) error 举例:
package main import( fmt net/url log reflect)func main() { u := &url.url{} //将其从二进制转成 url.url 类型 err := u.unmarshalbinary([]byte(https://example.org:8000/foo)) if err != nil { log.fatal(err) } fmt.println(reflect.typeof(u)) //*url.url fmt.println(u) //https://example.org:8000/foo fmt.println(u.hostname()) //example.org fmt.println(u.port()) //8000} type userinfo type userinfo struct { // 内含隐藏或非导出字段} userinfo 类型是一个 url 的用户名和密码细节的一个不可修改的封装。一个真实存在的 userinfo 值必须保证有用户名(但根据 rfc 2396 可以是空字符串)以及一个可选的密码。
func user func user(username string) *userinfo user 函数返回一个用户名设置为 username 的不设置密码的* userinfo。
  func userpassword  
func userpassword(username, password string) *userinfo userpassword 函数返回一个用户名设置为 username、密码设置为 password 的* userinfo。
这个函数应该只用于老式的站点,因为风险很大,不建议使用,参见 rfc 2396。
  func (*userinfo) username func (u *userinfo) username() string username 方法返回用户名。
  func (*userinfo) password  
func (u *userinfo) password() (string, bool) 如果设置了密码返回密码和真,否则会返回假。
  func (*userinfo) string  
func (u *userinfo) string() string string 方法返回编码后的用户信息,格式为username[:password]。
举例:
package main import( fmt net/url log)func main() { u := &url.url{ scheme: https, user: url.userpassword(me, pass), host: example.com, path: foo/bar, rawquery: x=1&y=2, fragment: anchor, } fmt.println(u.user.username()) //me password, b := u.user.password() if b == false{ log.fatal(can not get password) } fmt.println(password) //pass fmt.println(u.user.string()) //me:pass} type values type values map[string][]string values 将建映射到值的列表。它一般用于查询的参数和表单的属性。不同于 http.header 这个字典类型,values 的键是大小写敏感的。
func parsequery func parsequery(query string) (m values, err error) parsequery 函数解析一个 url 编码的查询字符串,并返回可以表示该查询的 values 类型的字典。本函数总是返回一个包含了所有合法查询参数的非 nil 字典,err 用来描述解码时遇到的(如果有)第一个错误。
举例:
package main import( fmt net/url log)func main() { v, err := url.parsequery(friend=jess&friend=sarah&fruit=apple&name=ava) if err != nil { log.fatal(err) } fmt.println(v) //map[friend:[jess sarah] fruit:[apple] name:[ava]]} func (values) get func (v values) get(key string) string get 会获取 key 对应的值集的第一个值。如果没有对应 key 的值集会返回空字符串。获取值集请直接用 map。
func (values) set func (v values) set(key, value string) set 方法将 key 对应的值集设为只有 value,它会替换掉已有的值集。
  func (values) add func (v values) add(key, value string) add 将 value 添加到 key 关联的值集里原有的值的后面。
func (values) del func (v values) del(key string) del 删除 key 关联的值集。   func (values) encode func (v values) encode() string encode 方法将 v 编码为 url 编码格式 (bar=baz&foo=quux),编码时会以键进行排序。
举例:
package main import( fmt net/url)func main() { v := url.values{} v.set(name, ava) v.add(friend, jess) v.add(friend, sarah) v.add(fruit, apple) fmt.println(v.get(name)) fmt.println(v.get(friend)) fmt.println(v[friend]) fmt.println(v.encode()) v.del(name) fmt.println(v.encode())} 返回:
bogon:~ user$ go run testgo.go avajess[jess sarah]friend=jess&friend=sarah&fruit=apple&name=avafriend=jess&friend=sarah&fruit=apple  


浅析STVD(COSMIC)定义变量及其位定义
OPPO Reno2 Z内置MediaTek Helio P90,拍摄更美
基于RFID应用的通用型控制器的设计方案
电视面板全线涨价 显示器和笔记本维持原状
Atheros推出ROCm单芯片11n AR6003
go语言标准库net/url库的过程
英特尔CEO欧德宁:高通是我们真正的竞争对手
全球最大蜘蛛机器人诞生:这个蜘蛛机器人到底是干什么用
CS5267 TYPEC转HDMI4K 60HZ带PD3.0
诺基亚发布旗舰机,6摄+70倍+联发科天玑1000
新技术帮助多核满足安全关键标准
什么叫焊接?什么是焊接?
AP5191 DC-DC降压恒流芯片 车灯 日行灯线路图
Intersil新款模拟开关开态电阻低于0.5Ω
AI趋势报告 中美专利申请和科学出版数遥遥领先
区块链是如何解决招标问题的?
MAX1401 +3V、18位、低功耗、多通道、过采样(Σ-
通信专业转行Java工程师的经历
利用Molex莫仕镜像式Mirror Mezz连接器实现可扩展性和升级
什么是谐波保护器?医用谐波保护装置