Hex Artifact Content

Artifact 6a56c0db7f8070bb78563d04564e6f4ca473e1a1:


0000: 23 21 20 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20  #! /usr/bin/env 
0010: 74 63 6c 73 68 0a 0a 70 61 63 6b 61 67 65 20 72  tclsh..package r
0020: 65 71 75 69 72 65 20 68 74 74 70 20 32 2e 37 0a  equire http 2.7.
0030: 70 61 63 6b 61 67 65 20 72 65 71 75 69 72 65 20  package require 
0040: 73 71 6c 69 74 65 33 0a 70 61 63 6b 61 67 65 20  sqlite3.package 
0050: 72 65 71 75 69 72 65 20 73 68 61 31 0a 0a 6e 61  require sha1..na
0060: 6d 65 73 70 61 63 65 20 65 76 61 6c 20 3a 3a 61  mespace eval ::a
0070: 70 70 66 73 20 7b 0a 09 76 61 72 69 61 62 6c 65  ppfs {..variable
0080: 20 63 61 63 68 65 64 69 72 20 22 2f 74 6d 70 2f   cachedir "/tmp/
0090: 61 70 70 66 73 2d 63 61 63 68 65 22 0a 09 76 61  appfs-cache"..va
00a0: 72 69 61 62 6c 65 20 74 74 6c 20 33 36 30 30 0a  riable ttl 3600.
00b0: 09 76 61 72 69 61 62 6c 65 20 6e 74 74 6c 20 36  .variable nttl 6
00c0: 30 0a 0a 09 70 72 6f 63 20 5f 68 61 73 68 5f 73  0...proc _hash_s
00d0: 65 70 20 7b 68 61 73 68 20 7b 73 65 70 73 20 34  ep {hash {seps 4
00e0: 7d 7d 20 7b 0a 09 09 66 6f 72 20 7b 73 65 74 20  }} {...for {set 
00f0: 69 64 78 20 30 7d 20 7b 24 69 64 78 20 3c 20 24  idx 0} {$idx < $
0100: 73 65 70 73 7d 20 7b 69 6e 63 72 20 69 64 78 7d  seps} {incr idx}
0110: 20 7b 0a 09 09 09 61 70 70 65 6e 64 20 72 65 74   {....append ret
0120: 76 61 6c 20 22 5b 73 74 72 69 6e 67 20 72 61 6e  val "[string ran
0130: 67 65 20 24 68 61 73 68 20 5b 65 78 70 72 20 7b  ge $hash [expr {
0140: 24 69 64 78 20 2a 20 32 7d 5d 20 5b 65 78 70 72  $idx * 2}] [expr
0150: 20 7b 28 24 69 64 78 20 2a 20 32 29 20 2b 20 31   {($idx * 2) + 1
0160: 7d 5d 5d 2f 22 0a 09 09 7d 0a 09 09 61 70 70 65  }]]/"...}...appe
0170: 6e 64 20 72 65 74 76 61 6c 20 22 5b 73 74 72 69  nd retval "[stri
0180: 6e 67 20 72 61 6e 67 65 20 24 68 61 73 68 20 5b  ng range $hash [
0190: 65 78 70 72 20 7b 24 69 64 78 20 2a 20 32 7d 5d  expr {$idx * 2}]
01a0: 20 65 6e 64 5d 22 0a 0a 09 09 72 65 74 75 72 6e   end]"....return
01b0: 20 24 72 65 74 76 61 6c 0a 09 7d 0a 0a 09 70 72   $retval..}...pr
01c0: 6f 63 20 5f 63 61 63 68 65 66 69 6c 65 20 7b 75  oc _cachefile {u
01d0: 72 6c 20 6b 65 79 20 7b 6b 65 79 49 73 48 61 73  rl key {keyIsHas
01e0: 68 20 31 7d 7d 20 7b 0a 09 09 73 65 74 20 66 69  h 1}} {...set fi
01f0: 6c 65 6b 65 79 20 24 6b 65 79 0a 09 09 69 66 20  lekey $key...if 
0200: 7b 24 6b 65 79 49 73 48 61 73 68 7d 20 7b 0a 09  {$keyIsHash} {..
0210: 09 09 73 65 74 20 66 69 6c 65 6b 65 79 20 5b 5f  ..set filekey [_
0220: 68 61 73 68 5f 73 65 70 20 24 66 69 6c 65 6b 65  hash_sep $fileke
0230: 79 5d 0a 09 09 7d 0a 0a 09 09 73 65 74 20 66 69  y]...}....set fi
0240: 6c 65 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 24 3a  le [file join $:
0250: 3a 61 70 70 66 73 3a 3a 63 61 63 68 65 64 69 72  :appfs::cachedir
0260: 20 24 66 69 6c 65 6b 65 79 5d 0a 0a 09 09 66 69   $filekey]....fi
0270: 6c 65 20 6d 6b 64 69 72 20 5b 66 69 6c 65 20 64  le mkdir [file d
0280: 69 72 6e 61 6d 65 20 24 66 69 6c 65 5d 0a 0a 09  irname $file]...
0290: 09 69 66 20 7b 21 5b 66 69 6c 65 20 65 78 69 73  .if {![file exis
02a0: 74 73 20 24 66 69 6c 65 5d 7d 20 7b 0a 09 09 09  ts $file]} {....
02b0: 73 65 74 20 74 6d 70 66 69 6c 65 20 22 24 7b 66  set tmpfile "${f
02c0: 69 6c 65 7d 2e 6e 65 77 22 0a 0a 09 09 09 73 65  ile}.new".....se
02d0: 74 20 66 64 20 5b 6f 70 65 6e 20 24 74 6d 70 66  t fd [open $tmpf
02e0: 69 6c 65 20 22 77 22 5d 0a 09 09 09 66 63 6f 6e  ile "w"]....fcon
02f0: 66 69 67 75 72 65 20 24 66 64 20 2d 74 72 61 6e  figure $fd -tran
0300: 73 6c 61 74 69 6f 6e 20 62 69 6e 61 72 79 0a 0a  slation binary..
0310: 09 09 09 63 61 74 63 68 20 7b 0a 09 09 09 09 73  ...catch {.....s
0320: 65 74 20 74 6f 6b 65 6e 20 5b 3a 3a 68 74 74 70  et token [::http
0330: 3a 3a 67 65 74 75 72 6c 20 24 75 72 6c 20 2d 63  ::geturl $url -c
0340: 68 61 6e 6e 65 6c 20 24 66 64 20 2d 62 69 6e 61  hannel $fd -bina
0350: 72 79 20 74 72 75 65 5d 0a 09 09 09 7d 0a 0a 09  ry true]....}...
0360: 09 09 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73  ..if {[info exis
0370: 74 73 20 74 6f 6b 65 6e 5d 7d 20 7b 0a 09 09 09  ts token]} {....
0380: 09 73 65 74 20 6e 63 6f 64 65 20 5b 3a 3a 68 74  .set ncode [::ht
0390: 74 70 3a 3a 6e 63 6f 64 65 20 24 74 6f 6b 65 6e  tp::ncode $token
03a0: 5d 0a 09 09 09 09 3a 3a 68 74 74 70 3a 3a 72 65  ].....::http::re
03b0: 73 65 74 20 24 74 6f 6b 65 6e 0a 09 09 09 7d 20  set $token....} 
03c0: 65 6c 73 65 20 7b 0a 09 09 09 09 73 65 74 20 6e  else {.....set n
03d0: 63 6f 64 65 20 22 39 30 30 22 0a 09 09 09 7d 0a  code "900"....}.
03e0: 0a 09 09 09 63 6c 6f 73 65 20 24 66 64 0a 0a 09  ....close $fd...
03f0: 09 09 69 66 20 7b 24 6b 65 79 49 73 48 61 73 68  ..if {$keyIsHash
0400: 7d 20 7b 0a 09 09 09 09 73 65 74 20 68 61 73 68  } {.....set hash
0410: 20 22 5f 5f 55 4e 41 42 4c 45 5f 54 4f 5f 43 4f   "__UNABLE_TO_CO
0420: 4d 50 55 54 45 5f 48 41 53 48 5f 5f 22 0a 09 09  MPUTE_HASH__"...
0430: 09 09 63 61 74 63 68 20 7b 0a 09 09 09 09 09 73  ..catch {......s
0440: 65 74 20 68 61 73 68 20 5b 73 74 72 69 6e 67 20  et hash [string 
0450: 74 6f 6c 6f 77 65 72 20 5b 73 68 61 31 3a 3a 73  tolower [sha1::s
0460: 68 61 31 20 2d 68 65 78 20 2d 66 69 6c 65 20 24  ha1 -hex -file $
0470: 74 6d 70 66 69 6c 65 5d 5d 0a 09 09 09 09 7d 0a  tmpfile]].....}.
0480: 09 09 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 09  ...} else {.....
0490: 73 65 74 20 68 61 73 68 20 24 6b 65 79 0a 09 09  set hash $key...
04a0: 09 7d 0a 0a 09 09 09 69 66 20 7b 24 6e 63 6f 64  .}.....if {$ncod
04b0: 65 20 3d 3d 20 22 32 30 30 22 20 26 26 20 24 68  e == "200" && $h
04c0: 61 73 68 20 3d 3d 20 24 6b 65 79 7d 20 7b 0a 09  ash == $key} {..
04d0: 09 09 09 66 69 6c 65 20 72 65 6e 61 6d 65 20 2d  ...file rename -
04e0: 66 6f 72 63 65 20 2d 2d 20 24 74 6d 70 66 69 6c  force -- $tmpfil
04f0: 65 20 24 66 69 6c 65 0a 09 09 09 7d 20 65 6c 73  e $file....} els
0500: 65 20 7b 0a 09 09 09 09 66 69 6c 65 20 64 65 6c  e {.....file del
0510: 65 74 65 20 2d 66 6f 72 63 65 20 2d 2d 20 24 74  ete -force -- $t
0520: 6d 70 66 69 6c 65 0a 09 09 09 7d 0a 09 09 7d 0a  mpfile....}...}.
0530: 0a 09 09 72 65 74 75 72 6e 20 24 66 69 6c 65 0a  ...return $file.
0540: 09 7d 0a 0a 0a 09 70 72 6f 63 20 5f 69 73 48 61  .}....proc _isHa
0550: 73 68 20 7b 76 61 6c 75 65 7d 20 7b 0a 09 09 73  sh {value} {...s
0560: 65 74 20 76 61 6c 75 65 20 5b 73 74 72 69 6e 67  et value [string
0570: 20 74 6f 6c 6f 77 65 72 20 24 76 61 6c 75 65 5d   tolower $value]
0580: 0a 0a 09 09 69 66 20 7b 5b 73 74 72 69 6e 67 20  ....if {[string 
0590: 6c 65 6e 67 74 68 20 24 76 61 6c 75 65 5d 20 21  length $value] !
05a0: 3d 20 34 30 7d 20 7b 0a 09 09 09 72 65 74 75 72  = 40} {....retur
05b0: 6e 20 66 61 6c 73 65 0a 09 09 7d 0a 0a 09 09 69  n false...}....i
05c0: 66 20 7b 21 5b 72 65 67 65 78 70 20 7b 5e 5b 30  f {![regexp {^[0
05d0: 2d 39 61 2d 66 5d 2a 24 7d 20 24 76 61 6c 75 65  -9a-f]*$} $value
05e0: 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20 66  ]} {....return f
05f0: 61 6c 73 65 0a 09 09 7d 0a 0a 09 09 72 65 74 75  alse...}....retu
0600: 72 6e 20 74 72 75 65 0a 09 7d 0a 0a 09 70 72 6f  rn true..}...pro
0610: 63 20 5f 64 62 20 7b 61 72 67 73 7d 20 7b 0a 09  c _db {args} {..
0620: 09 72 65 74 75 72 6e 20 5b 75 70 6c 65 76 65 6c  .return [uplevel
0630: 20 31 20 5b 6c 69 73 74 20 3a 3a 61 70 70 66 73   1 [list ::appfs
0640: 3a 3a 64 62 20 7b 2a 7d 24 61 72 67 73 5d 5d 0a  ::db {*}$args]].
0650: 09 7d 0a 0a 09 70 72 6f 63 20 5f 6e 6f 72 6d 61  .}...proc _norma
0660: 6c 69 7a 65 4f 53 20 7b 6f 73 7d 20 7b 0a 09 09  lizeOS {os} {...
0670: 73 65 74 20 6f 73 20 5b 73 74 72 69 6e 67 20 74  set os [string t
0680: 6f 6c 6f 77 65 72 20 5b 73 74 72 69 6e 67 20 74  olower [string t
0690: 72 69 6d 20 24 6f 73 5d 5d 0a 0a 09 09 73 77 69  rim $os]]....swi
06a0: 74 63 68 20 2d 2d 20 24 6f 73 20 7b 0a 09 09 09  tch -- $os {....
06b0: 22 6c 69 6e 75 78 22 20 2d 20 22 66 72 65 65 62  "linux" - "freeb
06c0: 73 64 22 20 2d 20 22 6f 70 65 6e 62 73 64 22 20  sd" - "openbsd" 
06d0: 2d 20 22 6e 65 74 62 73 64 22 20 7b 0a 09 09 09  - "netbsd" {....
06e0: 09 72 65 74 75 72 6e 20 24 6f 73 0a 09 09 09 7d  .return $os....}
06f0: 0a 09 09 09 22 73 75 6e 6f 73 22 20 7b 0a 09 09  ...."sunos" {...
0700: 09 09 72 65 74 75 72 6e 20 22 73 6f 6c 61 72 69  ..return "solari
0710: 73 22 0a 09 09 09 7d 0a 09 09 7d 0a 0a 09 09 72  s"....}...}....r
0720: 65 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72 6f  eturn -code erro
0730: 72 20 22 55 6e 61 62 6c 65 20 74 6f 20 6e 6f 72  r "Unable to nor
0740: 6d 61 6c 69 7a 65 20 4f 53 3a 20 24 6f 73 22 0a  malize OS: $os".
0750: 09 7d 0a 0a 09 70 72 6f 63 20 5f 6e 6f 72 6d 61  .}...proc _norma
0760: 6c 69 7a 65 43 50 55 20 7b 63 70 75 7d 20 7b 0a  lizeCPU {cpu} {.
0770: 09 09 73 65 74 20 63 70 75 20 5b 73 74 72 69 6e  ..set cpu [strin
0780: 67 20 74 6f 6c 6f 77 65 72 20 5b 73 74 72 69 6e  g tolower [strin
0790: 67 20 74 72 69 6d 20 24 63 70 75 5d 5d 0a 0a 09  g trim $cpu]]...
07a0: 09 73 77 69 74 63 68 20 2d 67 6c 6f 62 20 2d 2d  .switch -glob --
07b0: 20 24 63 70 75 20 7b 0a 09 09 09 22 69 3f 38 36   $cpu {...."i?86
07c0: 22 20 7b 0a 09 09 09 09 72 65 74 75 72 6e 20 22  " {.....return "
07d0: 69 78 38 36 22 0a 09 09 09 7d 0a 09 09 09 22 78  ix86"....}...."x
07e0: 38 36 5f 36 34 22 20 7b 0a 09 09 09 09 72 65 74  86_64" {.....ret
07f0: 75 72 6e 20 24 63 70 75 0a 09 09 09 7d 0a 09 09  urn $cpu....}...
0800: 7d 0a 0a 09 09 72 65 74 75 72 6e 20 2d 63 6f 64  }....return -cod
0810: 65 20 65 72 72 6f 72 20 22 55 6e 61 62 6c 65 20  e error "Unable 
0820: 74 6f 20 6e 6f 72 6d 61 6c 69 7a 65 20 43 50 55  to normalize CPU
0830: 3a 20 24 63 70 75 22 0a 09 7d 0a 0a 09 70 72 6f  : $cpu"..}...pro
0840: 63 20 69 6e 69 74 20 7b 7d 20 7b 0a 09 09 69 66  c init {} {...if
0850: 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74 73 20 3a   {[info exists :
0860: 3a 61 70 70 66 73 3a 3a 69 6e 69 74 5f 63 61 6c  :appfs::init_cal
0870: 6c 65 64 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72  led]} {....retur
0880: 6e 0a 09 09 7d 0a 0a 09 09 73 65 74 20 3a 3a 61  n...}....set ::a
0890: 70 70 66 73 3a 3a 69 6e 69 74 5f 63 61 6c 6c 65  ppfs::init_calle
08a0: 64 20 31 0a 0a 09 09 69 66 20 7b 21 5b 69 6e 66  d 1....if {![inf
08b0: 6f 20 65 78 69 73 74 73 20 3a 3a 61 70 70 66 73  o exists ::appfs
08c0: 3a 3a 64 62 5d 7d 20 7b 0a 09 09 09 66 69 6c 65  ::db]} {....file
08d0: 20 6d 6b 64 69 72 20 24 3a 3a 61 70 70 66 73 3a   mkdir $::appfs:
08e0: 3a 63 61 63 68 65 64 69 72 0a 0a 09 09 09 73 71  :cachedir.....sq
08f0: 6c 69 74 65 33 20 3a 3a 61 70 70 66 73 3a 3a 64  lite3 ::appfs::d
0900: 62 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 24 3a 3a  b [file join $::
0910: 61 70 70 66 73 3a 3a 63 61 63 68 65 64 69 72 20  appfs::cachedir 
0920: 63 61 63 68 65 2e 64 62 5d 0a 09 09 7d 0a 0a 09  cache.db]...}...
0930: 09 23 20 43 72 65 61 74 65 20 74 61 62 6c 65 73  .# Create tables
0940: 0a 09 09 5f 64 62 20 65 76 61 6c 20 7b 43 52 45  ..._db eval {CRE
0950: 41 54 45 20 54 41 42 4c 45 20 49 46 20 4e 4f 54  ATE TABLE IF NOT
0960: 20 45 58 49 53 54 53 20 73 69 74 65 73 28 68 6f   EXISTS sites(ho
0970: 73 74 6e 61 6d 65 20 50 52 49 4d 41 52 59 20 4b  stname PRIMARY K
0980: 45 59 2c 20 6c 61 73 74 55 70 64 61 74 65 2c 20  EY, lastUpdate, 
0990: 74 74 6c 29 3b 7d 0a 09 09 5f 64 62 20 65 76 61  ttl);}..._db eva
09a0: 6c 20 7b 43 52 45 41 54 45 20 54 41 42 4c 45 20  l {CREATE TABLE 
09b0: 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20 70 61  IF NOT EXISTS pa
09c0: 63 6b 61 67 65 73 28 68 6f 73 74 6e 61 6d 65 2c  ckages(hostname,
09d0: 20 73 68 61 31 2c 20 70 61 63 6b 61 67 65 2c 20   sha1, package, 
09e0: 76 65 72 73 69 6f 6e 2c 20 6f 73 2c 20 63 70 75  version, os, cpu
09f0: 41 72 63 68 2c 20 69 73 4c 61 74 65 73 74 2c 20  Arch, isLatest, 
0a00: 68 61 76 65 4d 61 6e 69 66 65 73 74 29 3b 7d 0a  haveManifest);}.
0a10: 09 09 5f 64 62 20 65 76 61 6c 20 7b 43 52 45 41  .._db eval {CREA
0a20: 54 45 20 54 41 42 4c 45 20 49 46 20 4e 4f 54 20  TE TABLE IF NOT 
0a30: 45 58 49 53 54 53 20 66 69 6c 65 73 28 70 61 63  EXISTS files(pac
0a40: 6b 61 67 65 5f 73 68 61 31 2c 20 74 79 70 65 2c  kage_sha1, type,
0a50: 20 74 69 6d 65 2c 20 73 6f 75 72 63 65 2c 20 73   time, source, s
0a60: 69 7a 65 2c 20 70 65 72 6d 73 2c 20 66 69 6c 65  ize, perms, file
0a70: 5f 73 68 61 31 2c 20 66 69 6c 65 5f 6e 61 6d 65  _sha1, file_name
0a80: 2c 20 66 69 6c 65 5f 64 69 72 65 63 74 6f 72 79  , file_directory
0a90: 29 3b 7d 0a 0a 09 09 23 20 43 72 65 61 74 65 20  );}....# Create 
0aa0: 69 6e 64 65 78 65 73 0a 09 09 5f 64 62 20 65 76  indexes..._db ev
0ab0: 61 6c 20 7b 43 52 45 41 54 45 20 49 4e 44 45 58  al {CREATE INDEX
0ac0: 20 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20 73   IF NOT EXISTS s
0ad0: 69 74 65 73 5f 69 6e 64 65 78 20 4f 4e 20 73 69  ites_index ON si
0ae0: 74 65 73 20 28 68 6f 73 74 6e 61 6d 65 29 3b 7d  tes (hostname);}
0af0: 0a 09 09 5f 64 62 20 65 76 61 6c 20 7b 43 52 45  ..._db eval {CRE
0b00: 41 54 45 20 49 4e 44 45 58 20 49 46 20 4e 4f 54  ATE INDEX IF NOT
0b10: 20 45 58 49 53 54 53 20 70 61 63 6b 61 67 65 73   EXISTS packages
0b20: 5f 69 6e 64 65 78 20 4f 4e 20 70 61 63 6b 61 67  _index ON packag
0b30: 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20 70 61  es (hostname, pa
0b40: 63 6b 61 67 65 2c 20 76 65 72 73 69 6f 6e 2c 20  ckage, version, 
0b50: 6f 73 2c 20 63 70 75 41 72 63 68 29 3b 7d 0a 09  os, cpuArch);}..
0b60: 09 5f 64 62 20 65 76 61 6c 20 7b 43 52 45 41 54  ._db eval {CREAT
0b70: 45 20 49 4e 44 45 58 20 49 46 20 4e 4f 54 20 45  E INDEX IF NOT E
0b80: 58 49 53 54 53 20 66 69 6c 65 73 5f 69 6e 64 65  XISTS files_inde
0b90: 78 20 4f 4e 20 66 69 6c 65 73 20 28 70 61 63 6b  x ON files (pack
0ba0: 61 67 65 5f 73 68 61 31 2c 20 66 69 6c 65 5f 6e  age_sha1, file_n
0bb0: 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72 65 63 74  ame, file_direct
0bc0: 6f 72 79 29 3b 7d 0a 09 7d 0a 0a 09 70 72 6f 63  ory);}..}...proc
0bd0: 20 64 6f 77 6e 6c 6f 61 64 20 7b 68 6f 73 74 6e   download {hostn
0be0: 61 6d 65 20 68 61 73 68 20 7b 6d 65 74 68 6f 64  ame hash {method
0bf0: 20 73 68 61 31 7d 7d 20 7b 0a 09 09 73 65 74 20   sha1}} {...set 
0c00: 75 72 6c 20 22 68 74 74 70 3a 2f 2f 24 68 6f 73  url "http://$hos
0c10: 74 6e 61 6d 65 2f 61 70 70 66 73 2f 24 6d 65 74  tname/appfs/$met
0c20: 68 6f 64 2f 24 68 61 73 68 22 0a 09 09 73 65 74  hod/$hash"...set
0c30: 20 66 69 6c 65 20 5b 5f 63 61 63 68 65 66 69 6c   file [_cachefil
0c40: 65 20 24 75 72 6c 20 24 68 61 73 68 5d 0a 0a 09  e $url $hash]...
0c50: 09 69 66 20 7b 21 5b 66 69 6c 65 20 65 78 69 73  .if {![file exis
0c60: 74 73 20 24 66 69 6c 65 5d 7d 20 7b 0a 09 09 09  ts $file]} {....
0c70: 72 65 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72  return -code err
0c80: 6f 72 20 22 55 6e 61 62 6c 65 20 74 6f 20 66 65  or "Unable to fe
0c90: 74 63 68 22 0a 09 09 7d 0a 0a 09 09 72 65 74 75  tch"...}....retu
0ca0: 72 6e 20 24 66 69 6c 65 0a 09 7d 0a 0a 09 70 72  rn $file..}...pr
0cb0: 6f 63 20 67 65 74 69 6e 64 65 78 20 7b 68 6f 73  oc getindex {hos
0cc0: 74 6e 61 6d 65 7d 20 7b 0a 09 09 73 65 74 20 6e  tname} {...set n
0cd0: 6f 77 20 5b 63 6c 6f 63 6b 20 73 65 63 6f 6e 64  ow [clock second
0ce0: 73 5d 0a 0a 09 09 73 65 74 20 6c 61 73 74 55 70  s]....set lastUp
0cf0: 64 61 74 65 73 20 5b 5f 64 62 20 65 76 61 6c 20  dates [_db eval 
0d00: 7b 53 45 4c 45 43 54 20 6c 61 73 74 55 70 64 61  {SELECT lastUpda
0d10: 74 65 2c 20 74 74 6c 20 46 52 4f 4d 20 73 69 74  te, ttl FROM sit
0d20: 65 73 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d  es WHERE hostnam
0d30: 65 20 3d 20 24 68 6f 73 74 6e 61 6d 65 20 4c 49  e = $hostname LI
0d40: 4d 49 54 20 31 3b 7d 5d 0a 09 09 69 66 20 7b 5b  MIT 1;}]...if {[
0d50: 6c 6c 65 6e 67 74 68 20 24 6c 61 73 74 55 70 64  llength $lastUpd
0d60: 61 74 65 73 5d 20 3d 3d 20 30 7d 20 7b 0a 09 09  ates] == 0} {...
0d70: 09 73 65 74 20 6c 61 73 74 55 70 64 61 74 65 20  .set lastUpdate 
0d80: 30 0a 09 09 09 73 65 74 20 74 74 6c 20 30 0a 09  0....set ttl 0..
0d90: 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 73 65 74  .} else {....set
0da0: 20 6c 61 73 74 55 70 64 61 74 65 20 5b 6c 69 6e   lastUpdate [lin
0db0: 64 65 78 20 24 6c 61 73 74 55 70 64 61 74 65 73  dex $lastUpdates
0dc0: 20 30 5d 0a 09 09 09 73 65 74 20 74 74 6c 20 5b   0]....set ttl [
0dd0: 6c 69 6e 64 65 78 20 24 6c 61 73 74 55 70 64 61  lindex $lastUpda
0de0: 74 65 73 20 31 5d 0a 09 09 7d 0a 0a 09 09 69 66  tes 1]...}....if
0df0: 20 7b 24 6e 6f 77 20 3c 20 28 24 6c 61 73 74 55   {$now < ($lastU
0e00: 70 64 61 74 65 20 2b 20 24 74 74 6c 29 7d 20 7b  pdate + $ttl)} {
0e10: 0a 09 09 09 72 65 74 75 72 6e 20 43 4f 4d 50 4c  ....return COMPL
0e20: 45 54 45 0a 09 09 7d 0a 0a 09 09 69 66 20 7b 5b  ETE...}....if {[
0e30: 73 74 72 69 6e 67 20 6d 61 74 63 68 20 22 2a 5c  string match "*\
0e40: 5b 2f 7e 5c 5d 2a 22 20 24 68 6f 73 74 6e 61 6d  [/~\]*" $hostnam
0e50: 65 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20  e]} {....return 
0e60: 2d 63 6f 64 65 20 65 72 72 6f 72 20 22 49 6e 76  -code error "Inv
0e70: 61 6c 69 64 20 68 6f 73 74 6e 61 6d 65 22 0a 09  alid hostname"..
0e80: 09 7d 0a 0a 09 09 73 65 74 20 75 72 6c 20 22 68  .}....set url "h
0e90: 74 74 70 3a 2f 2f 24 68 6f 73 74 6e 61 6d 65 2f  ttp://$hostname/
0ea0: 61 70 70 66 73 2f 69 6e 64 65 78 22 0a 0a 09 09  appfs/index"....
0eb0: 63 61 74 63 68 20 7b 0a 09 09 09 73 65 74 20 74  catch {....set t
0ec0: 6f 6b 65 6e 20 5b 3a 3a 68 74 74 70 3a 3a 67 65  oken [::http::ge
0ed0: 74 75 72 6c 20 24 75 72 6c 5d 0a 09 09 09 69 66  turl $url]....if
0ee0: 20 7b 5b 3a 3a 68 74 74 70 3a 3a 6e 63 6f 64 65   {[::http::ncode
0ef0: 20 24 74 6f 6b 65 6e 5d 20 3d 3d 20 22 32 30 30   $token] == "200
0f00: 22 7d 20 7b 0a 09 09 09 09 73 65 74 20 69 6e 64  "} {.....set ind
0f10: 65 78 68 61 73 68 5f 64 61 74 61 20 5b 3a 3a 68  exhash_data [::h
0f20: 74 74 70 3a 3a 64 61 74 61 20 24 74 6f 6b 65 6e  ttp::data $token
0f30: 5d 0a 09 09 09 7d 0a 09 09 09 3a 3a 68 74 74 70  ]....}....::http
0f40: 3a 3a 72 65 73 65 74 20 24 74 6f 6b 65 6e 0a 09  ::reset $token..
0f50: 09 09 24 74 6f 6b 65 6e 20 63 6c 65 61 6e 75 70  ..$token cleanup
0f60: 0a 09 09 7d 0a 0a 09 09 69 66 20 7b 21 5b 69 6e  ...}....if {![in
0f70: 66 6f 20 65 78 69 73 74 73 20 69 6e 64 65 78 68  fo exists indexh
0f80: 61 73 68 5f 64 61 74 61 5d 7d 20 7b 0a 09 09 09  ash_data]} {....
0f90: 23 20 43 61 63 68 65 20 74 68 69 73 20 72 65 73  # Cache this res
0fa0: 75 6c 74 20 66 6f 72 20 36 30 20 73 65 63 6f 6e  ult for 60 secon
0fb0: 64 73 0a 09 09 09 5f 64 62 20 65 76 61 6c 20 7b  ds...._db eval {
0fc0: 49 4e 53 45 52 54 20 4f 52 20 52 45 50 4c 41 43  INSERT OR REPLAC
0fd0: 45 20 49 4e 54 4f 20 73 69 74 65 73 20 28 68 6f  E INTO sites (ho
0fe0: 73 74 6e 61 6d 65 2c 20 6c 61 73 74 55 70 64 61  stname, lastUpda
0ff0: 74 65 2c 20 74 74 6c 29 20 56 41 4c 55 45 53 20  te, ttl) VALUES 
1000: 28 24 68 6f 73 74 6e 61 6d 65 2c 20 24 6e 6f 77  ($hostname, $now
1010: 2c 20 24 3a 3a 61 70 70 66 73 3a 3a 6e 74 74 6c  , $::appfs::nttl
1020: 29 3b 7d 0a 0a 09 09 09 72 65 74 75 72 6e 20 2d  );}.....return -
1030: 63 6f 64 65 20 65 72 72 6f 72 20 22 55 6e 61 62  code error "Unab
1040: 6c 65 20 74 6f 20 66 65 74 63 68 20 24 75 72 6c  le to fetch $url
1050: 22 0a 09 09 7d 0a 0a 09 09 73 65 74 20 69 6e 64  "...}....set ind
1060: 65 78 68 61 73 68 20 5b 6c 69 6e 64 65 78 20 5b  exhash [lindex [
1070: 73 70 6c 69 74 20 24 69 6e 64 65 78 68 61 73 68  split $indexhash
1080: 5f 64 61 74 61 20 22 2c 22 5d 20 30 5d 0a 0a 09  _data ","] 0]...
1090: 09 69 66 20 7b 21 5b 5f 69 73 48 61 73 68 20 24  .if {![_isHash $
10a0: 69 6e 64 65 78 68 61 73 68 5d 7d 20 7b 0a 09 09  indexhash]} {...
10b0: 09 72 65 74 75 72 6e 20 2d 63 6f 64 65 20 65 72  .return -code er
10c0: 72 6f 72 20 22 49 6e 76 61 6c 69 64 20 68 61 73  ror "Invalid has
10d0: 68 3a 20 24 69 6e 64 65 78 68 61 73 68 22 0a 09  h: $indexhash"..
10e0: 09 7d 0a 0a 09 09 73 65 74 20 66 69 6c 65 20 5b  .}....set file [
10f0: 64 6f 77 6e 6c 6f 61 64 20 24 68 6f 73 74 6e 61  download $hostna
1100: 6d 65 20 24 69 6e 64 65 78 68 61 73 68 5d 0a 09  me $indexhash]..
1110: 09 73 65 74 20 66 64 20 5b 6f 70 65 6e 20 24 66  .set fd [open $f
1120: 69 6c 65 5d 0a 09 09 73 65 74 20 64 61 74 61 20  ile]...set data 
1130: 5b 72 65 61 64 20 24 66 64 5d 0a 09 09 63 6c 6f  [read $fd]...clo
1140: 73 65 20 24 66 64 0a 0a 09 09 73 65 74 20 63 75  se $fd....set cu
1150: 72 72 5f 70 61 63 6b 61 67 65 73 20 5b 6c 69 73  rr_packages [lis
1160: 74 5d 0a 09 09 66 6f 72 65 61 63 68 20 6c 69 6e  t]...foreach lin
1170: 65 20 5b 73 70 6c 69 74 20 24 64 61 74 61 20 22  e [split $data "
1180: 5c 6e 22 5d 20 7b 0a 09 09 09 73 65 74 20 6c 69  \n"] {....set li
1190: 6e 65 20 5b 73 74 72 69 6e 67 20 74 72 69 6d 20  ne [string trim 
11a0: 24 6c 69 6e 65 5d 0a 0a 09 09 09 69 66 20 7b 5b  $line].....if {[
11b0: 73 74 72 69 6e 67 20 6d 61 74 63 68 20 22 2a 2f  string match "*/
11c0: 2a 22 20 24 6c 69 6e 65 5d 7d 20 7b 0a 09 09 09  *" $line]} {....
11d0: 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a  .continue....}..
11e0: 09 09 09 69 66 20 7b 24 6c 69 6e 65 20 3d 3d 20  ...if {$line == 
11f0: 22 22 7d 20 7b 0a 09 09 09 09 63 6f 6e 74 69 6e  ""} {.....contin
1200: 75 65 0a 09 09 09 7d 0a 0a 09 09 09 73 65 74 20  ue....}.....set 
1210: 77 6f 72 6b 20 5b 73 70 6c 69 74 20 24 6c 69 6e  work [split $lin
1220: 65 20 22 2c 22 5d 0a 0a 09 09 09 75 6e 73 65 74  e ","].....unset
1230: 20 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20 70 6b 67   -nocomplain pkg
1240: 49 6e 66 6f 0a 09 09 09 73 65 74 20 70 6b 67 49  Info....set pkgI
1250: 6e 66 6f 28 70 61 63 6b 61 67 65 29 20 20 5b 6c  nfo(package)  [l
1260: 69 6e 64 65 78 20 24 77 6f 72 6b 20 30 5d 0a 09  index $work 0]..
1270: 09 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 76 65  ..set pkgInfo(ve
1280: 72 73 69 6f 6e 29 20 20 5b 6c 69 6e 64 65 78 20  rsion)  [lindex 
1290: 24 77 6f 72 6b 20 31 5d 0a 09 09 09 73 65 74 20  $work 1]....set 
12a0: 70 6b 67 49 6e 66 6f 28 6f 73 29 20 20 20 20 20  pkgInfo(os)     
12b0: 20 20 5b 5f 6e 6f 72 6d 61 6c 69 7a 65 4f 53 20    [_normalizeOS 
12c0: 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 32 5d  [lindex $work 2]
12d0: 5d 0a 09 09 09 73 65 74 20 70 6b 67 49 6e 66 6f  ]....set pkgInfo
12e0: 28 63 70 75 41 72 63 68 29 20 20 5b 5f 6e 6f 72  (cpuArch)  [_nor
12f0: 6d 61 6c 69 7a 65 43 50 55 20 5b 6c 69 6e 64 65  malizeCPU [linde
1300: 78 20 24 77 6f 72 6b 20 33 5d 5d 0a 09 09 09 73  x $work 3]]....s
1310: 65 74 20 70 6b 67 49 6e 66 6f 28 68 61 73 68 29  et pkgInfo(hash)
1320: 20 20 20 20 20 5b 73 74 72 69 6e 67 20 74 6f 6c       [string tol
1330: 6f 77 65 72 20 5b 6c 69 6e 64 65 78 20 24 77 6f  ower [lindex $wo
1340: 72 6b 20 34 5d 5d 0a 09 09 09 73 65 74 20 70 6b  rk 4]]....set pk
1350: 67 49 6e 66 6f 28 68 61 73 68 5f 74 79 70 65 29  gInfo(hash_type)
1360: 20 22 73 68 61 31 22 0a 09 09 09 73 65 74 20 70   "sha1"....set p
1370: 6b 67 49 6e 66 6f 28 69 73 4c 61 74 65 73 74 29  kgInfo(isLatest)
1380: 20 5b 65 78 70 72 20 7b 21 21 5b 6c 69 6e 64 65   [expr {!![linde
1390: 78 20 24 77 6f 72 6b 20 35 5d 7d 5d 0a 0a 09 09  x $work 5]}]....
13a0: 09 69 66 20 7b 21 5b 5f 69 73 48 61 73 68 20 24  .if {![_isHash $
13b0: 70 6b 67 49 6e 66 6f 28 68 61 73 68 29 5d 7d 20  pkgInfo(hash)]} 
13c0: 7b 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09  {.....continue..
13d0: 09 09 7d 0a 0a 09 09 09 6c 61 70 70 65 6e 64 20  ..}.....lappend 
13e0: 63 75 72 72 5f 70 61 63 6b 61 67 65 73 20 24 70  curr_packages $p
13f0: 6b 67 49 6e 66 6f 28 68 61 73 68 29 0a 0a 09 09  kgInfo(hash)....
1400: 09 23 20 44 6f 20 6e 6f 74 20 64 6f 20 61 6e 79  .# Do not do any
1410: 20 61 64 64 69 74 69 6f 6e 61 6c 20 77 6f 72 6b   additional work
1420: 20 69 66 20 77 65 20 61 6c 72 65 61 64 79 20 68   if we already h
1430: 61 76 65 20 74 68 69 73 20 70 61 63 6b 61 67 65  ave this package
1440: 0a 09 09 09 73 65 74 20 65 78 69 73 74 69 6e 67  ....set existing
1450: 5f 70 61 63 6b 61 67 65 73 20 5b 5f 64 62 20 65  _packages [_db e
1460: 76 61 6c 20 7b 53 45 4c 45 43 54 20 70 61 63 6b  val {SELECT pack
1470: 61 67 65 20 46 52 4f 4d 20 70 61 63 6b 61 67 65  age FROM package
1480: 73 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d 65  s WHERE hostname
1490: 20 3d 20 24 68 6f 73 74 6e 61 6d 65 20 41 4e 44   = $hostname AND
14a0: 20 73 68 61 31 20 3d 20 24 70 6b 67 49 6e 66 6f   sha1 = $pkgInfo
14b0: 28 68 61 73 68 29 3b 7d 5d 0a 09 09 09 69 66 20  (hash);}]....if 
14c0: 7b 5b 6c 73 65 61 72 63 68 20 2d 65 78 61 63 74  {[lsearch -exact
14d0: 20 24 65 78 69 73 74 69 6e 67 5f 70 61 63 6b 61   $existing_packa
14e0: 67 65 73 20 24 70 6b 67 49 6e 66 6f 28 70 61 63  ges $pkgInfo(pac
14f0: 6b 61 67 65 29 5d 20 21 3d 20 2d 31 7d 20 7b 0a  kage)] != -1} {.
1500: 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09  ....continue....
1510: 7d 0a 0a 09 09 09 69 66 20 7b 24 70 6b 67 49 6e  }.....if {$pkgIn
1520: 66 6f 28 69 73 4c 61 74 65 73 74 29 7d 20 7b 0a  fo(isLatest)} {.
1530: 09 09 09 09 5f 64 62 20 65 76 61 6c 20 7b 55 50  ...._db eval {UP
1540: 44 41 54 45 20 70 61 63 6b 61 67 65 73 20 53 45  DATE packages SE
1550: 54 20 69 73 4c 61 74 65 73 74 20 3d 20 30 20 57  T isLatest = 0 W
1560: 48 45 52 45 20 68 6f 73 74 6e 61 6d 65 20 3d 20  HERE hostname = 
1570: 24 68 6f 73 74 6e 61 6d 65 20 41 4e 44 20 70 61  $hostname AND pa
1580: 63 6b 61 67 65 20 3d 20 24 70 6b 67 49 6e 66 6f  ckage = $pkgInfo
1590: 28 24 70 61 63 6b 61 67 65 29 20 41 4e 44 20 6f  ($package) AND o
15a0: 73 20 3d 20 24 70 6b 67 49 6e 66 6f 28 24 70 61  s = $pkgInfo($pa
15b0: 63 6b 61 67 65 29 20 41 4e 44 20 63 70 75 41 72  ckage) AND cpuAr
15c0: 63 68 20 3d 20 24 70 6b 67 49 6e 66 6f 28 63 70  ch = $pkgInfo(cp
15d0: 75 41 72 63 68 29 3b 7d 0a 09 09 09 7d 0a 0a 09  uArch);}....}...
15e0: 09 09 5f 64 62 20 65 76 61 6c 20 7b 49 4e 53 45  .._db eval {INSE
15f0: 52 54 20 49 4e 54 4f 20 70 61 63 6b 61 67 65 73  RT INTO packages
1600: 20 28 68 6f 73 74 6e 61 6d 65 2c 20 73 68 61 31   (hostname, sha1
1610: 2c 20 70 61 63 6b 61 67 65 2c 20 76 65 72 73 69  , package, versi
1620: 6f 6e 2c 20 6f 73 2c 20 63 70 75 41 72 63 68 2c  on, os, cpuArch,
1630: 20 69 73 4c 61 74 65 73 74 2c 20 68 61 76 65 4d   isLatest, haveM
1640: 61 6e 69 66 65 73 74 29 20 56 41 4c 55 45 53 20  anifest) VALUES 
1650: 28 24 68 6f 73 74 6e 61 6d 65 2c 20 24 70 6b 67  ($hostname, $pkg
1660: 49 6e 66 6f 28 68 61 73 68 29 2c 20 24 70 6b 67  Info(hash), $pkg
1670: 49 6e 66 6f 28 70 61 63 6b 61 67 65 29 2c 20 24  Info(package), $
1680: 70 6b 67 49 6e 66 6f 28 76 65 72 73 69 6f 6e 29  pkgInfo(version)
1690: 2c 20 24 70 6b 67 49 6e 66 6f 28 6f 73 29 2c 20  , $pkgInfo(os), 
16a0: 24 70 6b 67 49 6e 66 6f 28 63 70 75 41 72 63 68  $pkgInfo(cpuArch
16b0: 29 2c 20 24 70 6b 67 49 6e 66 6f 28 69 73 4c 61  ), $pkgInfo(isLa
16c0: 74 65 73 74 29 2c 20 30 29 3b 7d 0a 09 09 7d 0a  test), 0);}...}.
16d0: 0a 09 09 23 20 4c 6f 6f 6b 20 66 6f 72 20 70 61  ...# Look for pa
16e0: 63 6b 61 67 65 73 20 74 68 61 74 20 68 61 76 65  ckages that have
16f0: 20 62 65 65 6e 20 64 65 6c 65 74 65 64 0a 09 09   been deleted...
1700: 73 65 74 20 66 6f 75 6e 64 5f 70 61 63 6b 61 67  set found_packag
1710: 65 73 20 5b 5f 64 62 20 65 76 61 6c 20 7b 53 45  es [_db eval {SE
1720: 4c 45 43 54 20 73 68 61 31 20 46 52 4f 4d 20 70  LECT sha1 FROM p
1730: 61 63 6b 61 67 65 73 20 57 48 45 52 45 20 68 6f  ackages WHERE ho
1740: 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61  stname = $hostna
1750: 6d 65 3b 7d 5d 0a 09 09 66 6f 72 65 61 63 68 20  me;}]...foreach 
1760: 70 61 63 6b 61 67 65 20 24 66 6f 75 6e 64 5f 70  package $found_p
1770: 61 63 6b 61 67 65 73 20 7b 0a 09 09 09 73 65 74  ackages {....set
1780: 20 66 6f 75 6e 64 5f 70 61 63 6b 61 67 65 73 5f   found_packages_
1790: 61 72 72 28 24 70 61 63 6b 61 67 65 29 20 31 0a  arr($package) 1.
17a0: 09 09 7d 0a 0a 09 09 66 6f 72 65 61 63 68 20 70  ..}....foreach p
17b0: 61 63 6b 61 67 65 20 24 63 75 72 72 5f 70 61 63  ackage $curr_pac
17c0: 6b 61 67 65 73 20 7b 0a 09 09 09 75 6e 73 65 74  kages {....unset
17d0: 20 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20 66 6f 75   -nocomplain fou
17e0: 6e 64 5f 70 61 63 6b 61 67 65 73 5f 61 72 72 28  nd_packages_arr(
17f0: 24 70 61 63 6b 61 67 65 29 0a 09 09 7d 0a 0a 09  $package)...}...
1800: 09 66 6f 72 65 61 63 68 20 70 61 63 6b 61 67 65  .foreach package
1810: 20 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 66 6f   [array names fo
1820: 75 6e 64 5f 70 61 63 6b 61 67 65 73 5f 61 72 72  und_packages_arr
1830: 5d 20 7b 0a 09 09 09 5f 64 62 20 65 76 61 6c 20  ] {...._db eval 
1840: 7b 44 45 4c 45 54 45 20 46 52 4f 4d 20 70 61 63  {DELETE FROM pac
1850: 6b 61 67 65 73 20 57 48 45 52 45 20 68 6f 73 74  kages WHERE host
1860: 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61 6d 65  name = $hostname
1870: 20 41 4e 44 20 73 68 61 31 20 3d 20 24 70 61 63   AND sha1 = $pac
1880: 6b 61 67 65 3b 7d 0a 09 09 7d 0a 0a 09 09 5f 64  kage;}...}...._d
1890: 62 20 65 76 61 6c 20 7b 49 4e 53 45 52 54 20 4f  b eval {INSERT O
18a0: 52 20 52 45 50 4c 41 43 45 20 49 4e 54 4f 20 73  R REPLACE INTO s
18b0: 69 74 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20  ites (hostname, 
18c0: 6c 61 73 74 55 70 64 61 74 65 2c 20 74 74 6c 29  lastUpdate, ttl)
18d0: 20 56 41 4c 55 45 53 20 28 24 68 6f 73 74 6e 61   VALUES ($hostna
18e0: 6d 65 2c 20 24 6e 6f 77 2c 20 24 3a 3a 61 70 70  me, $now, $::app
18f0: 66 73 3a 3a 74 74 6c 29 3b 7d 0a 0a 09 09 72 65  fs::ttl);}....re
1900: 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 7d  turn COMPLETE..}
1910: 0a 0a 09 70 72 6f 63 20 67 65 74 70 6b 67 6d 61  ...proc getpkgma
1920: 6e 69 66 65 73 74 20 7b 68 6f 73 74 6e 61 6d 65  nifest {hostname
1930: 20 70 61 63 6b 61 67 65 5f 73 68 61 31 7d 20 7b   package_sha1} {
1940: 0a 09 09 73 65 74 20 68 61 76 65 4d 61 6e 69 66  ...set haveManif
1950: 65 73 74 73 20 5b 5f 64 62 20 65 76 61 6c 20 7b  ests [_db eval {
1960: 53 45 4c 45 43 54 20 68 61 76 65 4d 61 6e 69 66  SELECT haveManif
1970: 65 73 74 20 46 52 4f 4d 20 70 61 63 6b 61 67 65  est FROM package
1980: 73 20 57 48 45 52 45 20 73 68 61 31 20 3d 20 24  s WHERE sha1 = $
1990: 70 61 63 6b 61 67 65 5f 73 68 61 31 20 4c 49 4d  package_sha1 LIM
19a0: 49 54 20 31 3b 7d 5d 0a 09 09 73 65 74 20 68 61  IT 1;}]...set ha
19b0: 76 65 4d 61 6e 69 66 65 73 74 20 5b 6c 69 6e 64  veManifest [lind
19c0: 65 78 20 24 68 61 76 65 4d 61 6e 69 66 65 73 74  ex $haveManifest
19d0: 73 20 30 5d 0a 0a 09 09 69 66 20 7b 24 68 61 76  s 0]....if {$hav
19e0: 65 4d 61 6e 69 66 65 73 74 7d 20 7b 0a 09 09 09  eManifest} {....
19f0: 72 65 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a  return COMPLETE.
1a00: 09 09 7d 0a 0a 09 09 69 66 20 7b 21 5b 5f 69 73  ..}....if {![_is
1a10: 48 61 73 68 20 24 70 61 63 6b 61 67 65 5f 73 68  Hash $package_sh
1a20: 61 31 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e  a1]} {....return
1a30: 20 46 41 49 4c 0a 09 09 7d 0a 0a 09 09 73 65 74   FAIL...}....set
1a40: 20 66 69 6c 65 20 5b 64 6f 77 6e 6c 6f 61 64 20   file [download 
1a50: 24 68 6f 73 74 6e 61 6d 65 20 24 70 61 63 6b 61  $hostname $packa
1a60: 67 65 5f 73 68 61 31 5d 0a 09 09 73 65 74 20 66  ge_sha1]...set f
1a70: 64 20 5b 6f 70 65 6e 20 24 66 69 6c 65 5d 0a 09  d [open $file]..
1a80: 09 73 65 74 20 70 6b 67 64 61 74 61 20 5b 72 65  .set pkgdata [re
1a90: 61 64 20 24 66 64 5d 0a 09 09 63 6c 6f 73 65 20  ad $fd]...close 
1aa0: 24 66 64 0a 0a 09 09 5f 64 62 20 74 72 61 6e 73  $fd...._db trans
1ab0: 61 63 74 69 6f 6e 20 7b 0a 09 09 09 66 6f 72 65  action {....fore
1ac0: 61 63 68 20 6c 69 6e 65 20 5b 73 70 6c 69 74 20  ach line [split 
1ad0: 24 70 6b 67 64 61 74 61 20 22 5c 6e 22 5d 20 7b  $pkgdata "\n"] {
1ae0: 0a 09 09 09 09 73 65 74 20 6c 69 6e 65 20 5b 73  .....set line [s
1af0: 74 72 69 6e 67 20 74 72 69 6d 20 24 6c 69 6e 65  tring trim $line
1b00: 5d 0a 0a 09 09 09 09 69 66 20 7b 24 6c 69 6e 65  ]......if {$line
1b10: 20 3d 3d 20 22 22 7d 20 7b 0a 09 09 09 09 09 63   == ""} {......c
1b20: 6f 6e 74 69 6e 75 65 0a 09 09 09 09 7d 0a 0a 09  ontinue.....}...
1b30: 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 73 70 6c  ...set work [spl
1b40: 69 74 20 24 6c 69 6e 65 20 22 2c 22 5d 0a 0a 09  it $line ","]...
1b50: 09 09 09 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d 70  ...unset -nocomp
1b60: 6c 61 69 6e 20 66 69 6c 65 49 6e 66 6f 0a 09 09  lain fileInfo...
1b70: 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 74  ..set fileInfo(t
1b80: 79 70 65 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f  ype) [lindex $wo
1b90: 72 6b 20 30 5d 0a 09 09 09 09 73 65 74 20 66 69  rk 0].....set fi
1ba0: 6c 65 49 6e 66 6f 28 74 69 6d 65 29 20 5b 6c 69  leInfo(time) [li
1bb0: 6e 64 65 78 20 24 77 6f 72 6b 20 31 5d 0a 0a 09  ndex $work 1]...
1bc0: 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c 72 61  ...set work [lra
1bd0: 6e 67 65 20 24 77 6f 72 6b 20 32 20 65 6e 64 5d  nge $work 2 end]
1be0: 0a 09 09 09 09 73 77 69 74 63 68 20 2d 2d 20 24  .....switch -- $
1bf0: 66 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 20 7b  fileInfo(type) {
1c00: 0a 09 09 09 09 09 22 66 69 6c 65 22 20 7b 0a 09  ......"file" {..
1c10: 09 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66  .....set fileInf
1c20: 6f 28 73 69 7a 65 29 20 5b 6c 69 6e 64 65 78 20  o(size) [lindex 
1c30: 24 77 6f 72 6b 20 30 5d 0a 09 09 09 09 09 09 73  $work 0].......s
1c40: 65 74 20 66 69 6c 65 49 6e 66 6f 28 70 65 72 6d  et fileInfo(perm
1c50: 73 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b  s) [lindex $work
1c60: 20 31 5d 0a 09 09 09 09 09 09 73 65 74 20 66 69   1].......set fi
1c70: 6c 65 49 6e 66 6f 28 73 68 61 31 29 20 5b 6c 69  leInfo(sha1) [li
1c80: 6e 64 65 78 20 24 77 6f 72 6b 20 32 5d 0a 0a 09  ndex $work 2]...
1c90: 09 09 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c  .....set work [l
1ca0: 72 61 6e 67 65 20 24 77 6f 72 6b 20 33 20 65 6e  range $work 3 en
1cb0: 64 5d 0a 09 09 09 09 09 7d 0a 09 09 09 09 09 22  d]......}......"
1cc0: 73 79 6d 6c 69 6e 6b 22 20 7b 0a 09 09 09 09 09  symlink" {......
1cd0: 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 73 6f  .set fileInfo(so
1ce0: 75 72 63 65 29 20 5b 6c 69 6e 64 65 78 20 24 77  urce) [lindex $w
1cf0: 6f 72 6b 20 30 5d 0a 09 09 09 09 09 09 73 65 74  ork 0].......set
1d00: 20 77 6f 72 6b 20 5b 6c 72 61 6e 67 65 20 24 77   work [lrange $w
1d10: 6f 72 6b 20 31 20 65 6e 64 5d 0a 09 09 09 09 09  ork 1 end]......
1d20: 7d 0a 09 09 09 09 7d 0a 0a 09 09 09 09 73 65 74  }.....}......set
1d30: 20 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20   fileInfo(name) 
1d40: 5b 6a 6f 69 6e 20 24 77 6f 72 6b 20 22 2c 22 5d  [join $work ","]
1d50: 0a 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66  .....set fileInf
1d60: 6f 28 6e 61 6d 65 29 20 5b 73 70 6c 69 74 20 5b  o(name) [split [
1d70: 73 74 72 69 6e 67 20 74 72 69 6d 20 24 66 69 6c  string trim $fil
1d80: 65 49 6e 66 6f 28 6e 61 6d 65 29 20 22 2f 22 5d  eInfo(name) "/"]
1d90: 20 22 2f 22 5d 0a 09 09 09 09 73 65 74 20 66 69   "/"].....set fi
1da0: 6c 65 49 6e 66 6f 28 64 69 72 65 63 74 6f 72 79  leInfo(directory
1db0: 29 20 5b 6a 6f 69 6e 20 5b 6c 72 61 6e 67 65 20  ) [join [lrange 
1dc0: 24 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20  $fileInfo(name) 
1dd0: 30 20 65 6e 64 2d 31 5d 20 22 2f 22 5d 0a 09 09  0 end-1] "/"]...
1de0: 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 6e  ..set fileInfo(n
1df0: 61 6d 65 29 20 5b 6c 69 6e 64 65 78 20 24 66 69  ame) [lindex $fi
1e00: 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 65 6e 64  leInfo(name) end
1e10: 5d 0a 0a 09 09 09 09 5f 64 62 20 65 76 61 6c 20  ]......_db eval 
1e20: 7b 49 4e 53 45 52 54 20 49 4e 54 4f 20 66 69 6c  {INSERT INTO fil
1e30: 65 73 20 28 70 61 63 6b 61 67 65 5f 73 68 61 31  es (package_sha1
1e40: 2c 20 74 79 70 65 2c 20 74 69 6d 65 2c 20 73 6f  , type, time, so
1e50: 75 72 63 65 2c 20 73 69 7a 65 2c 20 70 65 72 6d  urce, size, perm
1e60: 73 2c 20 66 69 6c 65 5f 73 68 61 31 2c 20 66 69  s, file_sha1, fi
1e70: 6c 65 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69  le_name, file_di
1e80: 72 65 63 74 6f 72 79 29 20 56 41 4c 55 45 53 20  rectory) VALUES 
1e90: 28 24 70 61 63 6b 61 67 65 5f 73 68 61 31 2c 20  ($package_sha1, 
1ea0: 24 66 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 2c  $fileInfo(type),
1eb0: 20 24 66 69 6c 65 49 6e 66 6f 28 74 69 6d 65 29   $fileInfo(time)
1ec0: 2c 20 24 66 69 6c 65 49 6e 66 6f 28 73 6f 75 72  , $fileInfo(sour
1ed0: 63 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 73  ce), $fileInfo(s
1ee0: 69 7a 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28  ize), $fileInfo(
1ef0: 70 65 72 6d 73 29 2c 20 24 66 69 6c 65 49 6e 66  perms), $fileInf
1f00: 6f 28 73 68 61 31 29 2c 20 24 66 69 6c 65 49 6e  o(sha1), $fileIn
1f10: 66 6f 28 6e 61 6d 65 29 2c 20 24 66 69 6c 65 49  fo(name), $fileI
1f20: 6e 66 6f 28 64 69 72 65 63 74 6f 72 79 29 20 29  nfo(directory) )
1f30: 3b 7d 0a 09 09 09 09 5f 64 62 20 65 76 61 6c 20  ;}....._db eval 
1f40: 7b 55 50 44 41 54 45 20 70 61 63 6b 61 67 65 73  {UPDATE packages
1f50: 20 53 45 54 20 68 61 76 65 4d 61 6e 69 66 65 73   SET haveManifes
1f60: 74 20 3d 20 31 20 57 48 45 52 45 20 73 68 61 31  t = 1 WHERE sha1
1f70: 20 3d 20 24 70 61 63 6b 61 67 65 5f 73 68 61 31   = $package_sha1
1f80: 3b 7d 0a 09 09 09 7d 0a 09 09 7d 0a 0a 09 09 72  ;}....}...}....r
1f90: 65 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09  eturn COMPLETE..
1fa0: 7d 0a 7d 0a                                      }.}.