Hex Artifact Content

Artifact 731265204944e805ffd831cab40cebd1270b6b1a:


0000: 23 21 20 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20  #! /usr/bin/env 
0010: 74 63 6c 73 68 0a 0a 70 61 63 6b 61 67 65 20 72  tclsh..package r
0020: 65 71 75 69 72 65 20 68 74 74 70 20 32 2e 37 0a  equire http 2.7.
0030: 70 61 63 6b 61 67 65 20 72 65 71 75 69 72 65 20  package require 
0040: 73 71 6c 69 74 65 33 0a 0a 6e 61 6d 65 73 70 61  sqlite3..namespa
0050: 63 65 20 65 76 61 6c 20 3a 3a 61 70 70 66 73 20  ce eval ::appfs 
0060: 7b 0a 09 76 61 72 69 61 62 6c 65 20 63 61 63 68  {..variable cach
0070: 65 64 69 72 20 22 2f 74 6d 70 2f 61 70 70 66 73  edir "/tmp/appfs
0080: 2d 63 61 63 68 65 22 0a 09 76 61 72 69 61 62 6c  -cache"..variabl
0090: 65 20 74 74 6c 20 33 36 30 30 0a 0a 09 70 72 6f  e ttl 3600...pro
00a0: 63 20 5f 68 61 73 68 5f 73 65 70 20 7b 68 61 73  c _hash_sep {has
00b0: 68 20 7b 73 65 70 73 20 34 7d 7d 20 7b 0a 09 09  h {seps 4}} {...
00c0: 66 6f 72 20 7b 73 65 74 20 69 64 78 20 30 7d 20  for {set idx 0} 
00d0: 7b 24 69 64 78 20 3c 20 24 73 65 70 73 7d 20 7b  {$idx < $seps} {
00e0: 69 6e 63 72 20 69 64 78 7d 20 7b 0a 09 09 09 61  incr idx} {....a
00f0: 70 70 65 6e 64 20 72 65 74 76 61 6c 20 22 5b 73  ppend retval "[s
0100: 74 72 69 6e 67 20 72 61 6e 67 65 20 24 68 61 73  tring range $has
0110: 68 20 5b 65 78 70 72 20 7b 24 69 64 78 20 2a 20  h [expr {$idx * 
0120: 32 7d 5d 20 5b 65 78 70 72 20 7b 28 24 69 64 78  2}] [expr {($idx
0130: 20 2a 20 32 29 20 2b 20 31 7d 5d 5d 2f 22 0a 09   * 2) + 1}]]/"..
0140: 09 7d 0a 09 09 61 70 70 65 6e 64 20 72 65 74 76  .}...append retv
0150: 61 6c 20 22 5b 73 74 72 69 6e 67 20 72 61 6e 67  al "[string rang
0160: 65 20 24 68 61 73 68 20 5b 65 78 70 72 20 7b 24  e $hash [expr {$
0170: 69 64 78 20 2a 20 32 7d 5d 20 65 6e 64 5d 22 0a  idx * 2}] end]".
0180: 0a 09 09 72 65 74 75 72 6e 20 24 72 65 74 76 61  ...return $retva
0190: 6c 0a 09 7d 0a 0a 09 70 72 6f 63 20 5f 63 61 63  l..}...proc _cac
01a0: 68 65 66 69 6c 65 20 7b 75 72 6c 20 6b 65 79 20  hefile {url key 
01b0: 7b 6b 65 79 49 73 48 61 73 68 20 31 7d 7d 20 7b  {keyIsHash 1}} {
01c0: 0a 09 09 73 65 74 20 66 69 6c 65 6b 65 79 20 24  ...set filekey $
01d0: 6b 65 79 0a 09 09 69 66 20 7b 24 6b 65 79 49 73  key...if {$keyIs
01e0: 48 61 73 68 7d 20 7b 0a 09 09 09 73 65 74 20 66  Hash} {....set f
01f0: 69 6c 65 6b 65 79 20 5b 5f 68 61 73 68 5f 73 65  ilekey [_hash_se
0200: 70 20 24 66 69 6c 65 6b 65 79 5d 0a 09 09 7d 0a  p $filekey]...}.
0210: 0a 09 09 73 65 74 20 66 69 6c 65 20 5b 66 69 6c  ...set file [fil
0220: 65 20 6a 6f 69 6e 20 24 3a 3a 61 70 70 66 73 3a  e join $::appfs:
0230: 3a 63 61 63 68 65 64 69 72 20 24 66 69 6c 65 6b  :cachedir $filek
0240: 65 79 5d 0a 0a 09 09 66 69 6c 65 20 6d 6b 64 69  ey]....file mkdi
0250: 72 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65 20  r [file dirname 
0260: 24 66 69 6c 65 5d 0a 0a 09 09 69 66 20 7b 21 5b  $file]....if {![
0270: 66 69 6c 65 20 65 78 69 73 74 73 20 24 66 69 6c  file exists $fil
0280: 65 5d 7d 20 7b 0a 09 09 09 73 65 74 20 74 6d 70  e]} {....set tmp
0290: 66 69 6c 65 20 22 24 7b 66 69 6c 65 7d 2e 6e 65  file "${file}.ne
02a0: 77 22 0a 0a 09 09 09 73 65 74 20 66 64 20 5b 6f  w".....set fd [o
02b0: 70 65 6e 20 24 74 6d 70 66 69 6c 65 20 22 77 22  pen $tmpfile "w"
02c0: 5d 0a 09 09 09 66 63 6f 6e 66 69 67 75 72 65 20  ]....fconfigure 
02d0: 24 66 64 20 2d 74 72 61 6e 73 6c 61 74 69 6f 6e  $fd -translation
02e0: 20 62 69 6e 61 72 79 0a 0a 09 09 09 63 61 74 63   binary.....catc
02f0: 68 20 7b 0a 09 09 09 09 73 65 74 20 74 6f 6b 65  h {.....set toke
0300: 6e 20 5b 3a 3a 68 74 74 70 3a 3a 67 65 74 75 72  n [::http::getur
0310: 6c 20 24 75 72 6c 20 2d 63 68 61 6e 6e 65 6c 20  l $url -channel 
0320: 24 66 64 20 2d 62 69 6e 61 72 79 20 74 72 75 65  $fd -binary true
0330: 5d 0a 09 09 09 7d 0a 0a 09 09 09 69 66 20 7b 5b  ]....}.....if {[
0340: 69 6e 66 6f 20 65 78 69 73 74 73 20 74 6f 6b 65  info exists toke
0350: 6e 5d 7d 20 7b 0a 09 09 09 09 73 65 74 20 6e 63  n]} {.....set nc
0360: 6f 64 65 20 5b 3a 3a 68 74 74 70 3a 3a 6e 63 6f  ode [::http::nco
0370: 64 65 20 24 74 6f 6b 65 6e 5d 0a 09 09 09 09 3a  de $token].....:
0380: 3a 68 74 74 70 3a 3a 72 65 73 65 74 20 24 74 6f  :http::reset $to
0390: 6b 65 6e 0a 09 09 09 7d 20 65 6c 73 65 20 7b 0a  ken....} else {.
03a0: 09 09 09 09 73 65 74 20 6e 63 6f 64 65 20 22 39  ....set ncode "9
03b0: 30 30 22 0a 09 09 09 7d 0a 0a 09 09 09 63 6c 6f  00"....}.....clo
03c0: 73 65 20 24 66 64 0a 0a 09 09 09 69 66 20 7b 24  se $fd.....if {$
03d0: 6b 65 79 49 73 48 61 73 68 7d 20 7b 0a 09 09 09  keyIsHash} {....
03e0: 09 63 61 74 63 68 20 7b 0a 09 09 09 09 09 73 65  .catch {......se
03f0: 74 20 68 61 73 68 20 5b 73 74 72 69 6e 67 20 74  t hash [string t
0400: 6f 6c 6f 77 65 72 20 5b 65 78 65 63 20 6f 70 65  olower [exec ope
0410: 6e 73 73 6c 20 73 68 61 31 20 24 74 6d 70 66 69  nssl sha1 $tmpfi
0420: 6c 65 5d 5d 0a 09 09 09 09 09 72 65 67 73 75 62  le]]......regsub
0430: 20 7b 2e 2a 3d 20 2a 7d 20 24 68 61 73 68 20 7b   {.*= *} $hash {
0440: 7d 20 68 61 73 68 0a 09 09 09 09 7d 0a 09 09 09  } hash.....}....
0450: 7d 20 65 6c 73 65 20 7b 0a 09 09 09 09 73 65 74  } else {.....set
0460: 20 68 61 73 68 20 24 6b 65 79 0a 09 09 09 7d 0a   hash $key....}.
0470: 0a 09 09 09 69 66 20 7b 24 6e 63 6f 64 65 20 3d  ....if {$ncode =
0480: 3d 20 22 32 30 30 22 20 26 26 20 24 68 61 73 68  = "200" && $hash
0490: 20 3d 3d 20 24 6b 65 79 7d 20 7b 0a 09 09 09 09   == $key} {.....
04a0: 66 69 6c 65 20 72 65 6e 61 6d 65 20 2d 66 6f 72  file rename -for
04b0: 63 65 20 2d 2d 20 24 74 6d 70 66 69 6c 65 20 24  ce -- $tmpfile $
04c0: 66 69 6c 65 0a 09 09 09 7d 20 65 6c 73 65 20 7b  file....} else {
04d0: 0a 09 09 09 09 66 69 6c 65 20 64 65 6c 65 74 65  .....file delete
04e0: 20 2d 66 6f 72 63 65 20 2d 2d 20 24 74 6d 70 66   -force -- $tmpf
04f0: 69 6c 65 0a 09 09 09 7d 0a 09 09 7d 0a 0a 09 09  ile....}...}....
0500: 72 65 74 75 72 6e 20 24 66 69 6c 65 0a 09 7d 0a  return $file..}.
0510: 0a 09 70 72 6f 63 20 5f 64 62 20 7b 61 72 67 73  ..proc _db {args
0520: 7d 20 7b 0a 09 09 72 65 74 75 72 6e 20 5b 75 70  } {...return [up
0530: 6c 65 76 65 6c 20 31 20 5b 6c 69 73 74 20 3a 3a  level 1 [list ::
0540: 61 70 70 66 73 3a 3a 64 62 20 7b 2a 7d 24 61 72  appfs::db {*}$ar
0550: 67 73 5d 5d 0a 09 7d 0a 0a 09 70 72 6f 63 20 69  gs]]..}...proc i
0560: 6e 69 74 20 7b 7d 20 7b 0a 09 09 69 66 20 7b 5b  nit {} {...if {[
0570: 69 6e 66 6f 20 65 78 69 73 74 73 20 3a 3a 61 70  info exists ::ap
0580: 70 66 73 3a 3a 69 6e 69 74 5f 63 61 6c 6c 65 64  pfs::init_called
0590: 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 0a 09  ]} {....return..
05a0: 09 7d 0a 0a 09 09 73 65 74 20 3a 3a 61 70 70 66  .}....set ::appf
05b0: 73 3a 3a 69 6e 69 74 5f 63 61 6c 6c 65 64 20 31  s::init_called 1
05c0: 0a 0a 09 09 69 66 20 7b 21 5b 69 6e 66 6f 20 65  ....if {![info e
05d0: 78 69 73 74 73 20 3a 3a 61 70 70 66 73 3a 3a 64  xists ::appfs::d
05e0: 62 5d 7d 20 7b 0a 09 09 09 66 69 6c 65 20 6d 6b  b]} {....file mk
05f0: 64 69 72 20 24 3a 3a 61 70 70 66 73 3a 3a 63 61  dir $::appfs::ca
0600: 63 68 65 64 69 72 0a 0a 09 09 09 73 71 6c 69 74  chedir.....sqlit
0610: 65 33 20 3a 3a 61 70 70 66 73 3a 3a 64 62 20 5b  e3 ::appfs::db [
0620: 66 69 6c 65 20 6a 6f 69 6e 20 24 3a 3a 61 70 70  file join $::app
0630: 66 73 3a 3a 63 61 63 68 65 64 69 72 20 63 61 63  fs::cachedir cac
0640: 68 65 2e 64 62 5d 0a 09 09 7d 0a 0a 09 09 5f 64  he.db]...}...._d
0650: 62 20 65 76 61 6c 20 7b 43 52 45 41 54 45 20 54  b eval {CREATE T
0660: 41 42 4c 45 20 49 46 20 4e 4f 54 20 45 58 49 53  ABLE IF NOT EXIS
0670: 54 53 20 73 69 74 65 73 28 68 6f 73 74 6e 61 6d  TS sites(hostnam
0680: 65 20 50 52 49 4d 41 52 59 20 4b 45 59 2c 20 6c  e PRIMARY KEY, l
0690: 61 73 74 55 70 64 61 74 65 29 3b 7d 0a 09 09 5f  astUpdate);}..._
06a0: 64 62 20 65 76 61 6c 20 7b 43 52 45 41 54 45 20  db eval {CREATE 
06b0: 54 41 42 4c 45 20 49 46 20 4e 4f 54 20 45 58 49  TABLE IF NOT EXI
06c0: 53 54 53 20 70 61 63 6b 61 67 65 73 28 68 6f 73  STS packages(hos
06d0: 74 6e 61 6d 65 2c 20 73 68 61 31 2c 20 70 61 63  tname, sha1, pac
06e0: 6b 61 67 65 2c 20 76 65 72 73 69 6f 6e 2c 20 6f  kage, version, o
06f0: 73 2c 20 63 70 75 41 72 63 68 2c 20 69 73 4c 61  s, cpuArch, isLa
0700: 74 65 73 74 2c 20 68 61 76 65 4d 61 6e 69 66 65  test, haveManife
0710: 73 74 29 3b 7d 0a 09 09 5f 64 62 20 65 76 61 6c  st);}..._db eval
0720: 20 7b 43 52 45 41 54 45 20 54 41 42 4c 45 20 49   {CREATE TABLE I
0730: 46 20 4e 4f 54 20 45 58 49 53 54 53 20 66 69 6c  F NOT EXISTS fil
0740: 65 73 28 70 61 63 6b 61 67 65 5f 73 68 61 31 2c  es(package_sha1,
0750: 20 74 79 70 65 2c 20 74 69 6d 65 2c 20 73 6f 75   type, time, sou
0760: 72 63 65 2c 20 73 69 7a 65 2c 20 70 65 72 6d 73  rce, size, perms
0770: 2c 20 66 69 6c 65 5f 73 68 61 31 2c 20 66 69 6c  , file_sha1, fil
0780: 65 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72  e_name, file_dir
0790: 65 63 74 6f 72 79 29 3b 7d 0a 09 7d 0a 0a 09 70  ectory);}..}...p
07a0: 72 6f 63 20 64 6f 77 6e 6c 6f 61 64 20 7b 68 6f  roc download {ho
07b0: 73 74 6e 61 6d 65 20 68 61 73 68 20 7b 6d 65 74  stname hash {met
07c0: 68 6f 64 20 73 68 61 31 7d 7d 20 7b 0a 09 09 73  hod sha1}} {...s
07d0: 65 74 20 75 72 6c 20 22 68 74 74 70 3a 2f 2f 24  et url "http://$
07e0: 68 6f 73 74 6e 61 6d 65 2f 61 70 70 66 73 2f 24  hostname/appfs/$
07f0: 6d 65 74 68 6f 64 2f 24 68 61 73 68 22 0a 09 09  method/$hash"...
0800: 73 65 74 20 66 69 6c 65 20 5b 5f 63 61 63 68 65  set file [_cache
0810: 66 69 6c 65 20 24 75 72 6c 20 24 68 61 73 68 5d  file $url $hash]
0820: 0a 0a 09 09 69 66 20 7b 21 5b 66 69 6c 65 20 65  ....if {![file e
0830: 78 69 73 74 73 20 24 66 69 6c 65 5d 7d 20 7b 0a  xists $file]} {.
0840: 09 09 09 72 65 74 75 72 6e 20 2d 63 6f 64 65 20  ...return -code 
0850: 65 72 72 6f 72 20 22 55 6e 61 62 6c 65 20 74 6f  error "Unable to
0860: 20 66 65 74 63 68 22 0a 09 09 7d 0a 0a 09 09 72   fetch"...}....r
0870: 65 74 75 72 6e 20 24 66 69 6c 65 0a 09 7d 0a 0a  eturn $file..}..
0880: 09 70 72 6f 63 20 67 65 74 69 6e 64 65 78 20 7b  .proc getindex {
0890: 68 6f 73 74 6e 61 6d 65 7d 20 7b 0a 09 09 73 65  hostname} {...se
08a0: 74 20 6e 6f 77 20 5b 63 6c 6f 63 6b 20 73 65 63  t now [clock sec
08b0: 6f 6e 64 73 5d 0a 0a 09 09 73 65 74 20 6c 61 73  onds]....set las
08c0: 74 55 70 64 61 74 65 73 20 5b 5f 64 62 20 65 76  tUpdates [_db ev
08d0: 61 6c 20 7b 53 45 4c 45 43 54 20 6c 61 73 74 55  al {SELECT lastU
08e0: 70 64 61 74 65 20 46 52 4f 4d 20 73 69 74 65 73  pdate FROM sites
08f0: 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d 65 20   WHERE hostname 
0900: 3d 20 24 68 6f 73 74 6e 61 6d 65 20 4c 49 4d 49  = $hostname LIMI
0910: 54 20 31 3b 7d 5d 0a 09 09 69 66 20 7b 5b 6c 6c  T 1;}]...if {[ll
0920: 65 6e 67 74 68 20 24 6c 61 73 74 55 70 64 61 74  ength $lastUpdat
0930: 65 73 5d 20 3d 3d 20 30 7d 20 7b 0a 09 09 09 73  es] == 0} {....s
0940: 65 74 20 6c 61 73 74 55 70 64 61 74 65 20 30 0a  et lastUpdate 0.
0950: 09 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 73 65  ..} else {....se
0960: 74 20 6c 61 73 74 55 70 64 61 74 65 20 5b 6c 69  t lastUpdate [li
0970: 6e 64 65 78 20 24 6c 61 73 74 55 70 64 61 74 65  ndex $lastUpdate
0980: 73 20 30 5d 0a 09 09 7d 0a 0a 09 09 69 66 20 7b  s 0]...}....if {
0990: 24 6e 6f 77 20 3c 20 28 24 6c 61 73 74 55 70 64  $now < ($lastUpd
09a0: 61 74 65 20 2b 20 24 3a 3a 61 70 70 66 73 3a 3a  ate + $::appfs::
09b0: 74 74 6c 29 7d 20 7b 0a 09 09 09 72 65 74 75 72  ttl)} {....retur
09c0: 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 09 7d 0a 0a  n COMPLETE...}..
09d0: 09 09 69 66 20 7b 5b 73 74 72 69 6e 67 20 6d 61  ..if {[string ma
09e0: 74 63 68 20 22 2a 5c 5b 2f 7e 5c 5d 2a 22 20 24  tch "*\[/~\]*" $
09f0: 68 6f 73 74 6e 61 6d 65 5d 7d 20 7b 0a 09 09 09  hostname]} {....
0a00: 72 65 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72  return -code err
0a10: 6f 72 20 22 49 6e 76 61 6c 69 64 20 68 6f 73 74  or "Invalid host
0a20: 6e 61 6d 65 22 0a 09 09 7d 0a 0a 09 09 73 65 74  name"...}....set
0a30: 20 75 72 6c 20 22 68 74 74 70 3a 2f 2f 24 68 6f   url "http://$ho
0a40: 73 74 6e 61 6d 65 2f 61 70 70 66 73 2f 69 6e 64  stname/appfs/ind
0a50: 65 78 22 0a 0a 09 09 63 61 74 63 68 20 7b 0a 09  ex"....catch {..
0a60: 09 09 73 65 74 20 74 6f 6b 65 6e 20 5b 3a 3a 68  ..set token [::h
0a70: 74 74 70 3a 3a 67 65 74 75 72 6c 20 24 75 72 6c  ttp::geturl $url
0a80: 5d 0a 09 09 09 69 66 20 7b 5b 3a 3a 68 74 74 70  ]....if {[::http
0a90: 3a 3a 6e 63 6f 64 65 20 24 74 6f 6b 65 6e 5d 20  ::ncode $token] 
0aa0: 3d 3d 20 22 32 30 30 22 7d 20 7b 0a 09 09 09 09  == "200"} {.....
0ab0: 73 65 74 20 69 6e 64 65 78 68 61 73 68 5f 64 61  set indexhash_da
0ac0: 74 61 20 5b 3a 3a 68 74 74 70 3a 3a 64 61 74 61  ta [::http::data
0ad0: 20 24 74 6f 6b 65 6e 5d 0a 09 09 09 7d 0a 09 09   $token]....}...
0ae0: 09 3a 3a 68 74 74 70 3a 3a 72 65 73 65 74 20 24  .::http::reset $
0af0: 74 6f 6b 65 6e 0a 09 09 09 24 74 6f 6b 65 6e 20  token....$token 
0b00: 63 6c 65 61 6e 75 70 0a 09 09 7d 0a 0a 09 09 69  cleanup...}....i
0b10: 66 20 7b 21 5b 69 6e 66 6f 20 65 78 69 73 74 73  f {![info exists
0b20: 20 69 6e 64 65 78 68 61 73 68 5f 64 61 74 61 5d   indexhash_data]
0b30: 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20 2d 63  } {....return -c
0b40: 6f 64 65 20 65 72 72 6f 72 20 22 55 6e 61 62 6c  ode error "Unabl
0b50: 65 20 74 6f 20 66 65 74 63 68 20 24 75 72 6c 22  e to fetch $url"
0b60: 0a 09 09 7d 0a 0a 09 09 73 65 74 20 69 6e 64 65  ...}....set inde
0b70: 78 68 61 73 68 20 5b 6c 69 6e 64 65 78 20 5b 73  xhash [lindex [s
0b80: 70 6c 69 74 20 24 69 6e 64 65 78 68 61 73 68 5f  plit $indexhash_
0b90: 64 61 74 61 20 22 2c 22 5d 20 30 5d 0a 0a 09 09  data ","] 0]....
0ba0: 73 65 74 20 66 69 6c 65 20 5b 64 6f 77 6e 6c 6f  set file [downlo
0bb0: 61 64 20 24 68 6f 73 74 6e 61 6d 65 20 24 69 6e  ad $hostname $in
0bc0: 64 65 78 68 61 73 68 5d 0a 09 09 73 65 74 20 66  dexhash]...set f
0bd0: 64 20 5b 6f 70 65 6e 20 24 66 69 6c 65 5d 0a 09  d [open $file]..
0be0: 09 73 65 74 20 64 61 74 61 20 5b 72 65 61 64 20  .set data [read 
0bf0: 24 66 64 5d 0a 09 09 63 6c 6f 73 65 20 24 66 64  $fd]...close $fd
0c00: 0a 0a 09 09 61 72 72 61 79 20 73 65 74 20 70 61  ....array set pa
0c10: 63 6b 61 67 65 73 20 5b 6c 69 73 74 5d 0a 09 09  ckages [list]...
0c20: 66 6f 72 65 61 63 68 20 6c 69 6e 65 20 5b 73 70  foreach line [sp
0c30: 6c 69 74 20 24 64 61 74 61 20 22 5c 6e 22 5d 20  lit $data "\n"] 
0c40: 7b 0a 09 09 09 73 65 74 20 6c 69 6e 65 20 5b 73  {....set line [s
0c50: 74 72 69 6e 67 20 74 72 69 6d 20 24 6c 69 6e 65  tring trim $line
0c60: 5d 0a 0a 09 09 09 69 66 20 7b 5b 73 74 72 69 6e  ].....if {[strin
0c70: 67 20 6d 61 74 63 68 20 22 2a 2f 2a 22 20 24 6c  g match "*/*" $l
0c80: 69 6e 65 5d 7d 20 7b 0a 09 09 09 09 63 6f 6e 74  ine]} {.....cont
0c90: 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09 69 66  inue....}.....if
0ca0: 20 7b 24 6c 69 6e 65 20 3d 3d 20 22 22 7d 20 7b   {$line == ""} {
0cb0: 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09  .....continue...
0cc0: 09 7d 0a 0a 09 09 09 73 65 74 20 77 6f 72 6b 20  .}.....set work 
0cd0: 5b 73 70 6c 69 74 20 24 6c 69 6e 65 20 22 2c 22  [split $line ","
0ce0: 5d 0a 0a 09 09 09 75 6e 73 65 74 20 2d 6e 6f 63  ].....unset -noc
0cf0: 6f 6d 70 6c 61 69 6e 20 70 6b 67 49 6e 66 6f 0a  omplain pkgInfo.
0d00: 09 09 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 70  ...set pkgInfo(p
0d10: 61 63 6b 61 67 65 29 20 20 5b 6c 69 6e 64 65 78  ackage)  [lindex
0d20: 20 24 77 6f 72 6b 20 30 5d 0a 09 09 09 73 65 74   $work 0]....set
0d30: 20 70 6b 67 49 6e 66 6f 28 76 65 72 73 69 6f 6e   pkgInfo(version
0d40: 29 20 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b  )  [lindex $work
0d50: 20 31 5d 0a 09 09 09 73 65 74 20 70 6b 67 49 6e   1]....set pkgIn
0d60: 66 6f 28 6f 73 29 20 20 20 20 20 20 20 5b 6c 69  fo(os)       [li
0d70: 6e 64 65 78 20 24 77 6f 72 6b 20 32 5d 0a 09 09  ndex $work 2]...
0d80: 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 63 70 75  .set pkgInfo(cpu
0d90: 41 72 63 68 29 20 20 5b 6c 69 6e 64 65 78 20 24  Arch)  [lindex $
0da0: 77 6f 72 6b 20 33 5d 0a 09 09 09 73 65 74 20 70  work 3]....set p
0db0: 6b 67 49 6e 66 6f 28 68 61 73 68 29 20 20 20 20  kgInfo(hash)    
0dc0: 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65 72   [string tolower
0dd0: 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 34   [lindex $work 4
0de0: 5d 5d 0a 09 09 09 73 65 74 20 70 6b 67 49 6e 66  ]]....set pkgInf
0df0: 6f 28 68 61 73 68 5f 74 79 70 65 29 20 22 73 68  o(hash_type) "sh
0e00: 61 31 22 0a 09 09 09 73 65 74 20 70 6b 67 49 6e  a1"....set pkgIn
0e10: 66 6f 28 69 73 4c 61 74 65 73 74 29 20 5b 65 78  fo(isLatest) [ex
0e20: 70 72 20 7b 21 21 5b 6c 69 6e 64 65 78 20 24 77  pr {!![lindex $w
0e30: 6f 72 6b 20 35 5d 7d 5d 0a 0a 09 09 09 69 66 20  ork 5]}].....if 
0e40: 7b 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74 68 20  {[string length 
0e50: 24 70 6b 67 49 6e 66 6f 28 68 61 73 68 29 5d 20  $pkgInfo(hash)] 
0e60: 21 3d 20 34 30 7d 20 7b 0a 09 09 09 09 63 6f 6e  != 40} {.....con
0e70: 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09 69  tinue....}.....i
0e80: 66 20 7b 21 5b 72 65 67 65 78 70 20 7b 5e 5b 30  f {![regexp {^[0
0e90: 2d 39 61 2d 66 5d 2a 24 7d 20 24 70 6b 67 49 6e  -9a-f]*$} $pkgIn
0ea0: 66 6f 28 68 61 73 68 29 5d 7d 20 7b 0a 09 09 09  fo(hash)]} {....
0eb0: 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a  .continue....}..
0ec0: 09 09 09 73 65 74 20 70 61 63 6b 61 67 65 73 28  ...set packages(
0ed0: 24 70 6b 67 49 6e 66 6f 28 70 61 63 6b 61 67 65  $pkgInfo(package
0ee0: 29 29 20 5b 61 72 72 61 79 20 67 65 74 20 70 6b  )) [array get pk
0ef0: 67 49 6e 66 6f 5d 0a 0a 09 09 09 23 20 44 6f 20  gInfo].....# Do 
0f00: 6e 6f 74 20 64 6f 20 61 6e 79 20 61 64 64 69 74  not do any addit
0f10: 69 6f 6e 61 6c 20 77 6f 72 6b 20 69 66 20 77 65  ional work if we
0f20: 20 61 6c 72 65 61 64 79 20 68 61 76 65 20 74 68   already have th
0f30: 69 73 20 70 61 63 6b 61 67 65 0a 09 09 09 73 65  is package....se
0f40: 74 20 65 78 69 73 74 69 6e 67 5f 70 61 63 6b 61  t existing_packa
0f50: 67 65 73 20 5b 5f 64 62 20 65 76 61 6c 20 7b 53  ges [_db eval {S
0f60: 45 4c 45 43 54 20 70 61 63 6b 61 67 65 20 46 52  ELECT package FR
0f70: 4f 4d 20 70 61 63 6b 61 67 65 73 20 57 48 45 52  OM packages WHER
0f80: 45 20 68 6f 73 74 6e 61 6d 65 20 3d 20 24 68 6f  E hostname = $ho
0f90: 73 74 6e 61 6d 65 20 41 4e 44 20 73 68 61 31 20  stname AND sha1 
0fa0: 3d 20 24 70 6b 67 49 6e 66 6f 28 68 61 73 68 29  = $pkgInfo(hash)
0fb0: 3b 7d 5d 0a 09 09 09 69 66 20 7b 5b 6c 73 65 61  ;}]....if {[lsea
0fc0: 72 63 68 20 2d 65 78 61 63 74 20 24 65 78 69 73  rch -exact $exis
0fd0: 74 69 6e 67 5f 70 61 63 6b 61 67 65 73 20 24 70  ting_packages $p
0fe0: 6b 67 49 6e 66 6f 28 70 61 63 6b 61 67 65 29 5d  kgInfo(package)]
0ff0: 20 21 3d 20 2d 31 7d 20 7b 0a 09 09 09 09 63 6f   != -1} {.....co
1000: 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09  ntinue....}.....
1010: 69 66 20 7b 24 70 6b 67 49 6e 66 6f 28 69 73 4c  if {$pkgInfo(isL
1020: 61 74 65 73 74 29 7d 20 7b 0a 09 09 09 09 5f 64  atest)} {....._d
1030: 62 20 65 76 61 6c 20 7b 55 50 44 41 54 45 20 70  b eval {UPDATE p
1040: 61 63 6b 61 67 65 73 20 53 45 54 20 69 73 4c 61  ackages SET isLa
1050: 74 65 73 74 20 3d 20 30 20 57 48 45 52 45 20 68  test = 0 WHERE h
1060: 6f 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e  ostname = $hostn
1070: 61 6d 65 20 41 4e 44 20 70 61 63 6b 61 67 65 20  ame AND package 
1080: 3d 20 24 70 6b 67 49 6e 66 6f 28 24 70 61 63 6b  = $pkgInfo($pack
1090: 61 67 65 29 20 41 4e 44 20 6f 73 20 3d 20 24 70  age) AND os = $p
10a0: 6b 67 49 6e 66 6f 28 24 70 61 63 6b 61 67 65 29  kgInfo($package)
10b0: 20 41 4e 44 20 63 70 75 41 72 63 68 20 3d 20 24   AND cpuArch = $
10c0: 70 6b 67 49 6e 66 6f 28 63 70 75 41 72 63 68 29  pkgInfo(cpuArch)
10d0: 3b 7d 0a 09 09 09 7d 0a 0a 09 09 09 5f 64 62 20  ;}....}....._db 
10e0: 65 76 61 6c 20 7b 49 4e 53 45 52 54 20 49 4e 54  eval {INSERT INT
10f0: 4f 20 70 61 63 6b 61 67 65 73 20 28 68 6f 73 74  O packages (host
1100: 6e 61 6d 65 2c 20 73 68 61 31 2c 20 70 61 63 6b  name, sha1, pack
1110: 61 67 65 2c 20 76 65 72 73 69 6f 6e 2c 20 6f 73  age, version, os
1120: 2c 20 63 70 75 41 72 63 68 2c 20 69 73 4c 61 74  , cpuArch, isLat
1130: 65 73 74 2c 20 68 61 76 65 4d 61 6e 69 66 65 73  est, haveManifes
1140: 74 29 20 56 41 4c 55 45 53 20 28 24 68 6f 73 74  t) VALUES ($host
1150: 6e 61 6d 65 2c 20 24 70 6b 67 49 6e 66 6f 28 68  name, $pkgInfo(h
1160: 61 73 68 29 2c 20 24 70 6b 67 49 6e 66 6f 28 70  ash), $pkgInfo(p
1170: 61 63 6b 61 67 65 29 2c 20 24 70 6b 67 49 6e 66  ackage), $pkgInf
1180: 6f 28 76 65 72 73 69 6f 6e 29 2c 20 24 70 6b 67  o(version), $pkg
1190: 49 6e 66 6f 28 6f 73 29 2c 20 24 70 6b 67 49 6e  Info(os), $pkgIn
11a0: 66 6f 28 63 70 75 41 72 63 68 29 2c 20 24 70 6b  fo(cpuArch), $pk
11b0: 67 49 6e 66 6f 28 69 73 4c 61 74 65 73 74 29 2c  gInfo(isLatest),
11c0: 20 30 29 3b 7d 0a 0a 09 09 7d 0a 0a 09 09 5f 64   0);}....}...._d
11d0: 62 20 65 76 61 6c 20 7b 49 4e 53 45 52 54 20 4f  b eval {INSERT O
11e0: 52 20 52 45 50 4c 41 43 45 20 49 4e 54 4f 20 73  R REPLACE INTO s
11f0: 69 74 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20  ites (hostname, 
1200: 6c 61 73 74 55 70 64 61 74 65 29 20 56 41 4c 55  lastUpdate) VALU
1210: 45 53 20 28 24 68 6f 73 74 6e 61 6d 65 2c 20 24  ES ($hostname, $
1220: 6e 6f 77 29 3b 7d 0a 0a 09 09 72 65 74 75 72 6e  now);}....return
1230: 20 43 4f 4d 50 4c 45 54 45 0a 09 7d 0a 0a 09 70   COMPLETE..}...p
1240: 72 6f 63 20 67 65 74 70 6b 67 6d 61 6e 69 66 65  roc getpkgmanife
1250: 73 74 20 7b 68 6f 73 74 6e 61 6d 65 20 70 61 63  st {hostname pac
1260: 6b 61 67 65 5f 73 68 61 31 7d 20 7b 0a 09 09 73  kage_sha1} {...s
1270: 65 74 20 68 61 76 65 4d 61 6e 69 66 65 73 74 73  et haveManifests
1280: 20 5b 5f 64 62 20 65 76 61 6c 20 7b 53 45 4c 45   [_db eval {SELE
1290: 43 54 20 68 61 76 65 4d 61 6e 69 66 65 73 74 20  CT haveManifest 
12a0: 46 52 4f 4d 20 70 61 63 6b 61 67 65 73 20 57 48  FROM packages WH
12b0: 45 52 45 20 73 68 61 31 20 3d 20 24 70 61 63 6b  ERE sha1 = $pack
12c0: 61 67 65 5f 73 68 61 31 20 4c 49 4d 49 54 20 31  age_sha1 LIMIT 1
12d0: 3b 7d 5d 0a 09 09 73 65 74 20 68 61 76 65 4d 61  ;}]...set haveMa
12e0: 6e 69 66 65 73 74 20 5b 6c 69 6e 64 65 78 20 24  nifest [lindex $
12f0: 68 61 76 65 4d 61 6e 69 66 65 73 74 73 20 30 5d  haveManifests 0]
1300: 0a 0a 09 09 69 66 20 7b 24 68 61 76 65 4d 61 6e  ....if {$haveMan
1310: 69 66 65 73 74 7d 20 7b 0a 09 09 09 72 65 74 75  ifest} {....retu
1320: 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 09 7d 0a  rn COMPLETE...}.
1330: 0a 09 09 73 65 74 20 66 69 6c 65 20 5b 64 6f 77  ...set file [dow
1340: 6e 6c 6f 61 64 20 24 68 6f 73 74 6e 61 6d 65 20  nload $hostname 
1350: 24 70 61 63 6b 61 67 65 5f 73 68 61 31 5d 0a 09  $package_sha1]..
1360: 09 73 65 74 20 66 64 20 5b 6f 70 65 6e 20 24 66  .set fd [open $f
1370: 69 6c 65 5d 0a 09 09 73 65 74 20 70 6b 67 64 61  ile]...set pkgda
1380: 74 61 20 5b 72 65 61 64 20 24 66 64 5d 0a 09 09  ta [read $fd]...
1390: 63 6c 6f 73 65 20 24 66 64 0a 0a 09 09 66 6f 72  close $fd....for
13a0: 65 61 63 68 20 6c 69 6e 65 20 5b 73 70 6c 69 74  each line [split
13b0: 20 24 70 6b 67 64 61 74 61 20 22 5c 6e 22 5d 20   $pkgdata "\n"] 
13c0: 7b 0a 09 09 09 73 65 74 20 6c 69 6e 65 20 5b 73  {....set line [s
13d0: 74 72 69 6e 67 20 74 72 69 6d 20 24 6c 69 6e 65  tring trim $line
13e0: 5d 0a 0a 09 09 09 69 66 20 7b 24 6c 69 6e 65 20  ].....if {$line 
13f0: 3d 3d 20 22 22 7d 20 7b 0a 09 09 09 09 63 6f 6e  == ""} {.....con
1400: 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09 73  tinue....}.....s
1410: 65 74 20 77 6f 72 6b 20 5b 73 70 6c 69 74 20 24  et work [split $
1420: 6c 69 6e 65 20 22 2c 22 5d 0a 0a 09 09 09 75 6e  line ","].....un
1430: 73 65 74 20 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20  set -nocomplain 
1440: 66 69 6c 65 49 6e 66 6f 0a 09 09 09 73 65 74 20  fileInfo....set 
1450: 66 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 20 5b  fileInfo(type) [
1460: 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 30 5d 0a  lindex $work 0].
1470: 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28  ...set fileInfo(
1480: 74 69 6d 65 29 20 5b 6c 69 6e 64 65 78 20 24 77  time) [lindex $w
1490: 6f 72 6b 20 31 5d 0a 09 09 09 73 65 74 20 66 69  ork 1]....set fi
14a0: 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 5b 6c 69  leInfo(name) [li
14b0: 6e 64 65 78 20 24 77 6f 72 6b 20 65 6e 64 5d 0a  ndex $work end].
14c0: 0a 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
14d0: 28 6e 61 6d 65 29 20 5b 73 70 6c 69 74 20 5b 73  (name) [split [s
14e0: 74 72 69 6e 67 20 74 72 69 6d 20 24 66 69 6c 65  tring trim $file
14f0: 49 6e 66 6f 28 6e 61 6d 65 29 20 22 2f 22 5d 20  Info(name) "/"] 
1500: 22 2f 22 5d 0a 09 09 09 73 65 74 20 66 69 6c 65  "/"]....set file
1510: 49 6e 66 6f 28 64 69 72 65 63 74 6f 72 79 29 20  Info(directory) 
1520: 5b 6a 6f 69 6e 20 5b 6c 72 61 6e 67 65 20 24 66  [join [lrange $f
1530: 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 30 20  ileInfo(name) 0 
1540: 65 6e 64 2d 31 5d 20 22 2f 22 5d 0a 09 09 09 73  end-1] "/"]....s
1550: 65 74 20 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65  et fileInfo(name
1560: 29 20 5b 6c 69 6e 64 65 78 20 24 66 69 6c 65 49  ) [lindex $fileI
1570: 6e 66 6f 28 6e 61 6d 65 29 20 65 6e 64 5d 0a 0a  nfo(name) end]..
1580: 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c 72 61  ...set work [lra
1590: 6e 67 65 20 24 77 6f 72 6b 20 32 20 65 6e 64 2d  nge $work 2 end-
15a0: 31 5d 0a 09 09 09 73 77 69 74 63 68 20 2d 2d 20  1]....switch -- 
15b0: 24 66 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 20  $fileInfo(type) 
15c0: 7b 0a 09 09 09 09 22 66 69 6c 65 22 20 7b 0a 09  {....."file" {..
15d0: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
15e0: 28 73 69 7a 65 29 20 5b 6c 69 6e 64 65 78 20 24  (size) [lindex $
15f0: 77 6f 72 6b 20 30 5d 0a 09 09 09 09 09 73 65 74  work 0]......set
1600: 20 66 69 6c 65 49 6e 66 6f 28 70 65 72 6d 73 29   fileInfo(perms)
1610: 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 31   [lindex $work 1
1620: 5d 0a 09 09 09 09 09 73 65 74 20 66 69 6c 65 49  ]......set fileI
1630: 6e 66 6f 28 73 68 61 31 29 20 5b 6c 69 6e 64 65  nfo(sha1) [linde
1640: 78 20 24 77 6f 72 6b 20 32 5d 0a 09 09 09 09 7d  x $work 2].....}
1650: 0a 09 09 09 09 22 73 79 6d 6c 69 6e 6b 22 20 7b  ....."symlink" {
1660: 0a 09 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e  ......set fileIn
1670: 66 6f 28 73 6f 75 72 63 65 29 20 5b 6c 69 6e 64  fo(source) [lind
1680: 65 78 20 24 77 6f 72 6b 20 30 5d 0a 09 09 09 09  ex $work 0].....
1690: 7d 0a 09 09 09 7d 0a 0a 09 09 09 5f 64 62 20 65  }....}....._db e
16a0: 76 61 6c 20 7b 49 4e 53 45 52 54 20 49 4e 54 4f  val {INSERT INTO
16b0: 20 66 69 6c 65 73 20 28 70 61 63 6b 61 67 65 5f   files (package_
16c0: 73 68 61 31 2c 20 74 79 70 65 2c 20 74 69 6d 65  sha1, type, time
16d0: 2c 20 73 6f 75 72 63 65 2c 20 73 69 7a 65 2c 20  , source, size, 
16e0: 70 65 72 6d 73 2c 20 66 69 6c 65 5f 73 68 61 31  perms, file_sha1
16f0: 2c 20 66 69 6c 65 5f 6e 61 6d 65 2c 20 66 69 6c  , file_name, fil
1700: 65 5f 64 69 72 65 63 74 6f 72 79 29 20 56 41 4c  e_directory) VAL
1710: 55 45 53 20 28 24 70 61 63 6b 61 67 65 5f 73 68  UES ($package_sh
1720: 61 31 2c 20 24 66 69 6c 65 49 6e 66 6f 28 74 79  a1, $fileInfo(ty
1730: 70 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 74  pe), $fileInfo(t
1740: 69 6d 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28  ime), $fileInfo(
1750: 73 6f 75 72 63 65 29 2c 20 24 66 69 6c 65 49 6e  source), $fileIn
1760: 66 6f 28 73 69 7a 65 29 2c 20 24 66 69 6c 65 49  fo(size), $fileI
1770: 6e 66 6f 28 70 65 72 6d 73 29 2c 20 24 66 69 6c  nfo(perms), $fil
1780: 65 49 6e 66 6f 28 73 68 61 31 29 2c 20 24 66 69  eInfo(sha1), $fi
1790: 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 2c 20 24 66  leInfo(name), $f
17a0: 69 6c 65 49 6e 66 6f 28 64 69 72 65 63 74 6f 72  ileInfo(director
17b0: 79 29 20 29 3b 7d 0a 09 09 09 5f 64 62 20 65 76  y) );}...._db ev
17c0: 61 6c 20 7b 55 50 44 41 54 45 20 70 61 63 6b 61  al {UPDATE packa
17d0: 67 65 73 20 53 45 54 20 68 61 76 65 4d 61 6e 69  ges SET haveMani
17e0: 66 65 73 74 20 3d 20 31 20 57 48 45 52 45 20 73  fest = 1 WHERE s
17f0: 68 61 31 20 3d 20 24 70 61 63 6b 61 67 65 5f 73  ha1 = $package_s
1800: 68 61 31 3b 7d 0a 09 09 7d 0a 0a 09 09 72 65 74  ha1;}...}....ret
1810: 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 7d 0a  urn COMPLETE..}.
1820: 7d 0a                                            }.