Hex Artifact Content

Artifact 1a0526f9cfcc2ea7722475cdd7b770d720f4c0c8:


0000: 23 21 20 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20  #! /usr/bin/env 
0010: 74 63 6c 73 68 0a 0a 70 61 63 6b 61 67 65 20 72  tclsh..package r
0020: 65 71 75 69 72 65 20 68 74 74 70 20 32 2e 37 0a  equire http 2.7.
0030: 70 61 63 6b 61 67 65 20 72 65 71 75 69 72 65 20  package require 
0040: 73 71 6c 69 74 65 33 0a 70 61 63 6b 61 67 65 20  sqlite3.package 
0050: 72 65 71 75 69 72 65 20 73 68 61 31 0a 0a 6e 61  require sha1..na
0060: 6d 65 73 70 61 63 65 20 65 76 61 6c 20 3a 3a 61  mespace eval ::a
0070: 70 70 66 73 20 7b 0a 09 76 61 72 69 61 62 6c 65  ppfs {..variable
0080: 20 63 61 63 68 65 64 69 72 20 22 2f 74 6d 70 2f   cachedir "/tmp/
0090: 61 70 70 66 73 2d 63 61 63 68 65 22 0a 09 76 61  appfs-cache"..va
00a0: 72 69 61 62 6c 65 20 74 74 6c 20 33 36 30 30 0a  riable ttl 3600.
00b0: 09 76 61 72 69 61 62 6c 65 20 6e 74 74 6c 20 36  .variable nttl 6
00c0: 30 0a 0a 09 70 72 6f 63 20 5f 68 61 73 68 5f 73  0...proc _hash_s
00d0: 65 70 20 7b 68 61 73 68 20 7b 73 65 70 73 20 34  ep {hash {seps 4
00e0: 7d 7d 20 7b 0a 09 09 66 6f 72 20 7b 73 65 74 20  }} {...for {set 
00f0: 69 64 78 20 30 7d 20 7b 24 69 64 78 20 3c 20 24  idx 0} {$idx < $
0100: 73 65 70 73 7d 20 7b 69 6e 63 72 20 69 64 78 7d  seps} {incr idx}
0110: 20 7b 0a 09 09 09 61 70 70 65 6e 64 20 72 65 74   {....append ret
0120: 76 61 6c 20 22 5b 73 74 72 69 6e 67 20 72 61 6e  val "[string ran
0130: 67 65 20 24 68 61 73 68 20 5b 65 78 70 72 20 7b  ge $hash [expr {
0140: 24 69 64 78 20 2a 20 32 7d 5d 20 5b 65 78 70 72  $idx * 2}] [expr
0150: 20 7b 28 24 69 64 78 20 2a 20 32 29 20 2b 20 31   {($idx * 2) + 1
0160: 7d 5d 5d 2f 22 0a 09 09 7d 0a 09 09 61 70 70 65  }]]/"...}...appe
0170: 6e 64 20 72 65 74 76 61 6c 20 22 5b 73 74 72 69  nd retval "[stri
0180: 6e 67 20 72 61 6e 67 65 20 24 68 61 73 68 20 5b  ng range $hash [
0190: 65 78 70 72 20 7b 24 69 64 78 20 2a 20 32 7d 5d  expr {$idx * 2}]
01a0: 20 65 6e 64 5d 22 0a 0a 09 09 72 65 74 75 72 6e   end]"....return
01b0: 20 24 72 65 74 76 61 6c 0a 09 7d 0a 0a 09 70 72   $retval..}...pr
01c0: 6f 63 20 5f 63 61 63 68 65 66 69 6c 65 20 7b 75  oc _cachefile {u
01d0: 72 6c 20 6b 65 79 20 7b 6b 65 79 49 73 48 61 73  rl key {keyIsHas
01e0: 68 20 31 7d 7d 20 7b 0a 09 09 73 65 74 20 66 69  h 1}} {...set fi
01f0: 6c 65 6b 65 79 20 24 6b 65 79 0a 09 09 69 66 20  lekey $key...if 
0200: 7b 24 6b 65 79 49 73 48 61 73 68 7d 20 7b 0a 09  {$keyIsHash} {..
0210: 09 09 73 65 74 20 66 69 6c 65 6b 65 79 20 5b 5f  ..set filekey [_
0220: 68 61 73 68 5f 73 65 70 20 24 66 69 6c 65 6b 65  hash_sep $fileke
0230: 79 5d 0a 09 09 7d 0a 0a 09 09 73 65 74 20 66 69  y]...}....set fi
0240: 6c 65 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 24 3a  le [file join $:
0250: 3a 61 70 70 66 73 3a 3a 63 61 63 68 65 64 69 72  :appfs::cachedir
0260: 20 24 66 69 6c 65 6b 65 79 5d 0a 0a 09 09 66 69   $filekey]....fi
0270: 6c 65 20 6d 6b 64 69 72 20 5b 66 69 6c 65 20 64  le mkdir [file d
0280: 69 72 6e 61 6d 65 20 24 66 69 6c 65 5d 0a 0a 09  irname $file]...
0290: 09 69 66 20 7b 5b 66 69 6c 65 20 65 78 69 73 74  .if {[file exist
02a0: 73 20 24 66 69 6c 65 5d 7d 20 7b 0a 09 09 09 72  s $file]} {....r
02b0: 65 74 75 72 6e 20 24 66 69 6c 65 0a 09 09 7d 0a  eturn $file...}.
02c0: 0a 09 09 73 65 74 20 74 6d 70 66 69 6c 65 20 22  ...set tmpfile "
02d0: 24 7b 66 69 6c 65 7d 2e 5b 65 78 70 72 20 7b 72  ${file}.[expr {r
02e0: 61 6e 64 28 29 7d 5d 22 0a 0a 09 09 73 65 74 20  and()}]"....set 
02f0: 66 64 20 5b 6f 70 65 6e 20 24 74 6d 70 66 69 6c  fd [open $tmpfil
0300: 65 20 22 77 22 5d 0a 09 09 66 63 6f 6e 66 69 67  e "w"]...fconfig
0310: 75 72 65 20 24 66 64 20 2d 74 72 61 6e 73 6c 61  ure $fd -transla
0320: 74 69 6f 6e 20 62 69 6e 61 72 79 0a 0a 09 09 63  tion binary....c
0330: 61 74 63 68 20 7b 0a 09 09 09 73 65 74 20 74 6f  atch {....set to
0340: 6b 65 6e 20 5b 3a 3a 68 74 74 70 3a 3a 67 65 74  ken [::http::get
0350: 75 72 6c 20 24 75 72 6c 20 2d 63 68 61 6e 6e 65  url $url -channe
0360: 6c 20 24 66 64 20 2d 62 69 6e 61 72 79 20 74 72  l $fd -binary tr
0370: 75 65 5d 0a 09 09 7d 0a 0a 09 09 69 66 20 7b 5b  ue]...}....if {[
0380: 69 6e 66 6f 20 65 78 69 73 74 73 20 74 6f 6b 65  info exists toke
0390: 6e 5d 7d 20 7b 0a 09 09 09 73 65 74 20 6e 63 6f  n]} {....set nco
03a0: 64 65 20 5b 3a 3a 68 74 74 70 3a 3a 6e 63 6f 64  de [::http::ncod
03b0: 65 20 24 74 6f 6b 65 6e 5d 0a 09 09 09 3a 3a 68  e $token]....::h
03c0: 74 74 70 3a 3a 72 65 73 65 74 20 24 74 6f 6b 65  ttp::reset $toke
03d0: 6e 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09  n...} else {....
03e0: 73 65 74 20 6e 63 6f 64 65 20 22 39 30 30 22 0a  set ncode "900".
03f0: 09 09 7d 0a 0a 09 09 63 6c 6f 73 65 20 24 66 64  ..}....close $fd
0400: 0a 0a 09 09 69 66 20 7b 24 6b 65 79 49 73 48 61  ....if {$keyIsHa
0410: 73 68 7d 20 7b 0a 09 09 09 73 65 74 20 68 61 73  sh} {....set has
0420: 68 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65  h [string tolowe
0430: 72 20 5b 73 68 61 31 3a 3a 73 68 61 31 20 2d 68  r [sha1::sha1 -h
0440: 65 78 20 2d 66 69 6c 65 20 24 74 6d 70 66 69 6c  ex -file $tmpfil
0450: 65 5d 5d 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09  e]]...} else {..
0460: 09 09 73 65 74 20 68 61 73 68 20 24 6b 65 79 0a  ..set hash $key.
0470: 09 09 7d 0a 0a 09 09 69 66 20 7b 24 6e 63 6f 64  ..}....if {$ncod
0480: 65 20 3d 3d 20 22 32 30 30 22 20 26 26 20 24 68  e == "200" && $h
0490: 61 73 68 20 3d 3d 20 24 6b 65 79 7d 20 7b 0a 09  ash == $key} {..
04a0: 09 09 66 69 6c 65 20 72 65 6e 61 6d 65 20 2d 66  ..file rename -f
04b0: 6f 72 63 65 20 2d 2d 20 24 74 6d 70 66 69 6c 65  orce -- $tmpfile
04c0: 20 24 66 69 6c 65 0a 09 09 7d 20 65 6c 73 65 20   $file...} else 
04d0: 7b 0a 09 09 09 66 69 6c 65 20 64 65 6c 65 74 65  {....file delete
04e0: 20 2d 66 6f 72 63 65 20 2d 2d 20 24 74 6d 70 66   -force -- $tmpf
04f0: 69 6c 65 0a 09 09 7d 0a 0a 09 09 72 65 74 75 72  ile...}....retur
0500: 6e 20 24 66 69 6c 65 0a 09 7d 0a 0a 0a 09 70 72  n $file..}....pr
0510: 6f 63 20 5f 69 73 48 61 73 68 20 7b 76 61 6c 75  oc _isHash {valu
0520: 65 7d 20 7b 0a 09 09 73 65 74 20 76 61 6c 75 65  e} {...set value
0530: 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65 72   [string tolower
0540: 20 24 76 61 6c 75 65 5d 0a 0a 09 09 69 66 20 7b   $value]....if {
0550: 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74 68 20 24  [string length $
0560: 76 61 6c 75 65 5d 20 21 3d 20 34 30 7d 20 7b 0a  value] != 40} {.
0570: 09 09 09 72 65 74 75 72 6e 20 66 61 6c 73 65 0a  ...return false.
0580: 09 09 7d 0a 0a 09 09 69 66 20 7b 21 5b 72 65 67  ..}....if {![reg
0590: 65 78 70 20 7b 5e 5b 30 2d 39 61 2d 66 5d 2a 24  exp {^[0-9a-f]*$
05a0: 7d 20 24 76 61 6c 75 65 5d 7d 20 7b 0a 09 09 09  } $value]} {....
05b0: 72 65 74 75 72 6e 20 66 61 6c 73 65 0a 09 09 7d  return false...}
05c0: 0a 0a 09 09 72 65 74 75 72 6e 20 74 72 75 65 0a  ....return true.
05d0: 09 7d 0a 0a 09 70 72 6f 63 20 5f 64 62 20 7b 61  .}...proc _db {a
05e0: 72 67 73 7d 20 7b 0a 09 09 72 65 74 75 72 6e 20  rgs} {...return 
05f0: 5b 75 70 6c 65 76 65 6c 20 31 20 5b 6c 69 73 74  [uplevel 1 [list
0600: 20 3a 3a 61 70 70 66 73 3a 3a 64 62 20 7b 2a 7d   ::appfs::db {*}
0610: 24 61 72 67 73 5d 5d 0a 09 7d 0a 0a 09 70 72 6f  $args]]..}...pro
0620: 63 20 5f 6e 6f 72 6d 61 6c 69 7a 65 4f 53 20 7b  c _normalizeOS {
0630: 6f 73 7d 20 7b 0a 09 09 73 65 74 20 6f 73 20 5b  os} {...set os [
0640: 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65 72 20 5b  string tolower [
0650: 73 74 72 69 6e 67 20 74 72 69 6d 20 24 6f 73 5d  string trim $os]
0660: 5d 0a 0a 09 09 73 77 69 74 63 68 20 2d 2d 20 24  ]....switch -- $
0670: 6f 73 20 7b 0a 09 09 09 22 6c 69 6e 75 78 22 20  os {...."linux" 
0680: 2d 20 22 66 72 65 65 62 73 64 22 20 2d 20 22 6f  - "freebsd" - "o
0690: 70 65 6e 62 73 64 22 20 2d 20 22 6e 65 74 62 73  penbsd" - "netbs
06a0: 64 22 20 7b 0a 09 09 09 09 72 65 74 75 72 6e 20  d" {.....return 
06b0: 24 6f 73 0a 09 09 09 7d 0a 09 09 09 22 73 75 6e  $os....}...."sun
06c0: 6f 73 22 20 7b 0a 09 09 09 09 72 65 74 75 72 6e  os" {.....return
06d0: 20 22 73 6f 6c 61 72 69 73 22 0a 09 09 09 7d 0a   "solaris"....}.
06e0: 09 09 09 22 6e 6f 61 72 63 68 22 20 2d 20 22 6e  ..."noarch" - "n
06f0: 6f 6e 65 22 20 2d 20 22 61 6e 79 22 20 2d 20 22  one" - "any" - "
0700: 61 6c 6c 22 20 7b 0a 09 09 09 09 72 65 74 75 72  all" {.....retur
0710: 6e 20 22 6e 6f 61 72 63 68 22 0a 09 09 09 7d 0a  n "noarch"....}.
0720: 09 09 7d 0a 0a 09 09 72 65 74 75 72 6e 20 2d 63  ..}....return -c
0730: 6f 64 65 20 65 72 72 6f 72 20 22 55 6e 61 62 6c  ode error "Unabl
0740: 65 20 74 6f 20 6e 6f 72 6d 61 6c 69 7a 65 20 4f  e to normalize O
0750: 53 3a 20 24 6f 73 22 0a 09 7d 0a 0a 09 70 72 6f  S: $os"..}...pro
0760: 63 20 5f 6e 6f 72 6d 61 6c 69 7a 65 43 50 55 20  c _normalizeCPU 
0770: 7b 63 70 75 7d 20 7b 0a 09 09 73 65 74 20 63 70  {cpu} {...set cp
0780: 75 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65  u [string tolowe
0790: 72 20 5b 73 74 72 69 6e 67 20 74 72 69 6d 20 24  r [string trim $
07a0: 63 70 75 5d 5d 0a 0a 09 09 73 77 69 74 63 68 20  cpu]]....switch 
07b0: 2d 67 6c 6f 62 20 2d 2d 20 24 63 70 75 20 7b 0a  -glob -- $cpu {.
07c0: 09 09 09 22 69 3f 38 36 22 20 7b 0a 09 09 09 09  ..."i?86" {.....
07d0: 72 65 74 75 72 6e 20 22 69 78 38 36 22 0a 09 09  return "ix86"...
07e0: 09 7d 0a 09 09 09 22 78 38 36 5f 36 34 22 20 7b  .}...."x86_64" {
07f0: 0a 09 09 09 09 72 65 74 75 72 6e 20 24 63 70 75  .....return $cpu
0800: 0a 09 09 09 7d 0a 09 09 09 22 6e 6f 61 72 63 68  ....}...."noarch
0810: 22 20 2d 20 22 6e 6f 6e 65 22 20 2d 20 22 61 6e  " - "none" - "an
0820: 79 22 20 2d 20 22 61 6c 6c 22 20 7b 0a 09 09 09  y" - "all" {....
0830: 09 72 65 74 75 72 6e 20 22 6e 6f 61 72 63 68 22  .return "noarch"
0840: 0a 09 09 09 7d 0a 09 09 7d 0a 0a 09 09 72 65 74  ....}...}....ret
0850: 75 72 6e 20 2d 63 6f 64 65 20 65 72 72 6f 72 20  urn -code error 
0860: 22 55 6e 61 62 6c 65 20 74 6f 20 6e 6f 72 6d 61  "Unable to norma
0870: 6c 69 7a 65 20 43 50 55 3a 20 24 63 70 75 22 0a  lize CPU: $cpu".
0880: 09 7d 0a 0a 09 70 72 6f 63 20 69 6e 69 74 20 7b  .}...proc init {
0890: 7d 20 7b 0a 09 09 69 66 20 7b 5b 69 6e 66 6f 20  } {...if {[info 
08a0: 65 78 69 73 74 73 20 3a 3a 61 70 70 66 73 3a 3a  exists ::appfs::
08b0: 69 6e 69 74 5f 63 61 6c 6c 65 64 5d 7d 20 7b 0a  init_called]} {.
08c0: 09 09 09 72 65 74 75 72 6e 0a 09 09 7d 0a 0a 09  ...return...}...
08d0: 09 73 65 74 20 3a 3a 61 70 70 66 73 3a 3a 69 6e  .set ::appfs::in
08e0: 69 74 5f 63 61 6c 6c 65 64 20 31 0a 0a 09 09 69  it_called 1....i
08f0: 66 20 7b 21 5b 69 6e 66 6f 20 65 78 69 73 74 73  f {![info exists
0900: 20 3a 3a 61 70 70 66 73 3a 3a 64 62 5d 7d 20 7b   ::appfs::db]} {
0910: 0a 09 09 09 66 69 6c 65 20 6d 6b 64 69 72 20 24  ....file mkdir $
0920: 3a 3a 61 70 70 66 73 3a 3a 63 61 63 68 65 64 69  ::appfs::cachedi
0930: 72 0a 0a 09 09 09 73 71 6c 69 74 65 33 20 3a 3a  r.....sqlite3 ::
0940: 61 70 70 66 73 3a 3a 64 62 20 5b 66 69 6c 65 20  appfs::db [file 
0950: 6a 6f 69 6e 20 24 3a 3a 61 70 70 66 73 3a 3a 63  join $::appfs::c
0960: 61 63 68 65 64 69 72 20 63 61 63 68 65 2e 64 62  achedir cache.db
0970: 5d 0a 09 09 7d 0a 0a 09 09 23 20 43 72 65 61 74  ]...}....# Creat
0980: 65 20 74 61 62 6c 65 73 0a 09 09 5f 64 62 20 65  e tables..._db e
0990: 76 61 6c 20 7b 43 52 45 41 54 45 20 54 41 42 4c  val {CREATE TABL
09a0: 45 20 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20  E IF NOT EXISTS 
09b0: 73 69 74 65 73 28 68 6f 73 74 6e 61 6d 65 20 50  sites(hostname P
09c0: 52 49 4d 41 52 59 20 4b 45 59 2c 20 6c 61 73 74  RIMARY KEY, last
09d0: 55 70 64 61 74 65 2c 20 74 74 6c 29 3b 7d 0a 09  Update, ttl);}..
09e0: 09 5f 64 62 20 65 76 61 6c 20 7b 43 52 45 41 54  ._db eval {CREAT
09f0: 45 20 54 41 42 4c 45 20 49 46 20 4e 4f 54 20 45  E TABLE IF NOT E
0a00: 58 49 53 54 53 20 70 61 63 6b 61 67 65 73 28 68  XISTS packages(h
0a10: 6f 73 74 6e 61 6d 65 2c 20 73 68 61 31 2c 20 70  ostname, sha1, p
0a20: 61 63 6b 61 67 65 2c 20 76 65 72 73 69 6f 6e 2c  ackage, version,
0a30: 20 6f 73 2c 20 63 70 75 41 72 63 68 2c 20 69 73   os, cpuArch, is
0a40: 4c 61 74 65 73 74 2c 20 68 61 76 65 4d 61 6e 69  Latest, haveMani
0a50: 66 65 73 74 29 3b 7d 0a 09 09 5f 64 62 20 65 76  fest);}..._db ev
0a60: 61 6c 20 7b 43 52 45 41 54 45 20 54 41 42 4c 45  al {CREATE TABLE
0a70: 20 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20 66   IF NOT EXISTS f
0a80: 69 6c 65 73 28 70 61 63 6b 61 67 65 5f 73 68 61  iles(package_sha
0a90: 31 2c 20 74 79 70 65 2c 20 74 69 6d 65 2c 20 73  1, type, time, s
0aa0: 6f 75 72 63 65 2c 20 73 69 7a 65 2c 20 70 65 72  ource, size, per
0ab0: 6d 73 2c 20 66 69 6c 65 5f 73 68 61 31 2c 20 66  ms, file_sha1, f
0ac0: 69 6c 65 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64  ile_name, file_d
0ad0: 69 72 65 63 74 6f 72 79 29 3b 7d 0a 0a 09 09 23  irectory);}....#
0ae0: 20 43 72 65 61 74 65 20 69 6e 64 65 78 65 73 0a   Create indexes.
0af0: 09 09 5f 64 62 20 65 76 61 6c 20 7b 43 52 45 41  .._db eval {CREA
0b00: 54 45 20 49 4e 44 45 58 20 49 46 20 4e 4f 54 20  TE INDEX IF NOT 
0b10: 45 58 49 53 54 53 20 73 69 74 65 73 5f 69 6e 64  EXISTS sites_ind
0b20: 65 78 20 4f 4e 20 73 69 74 65 73 20 28 68 6f 73  ex ON sites (hos
0b30: 74 6e 61 6d 65 29 3b 7d 0a 09 09 5f 64 62 20 65  tname);}..._db e
0b40: 76 61 6c 20 7b 43 52 45 41 54 45 20 49 4e 44 45  val {CREATE INDE
0b50: 58 20 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20  X IF NOT EXISTS 
0b60: 70 61 63 6b 61 67 65 73 5f 69 6e 64 65 78 20 4f  packages_index O
0b70: 4e 20 70 61 63 6b 61 67 65 73 20 28 68 6f 73 74  N packages (host
0b80: 6e 61 6d 65 2c 20 70 61 63 6b 61 67 65 2c 20 76  name, package, v
0b90: 65 72 73 69 6f 6e 2c 20 6f 73 2c 20 63 70 75 41  ersion, os, cpuA
0ba0: 72 63 68 29 3b 7d 0a 09 09 5f 64 62 20 65 76 61  rch);}..._db eva
0bb0: 6c 20 7b 43 52 45 41 54 45 20 49 4e 44 45 58 20  l {CREATE INDEX 
0bc0: 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20 66 69  IF NOT EXISTS fi
0bd0: 6c 65 73 5f 69 6e 64 65 78 20 4f 4e 20 66 69 6c  les_index ON fil
0be0: 65 73 20 28 70 61 63 6b 61 67 65 5f 73 68 61 31  es (package_sha1
0bf0: 2c 20 66 69 6c 65 5f 6e 61 6d 65 2c 20 66 69 6c  , file_name, fil
0c00: 65 5f 64 69 72 65 63 74 6f 72 79 29 3b 7d 0a 09  e_directory);}..
0c10: 7d 0a 0a 09 70 72 6f 63 20 64 6f 77 6e 6c 6f 61  }...proc downloa
0c20: 64 20 7b 68 6f 73 74 6e 61 6d 65 20 68 61 73 68  d {hostname hash
0c30: 20 7b 6d 65 74 68 6f 64 20 73 68 61 31 7d 7d 20   {method sha1}} 
0c40: 7b 0a 09 09 73 65 74 20 75 72 6c 20 22 68 74 74  {...set url "htt
0c50: 70 3a 2f 2f 24 68 6f 73 74 6e 61 6d 65 2f 61 70  p://$hostname/ap
0c60: 70 66 73 2f 24 6d 65 74 68 6f 64 2f 24 68 61 73  pfs/$method/$has
0c70: 68 22 0a 09 09 73 65 74 20 66 69 6c 65 20 5b 5f  h"...set file [_
0c80: 63 61 63 68 65 66 69 6c 65 20 24 75 72 6c 20 24  cachefile $url $
0c90: 68 61 73 68 5d 0a 0a 09 09 69 66 20 7b 21 5b 66  hash]....if {![f
0ca0: 69 6c 65 20 65 78 69 73 74 73 20 24 66 69 6c 65  ile exists $file
0cb0: 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20 2d  ]} {....return -
0cc0: 63 6f 64 65 20 65 72 72 6f 72 20 22 55 6e 61 62  code error "Unab
0cd0: 6c 65 20 74 6f 20 66 65 74 63 68 20 28 66 69 6c  le to fetch (fil
0ce0: 65 20 64 6f 65 73 20 6e 6f 74 20 65 78 69 73 74  e does not exist
0cf0: 3a 20 24 66 69 6c 65 29 22 0a 09 09 7d 0a 0a 09  : $file)"...}...
0d00: 09 72 65 74 75 72 6e 20 24 66 69 6c 65 0a 09 7d  .return $file..}
0d10: 0a 0a 09 70 72 6f 63 20 67 65 74 69 6e 64 65 78  ...proc getindex
0d20: 20 7b 68 6f 73 74 6e 61 6d 65 7d 20 7b 0a 09 09   {hostname} {...
0d30: 73 65 74 20 6e 6f 77 20 5b 63 6c 6f 63 6b 20 73  set now [clock s
0d40: 65 63 6f 6e 64 73 5d 0a 0a 09 09 73 65 74 20 6c  econds]....set l
0d50: 61 73 74 55 70 64 61 74 65 73 20 5b 5f 64 62 20  astUpdates [_db 
0d60: 65 76 61 6c 20 7b 53 45 4c 45 43 54 20 6c 61 73  eval {SELECT las
0d70: 74 55 70 64 61 74 65 2c 20 74 74 6c 20 46 52 4f  tUpdate, ttl FRO
0d80: 4d 20 73 69 74 65 73 20 57 48 45 52 45 20 68 6f  M sites WHERE ho
0d90: 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61  stname = $hostna
0da0: 6d 65 20 4c 49 4d 49 54 20 31 3b 7d 5d 0a 09 09  me LIMIT 1;}]...
0db0: 69 66 20 7b 5b 6c 6c 65 6e 67 74 68 20 24 6c 61  if {[llength $la
0dc0: 73 74 55 70 64 61 74 65 73 5d 20 3d 3d 20 30 7d  stUpdates] == 0}
0dd0: 20 7b 0a 09 09 09 73 65 74 20 6c 61 73 74 55 70   {....set lastUp
0de0: 64 61 74 65 20 30 0a 09 09 09 73 65 74 20 74 74  date 0....set tt
0df0: 6c 20 30 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09  l 0...} else {..
0e00: 09 09 73 65 74 20 6c 61 73 74 55 70 64 61 74 65  ..set lastUpdate
0e10: 20 5b 6c 69 6e 64 65 78 20 24 6c 61 73 74 55 70   [lindex $lastUp
0e20: 64 61 74 65 73 20 30 5d 0a 09 09 09 73 65 74 20  dates 0]....set 
0e30: 74 74 6c 20 5b 6c 69 6e 64 65 78 20 24 6c 61 73  ttl [lindex $las
0e40: 74 55 70 64 61 74 65 73 20 31 5d 0a 09 09 7d 0a  tUpdates 1]...}.
0e50: 0a 09 09 69 66 20 7b 24 6e 6f 77 20 3c 20 28 24  ...if {$now < ($
0e60: 6c 61 73 74 55 70 64 61 74 65 20 2b 20 24 74 74  lastUpdate + $tt
0e70: 6c 29 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20  l)} {....return 
0e80: 43 4f 4d 50 4c 45 54 45 0a 09 09 7d 0a 0a 09 09  COMPLETE...}....
0e90: 69 66 20 7b 5b 73 74 72 69 6e 67 20 6d 61 74 63  if {[string matc
0ea0: 68 20 22 2a 5c 5b 2f 7e 5c 5d 2a 22 20 24 68 6f  h "*\[/~\]*" $ho
0eb0: 73 74 6e 61 6d 65 5d 7d 20 7b 0a 09 09 09 72 65  stname]} {....re
0ec0: 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72 6f 72  turn -code error
0ed0: 20 22 49 6e 76 61 6c 69 64 20 68 6f 73 74 6e 61   "Invalid hostna
0ee0: 6d 65 22 0a 09 09 7d 0a 0a 09 09 73 65 74 20 75  me"...}....set u
0ef0: 72 6c 20 22 68 74 74 70 3a 2f 2f 24 68 6f 73 74  rl "http://$host
0f00: 6e 61 6d 65 2f 61 70 70 66 73 2f 69 6e 64 65 78  name/appfs/index
0f10: 22 0a 0a 09 09 63 61 74 63 68 20 7b 0a 09 09 09  "....catch {....
0f20: 73 65 74 20 74 6f 6b 65 6e 20 5b 3a 3a 68 74 74  set token [::htt
0f30: 70 3a 3a 67 65 74 75 72 6c 20 24 75 72 6c 5d 0a  p::geturl $url].
0f40: 09 09 09 69 66 20 7b 5b 3a 3a 68 74 74 70 3a 3a  ...if {[::http::
0f50: 6e 63 6f 64 65 20 24 74 6f 6b 65 6e 5d 20 3d 3d  ncode $token] ==
0f60: 20 22 32 30 30 22 7d 20 7b 0a 09 09 09 09 73 65   "200"} {.....se
0f70: 74 20 69 6e 64 65 78 68 61 73 68 5f 64 61 74 61  t indexhash_data
0f80: 20 5b 3a 3a 68 74 74 70 3a 3a 64 61 74 61 20 24   [::http::data $
0f90: 74 6f 6b 65 6e 5d 0a 09 09 09 7d 0a 09 09 09 3a  token]....}....:
0fa0: 3a 68 74 74 70 3a 3a 72 65 73 65 74 20 24 74 6f  :http::reset $to
0fb0: 6b 65 6e 0a 09 09 09 3a 3a 68 74 74 70 3a 3a 63  ken....::http::c
0fc0: 6c 65 61 6e 75 70 20 24 74 6f 6b 65 6e 0a 09 09  leanup $token...
0fd0: 7d 0a 0a 09 09 69 66 20 7b 21 5b 69 6e 66 6f 20  }....if {![info 
0fe0: 65 78 69 73 74 73 20 69 6e 64 65 78 68 61 73 68  exists indexhash
0ff0: 5f 64 61 74 61 5d 7d 20 7b 0a 09 09 09 23 20 43  _data]} {....# C
1000: 61 63 68 65 20 74 68 69 73 20 72 65 73 75 6c 74  ache this result
1010: 20 66 6f 72 20 36 30 20 73 65 63 6f 6e 64 73 0a   for 60 seconds.
1020: 09 09 09 5f 64 62 20 65 76 61 6c 20 7b 49 4e 53  ..._db eval {INS
1030: 45 52 54 20 4f 52 20 52 45 50 4c 41 43 45 20 49  ERT OR REPLACE I
1040: 4e 54 4f 20 73 69 74 65 73 20 28 68 6f 73 74 6e  NTO sites (hostn
1050: 61 6d 65 2c 20 6c 61 73 74 55 70 64 61 74 65 2c  ame, lastUpdate,
1060: 20 74 74 6c 29 20 56 41 4c 55 45 53 20 28 24 68   ttl) VALUES ($h
1070: 6f 73 74 6e 61 6d 65 2c 20 24 6e 6f 77 2c 20 24  ostname, $now, $
1080: 3a 3a 61 70 70 66 73 3a 3a 6e 74 74 6c 29 3b 7d  ::appfs::nttl);}
1090: 0a 0a 09 09 09 72 65 74 75 72 6e 20 2d 63 6f 64  .....return -cod
10a0: 65 20 65 72 72 6f 72 20 22 55 6e 61 62 6c 65 20  e error "Unable 
10b0: 74 6f 20 66 65 74 63 68 20 24 75 72 6c 22 0a 09  to fetch $url"..
10c0: 09 7d 0a 0a 09 09 73 65 74 20 69 6e 64 65 78 68  .}....set indexh
10d0: 61 73 68 20 5b 6c 69 6e 64 65 78 20 5b 73 70 6c  ash [lindex [spl
10e0: 69 74 20 24 69 6e 64 65 78 68 61 73 68 5f 64 61  it $indexhash_da
10f0: 74 61 20 22 2c 22 5d 20 30 5d 0a 0a 09 09 69 66  ta ","] 0]....if
1100: 20 7b 21 5b 5f 69 73 48 61 73 68 20 24 69 6e 64   {![_isHash $ind
1110: 65 78 68 61 73 68 5d 7d 20 7b 0a 09 09 09 72 65  exhash]} {....re
1120: 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72 6f 72  turn -code error
1130: 20 22 49 6e 76 61 6c 69 64 20 68 61 73 68 3a 20   "Invalid hash: 
1140: 24 69 6e 64 65 78 68 61 73 68 22 0a 09 09 7d 0a  $indexhash"...}.
1150: 0a 09 09 73 65 74 20 66 69 6c 65 20 5b 64 6f 77  ...set file [dow
1160: 6e 6c 6f 61 64 20 24 68 6f 73 74 6e 61 6d 65 20  nload $hostname 
1170: 24 69 6e 64 65 78 68 61 73 68 5d 0a 09 09 73 65  $indexhash]...se
1180: 74 20 66 64 20 5b 6f 70 65 6e 20 24 66 69 6c 65  t fd [open $file
1190: 5d 0a 09 09 73 65 74 20 64 61 74 61 20 5b 72 65  ]...set data [re
11a0: 61 64 20 24 66 64 5d 0a 09 09 63 6c 6f 73 65 20  ad $fd]...close 
11b0: 24 66 64 0a 0a 09 09 73 65 74 20 63 75 72 72 5f  $fd....set curr_
11c0: 70 61 63 6b 61 67 65 73 20 5b 6c 69 73 74 5d 0a  packages [list].
11d0: 09 09 66 6f 72 65 61 63 68 20 6c 69 6e 65 20 5b  ..foreach line [
11e0: 73 70 6c 69 74 20 24 64 61 74 61 20 22 5c 6e 22  split $data "\n"
11f0: 5d 20 7b 0a 09 09 09 73 65 74 20 6c 69 6e 65 20  ] {....set line 
1200: 5b 73 74 72 69 6e 67 20 74 72 69 6d 20 24 6c 69  [string trim $li
1210: 6e 65 5d 0a 0a 09 09 09 69 66 20 7b 5b 73 74 72  ne].....if {[str
1220: 69 6e 67 20 6d 61 74 63 68 20 22 2a 2f 2a 22 20  ing match "*/*" 
1230: 24 6c 69 6e 65 5d 7d 20 7b 0a 09 09 09 09 63 6f  $line]} {.....co
1240: 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09  ntinue....}.....
1250: 69 66 20 7b 24 6c 69 6e 65 20 3d 3d 20 22 22 7d  if {$line == ""}
1260: 20 7b 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a   {.....continue.
1270: 09 09 09 7d 0a 0a 09 09 09 73 65 74 20 77 6f 72  ...}.....set wor
1280: 6b 20 5b 73 70 6c 69 74 20 24 6c 69 6e 65 20 22  k [split $line "
1290: 2c 22 5d 0a 0a 09 09 09 75 6e 73 65 74 20 2d 6e  ,"].....unset -n
12a0: 6f 63 6f 6d 70 6c 61 69 6e 20 70 6b 67 49 6e 66  ocomplain pkgInf
12b0: 6f 0a 09 09 09 69 66 20 7b 5b 63 61 74 63 68 20  o....if {[catch 
12c0: 7b 0a 09 09 09 09 73 65 74 20 70 6b 67 49 6e 66  {.....set pkgInf
12d0: 6f 28 70 61 63 6b 61 67 65 29 20 20 5b 6c 69 6e  o(package)  [lin
12e0: 64 65 78 20 24 77 6f 72 6b 20 30 5d 0a 09 09 09  dex $work 0]....
12f0: 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 76 65 72  .set pkgInfo(ver
1300: 73 69 6f 6e 29 20 20 5b 6c 69 6e 64 65 78 20 24  sion)  [lindex $
1310: 77 6f 72 6b 20 31 5d 0a 09 09 09 09 73 65 74 20  work 1].....set 
1320: 70 6b 67 49 6e 66 6f 28 6f 73 29 20 20 20 20 20  pkgInfo(os)     
1330: 20 20 5b 5f 6e 6f 72 6d 61 6c 69 7a 65 4f 53 20    [_normalizeOS 
1340: 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 32 5d  [lindex $work 2]
1350: 5d 0a 09 09 09 09 73 65 74 20 70 6b 67 49 6e 66  ].....set pkgInf
1360: 6f 28 63 70 75 41 72 63 68 29 20 20 5b 5f 6e 6f  o(cpuArch)  [_no
1370: 72 6d 61 6c 69 7a 65 43 50 55 20 5b 6c 69 6e 64  rmalizeCPU [lind
1380: 65 78 20 24 77 6f 72 6b 20 33 5d 5d 0a 09 09 09  ex $work 3]]....
1390: 09 73 65 74 20 70 6b 67 49 6e 66 6f 28 68 61 73  .set pkgInfo(has
13a0: 68 29 20 20 20 20 20 5b 73 74 72 69 6e 67 20 74  h)     [string t
13b0: 6f 6c 6f 77 65 72 20 5b 6c 69 6e 64 65 78 20 24  olower [lindex $
13c0: 77 6f 72 6b 20 34 5d 5d 0a 09 09 09 09 73 65 74  work 4]].....set
13d0: 20 70 6b 67 49 6e 66 6f 28 68 61 73 68 5f 74 79   pkgInfo(hash_ty
13e0: 70 65 29 20 22 73 68 61 31 22 0a 09 09 09 09 73  pe) "sha1".....s
13f0: 65 74 20 70 6b 67 49 6e 66 6f 28 69 73 4c 61 74  et pkgInfo(isLat
1400: 65 73 74 29 20 5b 65 78 70 72 20 7b 21 21 5b 6c  est) [expr {!![l
1410: 69 6e 64 65 78 20 24 77 6f 72 6b 20 35 5d 7d 5d  index $work 5]}]
1420: 0a 09 09 09 7d 5d 7d 20 7b 0a 09 09 09 09 63 6f  ....}]} {.....co
1430: 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09  ntinue....}.....
1440: 69 66 20 7b 21 5b 5f 69 73 48 61 73 68 20 24 70  if {![_isHash $p
1450: 6b 67 49 6e 66 6f 28 68 61 73 68 29 5d 7d 20 7b  kgInfo(hash)]} {
1460: 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09  .....continue...
1470: 09 7d 0a 0a 09 09 09 6c 61 70 70 65 6e 64 20 63  .}.....lappend c
1480: 75 72 72 5f 70 61 63 6b 61 67 65 73 20 24 70 6b  urr_packages $pk
1490: 67 49 6e 66 6f 28 68 61 73 68 29 0a 0a 09 09 09  gInfo(hash).....
14a0: 23 20 44 6f 20 6e 6f 74 20 64 6f 20 61 6e 79 20  # Do not do any 
14b0: 61 64 64 69 74 69 6f 6e 61 6c 20 77 6f 72 6b 20  additional work 
14c0: 69 66 20 77 65 20 61 6c 72 65 61 64 79 20 68 61  if we already ha
14d0: 76 65 20 74 68 69 73 20 70 61 63 6b 61 67 65 0a  ve this package.
14e0: 09 09 09 73 65 74 20 65 78 69 73 74 69 6e 67 5f  ...set existing_
14f0: 70 61 63 6b 61 67 65 73 20 5b 5f 64 62 20 65 76  packages [_db ev
1500: 61 6c 20 7b 53 45 4c 45 43 54 20 70 61 63 6b 61  al {SELECT packa
1510: 67 65 20 46 52 4f 4d 20 70 61 63 6b 61 67 65 73  ge FROM packages
1520: 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d 65 20   WHERE hostname 
1530: 3d 20 24 68 6f 73 74 6e 61 6d 65 20 41 4e 44 20  = $hostname AND 
1540: 73 68 61 31 20 3d 20 24 70 6b 67 49 6e 66 6f 28  sha1 = $pkgInfo(
1550: 68 61 73 68 29 3b 7d 5d 0a 09 09 09 69 66 20 7b  hash);}]....if {
1560: 5b 6c 73 65 61 72 63 68 20 2d 65 78 61 63 74 20  [lsearch -exact 
1570: 24 65 78 69 73 74 69 6e 67 5f 70 61 63 6b 61 67  $existing_packag
1580: 65 73 20 24 70 6b 67 49 6e 66 6f 28 70 61 63 6b  es $pkgInfo(pack
1590: 61 67 65 29 5d 20 21 3d 20 2d 31 7d 20 7b 0a 09  age)] != -1} {..
15a0: 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 7d  ...continue....}
15b0: 0a 0a 09 09 09 69 66 20 7b 24 70 6b 67 49 6e 66  .....if {$pkgInf
15c0: 6f 28 69 73 4c 61 74 65 73 74 29 7d 20 7b 0a 09  o(isLatest)} {..
15d0: 09 09 09 5f 64 62 20 65 76 61 6c 20 7b 55 50 44  ..._db eval {UPD
15e0: 41 54 45 20 70 61 63 6b 61 67 65 73 20 53 45 54  ATE packages SET
15f0: 20 69 73 4c 61 74 65 73 74 20 3d 20 30 20 57 48   isLatest = 0 WH
1600: 45 52 45 20 68 6f 73 74 6e 61 6d 65 20 3d 20 24  ERE hostname = $
1610: 68 6f 73 74 6e 61 6d 65 20 41 4e 44 20 70 61 63  hostname AND pac
1620: 6b 61 67 65 20 3d 20 24 70 6b 67 49 6e 66 6f 28  kage = $pkgInfo(
1630: 24 70 61 63 6b 61 67 65 29 20 41 4e 44 20 6f 73  $package) AND os
1640: 20 3d 20 24 70 6b 67 49 6e 66 6f 28 24 70 61 63   = $pkgInfo($pac
1650: 6b 61 67 65 29 20 41 4e 44 20 63 70 75 41 72 63  kage) AND cpuArc
1660: 68 20 3d 20 24 70 6b 67 49 6e 66 6f 28 63 70 75  h = $pkgInfo(cpu
1670: 41 72 63 68 29 3b 7d 0a 09 09 09 7d 0a 0a 09 09  Arch);}....}....
1680: 09 5f 64 62 20 65 76 61 6c 20 7b 49 4e 53 45 52  ._db eval {INSER
1690: 54 20 49 4e 54 4f 20 70 61 63 6b 61 67 65 73 20  T INTO packages 
16a0: 28 68 6f 73 74 6e 61 6d 65 2c 20 73 68 61 31 2c  (hostname, sha1,
16b0: 20 70 61 63 6b 61 67 65 2c 20 76 65 72 73 69 6f   package, versio
16c0: 6e 2c 20 6f 73 2c 20 63 70 75 41 72 63 68 2c 20  n, os, cpuArch, 
16d0: 69 73 4c 61 74 65 73 74 2c 20 68 61 76 65 4d 61  isLatest, haveMa
16e0: 6e 69 66 65 73 74 29 20 56 41 4c 55 45 53 20 28  nifest) VALUES (
16f0: 24 68 6f 73 74 6e 61 6d 65 2c 20 24 70 6b 67 49  $hostname, $pkgI
1700: 6e 66 6f 28 68 61 73 68 29 2c 20 24 70 6b 67 49  nfo(hash), $pkgI
1710: 6e 66 6f 28 70 61 63 6b 61 67 65 29 2c 20 24 70  nfo(package), $p
1720: 6b 67 49 6e 66 6f 28 76 65 72 73 69 6f 6e 29 2c  kgInfo(version),
1730: 20 24 70 6b 67 49 6e 66 6f 28 6f 73 29 2c 20 24   $pkgInfo(os), $
1740: 70 6b 67 49 6e 66 6f 28 63 70 75 41 72 63 68 29  pkgInfo(cpuArch)
1750: 2c 20 24 70 6b 67 49 6e 66 6f 28 69 73 4c 61 74  , $pkgInfo(isLat
1760: 65 73 74 29 2c 20 30 29 3b 7d 0a 09 09 7d 0a 0a  est), 0);}...}..
1770: 09 09 23 20 4c 6f 6f 6b 20 66 6f 72 20 70 61 63  ..# Look for pac
1780: 6b 61 67 65 73 20 74 68 61 74 20 68 61 76 65 20  kages that have 
1790: 62 65 65 6e 20 64 65 6c 65 74 65 64 0a 09 09 73  been deleted...s
17a0: 65 74 20 66 6f 75 6e 64 5f 70 61 63 6b 61 67 65  et found_package
17b0: 73 20 5b 5f 64 62 20 65 76 61 6c 20 7b 53 45 4c  s [_db eval {SEL
17c0: 45 43 54 20 73 68 61 31 20 46 52 4f 4d 20 70 61  ECT sha1 FROM pa
17d0: 63 6b 61 67 65 73 20 57 48 45 52 45 20 68 6f 73  ckages WHERE hos
17e0: 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61 6d  tname = $hostnam
17f0: 65 3b 7d 5d 0a 09 09 66 6f 72 65 61 63 68 20 70  e;}]...foreach p
1800: 61 63 6b 61 67 65 20 24 66 6f 75 6e 64 5f 70 61  ackage $found_pa
1810: 63 6b 61 67 65 73 20 7b 0a 09 09 09 73 65 74 20  ckages {....set 
1820: 66 6f 75 6e 64 5f 70 61 63 6b 61 67 65 73 5f 61  found_packages_a
1830: 72 72 28 24 70 61 63 6b 61 67 65 29 20 31 0a 09  rr($package) 1..
1840: 09 7d 0a 0a 09 09 66 6f 72 65 61 63 68 20 70 61  .}....foreach pa
1850: 63 6b 61 67 65 20 24 63 75 72 72 5f 70 61 63 6b  ckage $curr_pack
1860: 61 67 65 73 20 7b 0a 09 09 09 75 6e 73 65 74 20  ages {....unset 
1870: 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20 66 6f 75 6e  -nocomplain foun
1880: 64 5f 70 61 63 6b 61 67 65 73 5f 61 72 72 28 24  d_packages_arr($
1890: 70 61 63 6b 61 67 65 29 0a 09 09 7d 0a 0a 09 09  package)...}....
18a0: 66 6f 72 65 61 63 68 20 70 61 63 6b 61 67 65 20  foreach package 
18b0: 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 66 6f 75  [array names fou
18c0: 6e 64 5f 70 61 63 6b 61 67 65 73 5f 61 72 72 5d  nd_packages_arr]
18d0: 20 7b 0a 09 09 09 5f 64 62 20 65 76 61 6c 20 7b   {...._db eval {
18e0: 44 45 4c 45 54 45 20 46 52 4f 4d 20 70 61 63 6b  DELETE FROM pack
18f0: 61 67 65 73 20 57 48 45 52 45 20 68 6f 73 74 6e  ages WHERE hostn
1900: 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61 6d 65 20  ame = $hostname 
1910: 41 4e 44 20 73 68 61 31 20 3d 20 24 70 61 63 6b  AND sha1 = $pack
1920: 61 67 65 3b 7d 0a 09 09 7d 0a 0a 09 09 5f 64 62  age;}...}...._db
1930: 20 65 76 61 6c 20 7b 49 4e 53 45 52 54 20 4f 52   eval {INSERT OR
1940: 20 52 45 50 4c 41 43 45 20 49 4e 54 4f 20 73 69   REPLACE INTO si
1950: 74 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20 6c  tes (hostname, l
1960: 61 73 74 55 70 64 61 74 65 2c 20 74 74 6c 29 20  astUpdate, ttl) 
1970: 56 41 4c 55 45 53 20 28 24 68 6f 73 74 6e 61 6d  VALUES ($hostnam
1980: 65 2c 20 24 6e 6f 77 2c 20 24 3a 3a 61 70 70 66  e, $now, $::appf
1990: 73 3a 3a 74 74 6c 29 3b 7d 0a 0a 09 09 72 65 74  s::ttl);}....ret
19a0: 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 7d 0a  urn COMPLETE..}.
19b0: 0a 09 70 72 6f 63 20 67 65 74 70 6b 67 6d 61 6e  ..proc getpkgman
19c0: 69 66 65 73 74 20 7b 68 6f 73 74 6e 61 6d 65 20  ifest {hostname 
19d0: 70 61 63 6b 61 67 65 5f 73 68 61 31 7d 20 7b 0a  package_sha1} {.
19e0: 09 09 73 65 74 20 68 61 76 65 4d 61 6e 69 66 65  ..set haveManife
19f0: 73 74 73 20 5b 5f 64 62 20 65 76 61 6c 20 7b 53  sts [_db eval {S
1a00: 45 4c 45 43 54 20 68 61 76 65 4d 61 6e 69 66 65  ELECT haveManife
1a10: 73 74 20 46 52 4f 4d 20 70 61 63 6b 61 67 65 73  st FROM packages
1a20: 20 57 48 45 52 45 20 73 68 61 31 20 3d 20 24 70   WHERE sha1 = $p
1a30: 61 63 6b 61 67 65 5f 73 68 61 31 20 4c 49 4d 49  ackage_sha1 LIMI
1a40: 54 20 31 3b 7d 5d 0a 09 09 73 65 74 20 68 61 76  T 1;}]...set hav
1a50: 65 4d 61 6e 69 66 65 73 74 20 5b 6c 69 6e 64 65  eManifest [linde
1a60: 78 20 24 68 61 76 65 4d 61 6e 69 66 65 73 74 73  x $haveManifests
1a70: 20 30 5d 0a 0a 09 09 69 66 20 7b 24 68 61 76 65   0]....if {$have
1a80: 4d 61 6e 69 66 65 73 74 7d 20 7b 0a 09 09 09 72  Manifest} {....r
1a90: 65 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09  eturn COMPLETE..
1aa0: 09 7d 0a 0a 09 09 69 66 20 7b 21 5b 5f 69 73 48  .}....if {![_isH
1ab0: 61 73 68 20 24 70 61 63 6b 61 67 65 5f 73 68 61  ash $package_sha
1ac0: 31 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20  1]} {....return 
1ad0: 46 41 49 4c 0a 09 09 7d 0a 0a 09 09 73 65 74 20  FAIL...}....set 
1ae0: 66 69 6c 65 20 5b 64 6f 77 6e 6c 6f 61 64 20 24  file [download $
1af0: 68 6f 73 74 6e 61 6d 65 20 24 70 61 63 6b 61 67  hostname $packag
1b00: 65 5f 73 68 61 31 5d 0a 09 09 73 65 74 20 66 64  e_sha1]...set fd
1b10: 20 5b 6f 70 65 6e 20 24 66 69 6c 65 5d 0a 09 09   [open $file]...
1b20: 73 65 74 20 70 6b 67 64 61 74 61 20 5b 72 65 61  set pkgdata [rea
1b30: 64 20 24 66 64 5d 0a 09 09 63 6c 6f 73 65 20 24  d $fd]...close $
1b40: 66 64 0a 0a 09 09 5f 64 62 20 74 72 61 6e 73 61  fd...._db transa
1b50: 63 74 69 6f 6e 20 7b 0a 09 09 09 66 6f 72 65 61  ction {....forea
1b60: 63 68 20 6c 69 6e 65 20 5b 73 70 6c 69 74 20 24  ch line [split $
1b70: 70 6b 67 64 61 74 61 20 22 5c 6e 22 5d 20 7b 0a  pkgdata "\n"] {.
1b80: 09 09 09 09 73 65 74 20 6c 69 6e 65 20 5b 73 74  ....set line [st
1b90: 72 69 6e 67 20 74 72 69 6d 20 24 6c 69 6e 65 5d  ring trim $line]
1ba0: 0a 0a 09 09 09 09 69 66 20 7b 24 6c 69 6e 65 20  ......if {$line 
1bb0: 3d 3d 20 22 22 7d 20 7b 0a 09 09 09 09 09 63 6f  == ""} {......co
1bc0: 6e 74 69 6e 75 65 0a 09 09 09 09 7d 0a 0a 09 09  ntinue.....}....
1bd0: 09 09 73 65 74 20 77 6f 72 6b 20 5b 73 70 6c 69  ..set work [spli
1be0: 74 20 24 6c 69 6e 65 20 22 2c 22 5d 0a 0a 09 09  t $line ","]....
1bf0: 09 09 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d 70 6c  ..unset -nocompl
1c00: 61 69 6e 20 66 69 6c 65 49 6e 66 6f 0a 09 09 09  ain fileInfo....
1c10: 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 74 79  .set fileInfo(ty
1c20: 70 65 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72  pe) [lindex $wor
1c30: 6b 20 30 5d 0a 09 09 09 09 73 65 74 20 66 69 6c  k 0].....set fil
1c40: 65 49 6e 66 6f 28 74 69 6d 65 29 20 5b 6c 69 6e  eInfo(time) [lin
1c50: 64 65 78 20 24 77 6f 72 6b 20 31 5d 0a 0a 09 09  dex $work 1]....
1c60: 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c 72 61 6e  ..set work [lran
1c70: 67 65 20 24 77 6f 72 6b 20 32 20 65 6e 64 5d 0a  ge $work 2 end].
1c80: 09 09 09 09 73 77 69 74 63 68 20 2d 2d 20 24 66  ....switch -- $f
1c90: 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 20 7b 0a  ileInfo(type) {.
1ca0: 09 09 09 09 09 22 66 69 6c 65 22 20 7b 0a 09 09  ....."file" {...
1cb0: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1cc0: 28 73 69 7a 65 29 20 5b 6c 69 6e 64 65 78 20 24  (size) [lindex $
1cd0: 77 6f 72 6b 20 30 5d 0a 09 09 09 09 09 09 73 65  work 0].......se
1ce0: 74 20 66 69 6c 65 49 6e 66 6f 28 70 65 72 6d 73  t fileInfo(perms
1cf0: 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20  ) [lindex $work 
1d00: 31 5d 0a 09 09 09 09 09 09 73 65 74 20 66 69 6c  1].......set fil
1d10: 65 49 6e 66 6f 28 73 68 61 31 29 20 5b 6c 69 6e  eInfo(sha1) [lin
1d20: 64 65 78 20 24 77 6f 72 6b 20 32 5d 0a 0a 09 09  dex $work 2]....
1d30: 09 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c 72  ....set work [lr
1d40: 61 6e 67 65 20 24 77 6f 72 6b 20 33 20 65 6e 64  ange $work 3 end
1d50: 5d 0a 09 09 09 09 09 7d 0a 09 09 09 09 09 22 73  ]......}......"s
1d60: 79 6d 6c 69 6e 6b 22 20 7b 0a 09 09 09 09 09 09  ymlink" {.......
1d70: 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 73 6f 75  set fileInfo(sou
1d80: 72 63 65 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f  rce) [lindex $wo
1d90: 72 6b 20 30 5d 0a 09 09 09 09 09 09 73 65 74 20  rk 0].......set 
1da0: 77 6f 72 6b 20 5b 6c 72 61 6e 67 65 20 24 77 6f  work [lrange $wo
1db0: 72 6b 20 31 20 65 6e 64 5d 0a 09 09 09 09 09 7d  rk 1 end]......}
1dc0: 0a 09 09 09 09 7d 0a 0a 09 09 09 09 73 65 74 20  .....}......set 
1dd0: 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 5b  fileInfo(name) [
1de0: 6a 6f 69 6e 20 24 77 6f 72 6b 20 22 2c 22 5d 0a  join $work ","].
1df0: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1e00: 28 6e 61 6d 65 29 20 5b 73 70 6c 69 74 20 5b 73  (name) [split [s
1e10: 74 72 69 6e 67 20 74 72 69 6d 20 24 66 69 6c 65  tring trim $file
1e20: 49 6e 66 6f 28 6e 61 6d 65 29 20 22 2f 22 5d 20  Info(name) "/"] 
1e30: 22 2f 22 5d 0a 09 09 09 09 73 65 74 20 66 69 6c  "/"].....set fil
1e40: 65 49 6e 66 6f 28 64 69 72 65 63 74 6f 72 79 29  eInfo(directory)
1e50: 20 5b 6a 6f 69 6e 20 5b 6c 72 61 6e 67 65 20 24   [join [lrange $
1e60: 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 30  fileInfo(name) 0
1e70: 20 65 6e 64 2d 31 5d 20 22 2f 22 5d 0a 09 09 09   end-1] "/"]....
1e80: 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 6e 61  .set fileInfo(na
1e90: 6d 65 29 20 5b 6c 69 6e 64 65 78 20 24 66 69 6c  me) [lindex $fil
1ea0: 65 49 6e 66 6f 28 6e 61 6d 65 29 20 65 6e 64 5d  eInfo(name) end]
1eb0: 0a 0a 09 09 09 09 5f 64 62 20 65 76 61 6c 20 7b  ......_db eval {
1ec0: 49 4e 53 45 52 54 20 49 4e 54 4f 20 66 69 6c 65  INSERT INTO file
1ed0: 73 20 28 70 61 63 6b 61 67 65 5f 73 68 61 31 2c  s (package_sha1,
1ee0: 20 74 79 70 65 2c 20 74 69 6d 65 2c 20 73 6f 75   type, time, sou
1ef0: 72 63 65 2c 20 73 69 7a 65 2c 20 70 65 72 6d 73  rce, size, perms
1f00: 2c 20 66 69 6c 65 5f 73 68 61 31 2c 20 66 69 6c  , file_sha1, fil
1f10: 65 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72  e_name, file_dir
1f20: 65 63 74 6f 72 79 29 20 56 41 4c 55 45 53 20 28  ectory) VALUES (
1f30: 24 70 61 63 6b 61 67 65 5f 73 68 61 31 2c 20 24  $package_sha1, $
1f40: 66 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 2c 20  fileInfo(type), 
1f50: 24 66 69 6c 65 49 6e 66 6f 28 74 69 6d 65 29 2c  $fileInfo(time),
1f60: 20 24 66 69 6c 65 49 6e 66 6f 28 73 6f 75 72 63   $fileInfo(sourc
1f70: 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 73 69  e), $fileInfo(si
1f80: 7a 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 70  ze), $fileInfo(p
1f90: 65 72 6d 73 29 2c 20 24 66 69 6c 65 49 6e 66 6f  erms), $fileInfo
1fa0: 28 73 68 61 31 29 2c 20 24 66 69 6c 65 49 6e 66  (sha1), $fileInf
1fb0: 6f 28 6e 61 6d 65 29 2c 20 24 66 69 6c 65 49 6e  o(name), $fileIn
1fc0: 66 6f 28 64 69 72 65 63 74 6f 72 79 29 20 29 3b  fo(directory) );
1fd0: 7d 0a 09 09 09 09 5f 64 62 20 65 76 61 6c 20 7b  }....._db eval {
1fe0: 55 50 44 41 54 45 20 70 61 63 6b 61 67 65 73 20  UPDATE packages 
1ff0: 53 45 54 20 68 61 76 65 4d 61 6e 69 66 65 73 74  SET haveManifest
2000: 20 3d 20 31 20 57 48 45 52 45 20 73 68 61 31 20   = 1 WHERE sha1 
2010: 3d 20 24 70 61 63 6b 61 67 65 5f 73 68 61 31 3b  = $package_sha1;
2020: 7d 0a 09 09 09 7d 0a 09 09 7d 0a 0a 09 09 72 65  }....}...}....re
2030: 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 7d  turn COMPLETE..}
2040: 0a 7d 0a                                         .}.